Overset Grid Assembler and Flow Solver with Adaptive Spatial Load Balancing

Abstract

In the present study, a parallel unsteady and coupled flow solver is developed to solve fluid flow around relatively moving components using a system of multiple unstructured meshes overlapping each other in a parallel computing environment. The use of multiple overlapping meshes is also referred as overset mesh methodology, which is convenient in solving fluid flow problems involving moving components such as flow around helicopters and wind farms. Traditional single grid generation around all the components of a system is time consuming. Also, quality of the resultant single grid is usually unsatisfactory for critical regions of flow such as boundary layers and bodies in close proximity. Additionally, in unsteady flow simulations, excessive mesh stretching causes the solution accuracy to diminish significantly. Overset mesh methodology allows each component mesh to be generated independently with desired local properties. In this thesis, an overset grid assembler is developed to establish connectivity across component meshes in a parallel computing environment, where all meshes are partitioned into multiple mesh-blocks and processed on multiple cores. The cells are classified into 1) field cells on which the discretized Euler equations are solved, 2) receptors which interpolate data from (donor) field cells and 3) hole cells which are excluded from the flow solution due to overlapping invalid regions of space such as holes. Alternating Digital Tree and stencil walking are implemented to reduce the time spent on the overset mesh connectivity. Hole map is used to identify hole cells and integrated to the mesh connectivity algorithm in order to cut holes exactly. Unlike traditional mesh partitioning where each partition contains similar number of cells, component meshes are partitioned spatially so that overlapping mesh-blocks reside in the same partitions. Spatial partitioning is performed using an octree to which mesh-blocks are registered. The octree is refined adaptively until octree-bins can be distributed to processors evenly. Load balancing is repeated whenever load imbalance exceeds a predefined threshold. Validity of the developed code is tested on several test cases including the case of complex flow around a generic helicopter configuration in near hover condition and evaluated in terms of rotor-fuselage interaction, load balance, scalability and memory usage. Even though load (re-)balancing was found to be the most time consuming task, it was shown that frequent load balancing reduced total simulation time considerably. The time saved with load rebalancing was 13% which added up periodically for every quarter rotation. Speed-up results for combination of tasks (hole cut, donor search and overlap minimization) in the present work were compared with Suggar++ [1] which provided speed-up results for up to 8 processors. It was observed that present speed-up results showed linear behaviour compared to non-linear speed-up in Suggar++. Additionally, higher speed-up was obtained compared with Suggar++. Keywords: Computational fluid dynamics; numerical algorithms; overset grid methodology; load balancing

ÖZ: Bu çalı¸smada, paralel bir hesaplama ortamında birbiriyle örtü¸sen çoklu yapılandırılmamı¸s aglardan olu¸san bir sistem kullanarak, nispeten hareket eden ˘ bile¸senlerin etrafındaki sıvı akı¸sını çözmek için bir paralel kararsız ve birle¸stirilmi¸s akı¸s çözücü geli¸stirilmi¸stir. Helikopter ve rüzgar santrali gibi hareketli bile¸senleri içeren sıvı akı¸sı problemlerinin çözümünde çoklu agların kullanımı örtü¸sen sayısal a ˘ g yöntemi ˘ olarak da adlandırılır. Bir sistemin tüm bile¸senleri etrafında geleneksel tek sayısal ag üretimi, zaman alan bir ˘ i¸slemdir dolayısıyle pratik degildir. Ayrıca, sonuçta ortaya çıkan tek sayısal a ˘ gın ˘ kalitesi, sınır katmanı ve yakın cisimler gibi kritik akı¸s bölgeleri için genellikle yetersizdir. Ek olarak, hareketli sayısal aglı kararsız akı¸s simülasyonlarında, sonraki ˘ zaman adımlarında a¸sırı sayısal ag gerilimi, çözüm do ˘ grulu ˘ gunun önemli ölçüde ˘ azalmasına neden olur. Örtü¸sen sayısal ag yöntemi, her bir bile¸sen sayısal a ˘ gın istenen ˘ yerel özelliklerle bagımsız olarak olu¸sturulmasına izin verir. Bu çalı¸smada, tüm sayısal ˘ agların birden çok sayısal a ˘ g blo ˘ guna bölündü ˘ gü ve birden çok çekirdek üzerinde ˘ i¸slendigi paralel bir hesaplama ortamında bile¸sen sayısal a ˘ gları arasında ba ˘ glantı ˘ kurmak için bir örtü¸sen sayısal ag kurucusu geli¸stirilmi¸stir. Hücreler, 1) ayrıkla¸stırılmı¸s ˘ Euler denklemlerinin çözüldügü alan hücreleri, 2) (donör) alan hücrelerinden gelen ˘ verileri enterpolasyon yapan reseptörler ve 3) geçersiz bölgeler ile kesi¸smesi nedeniyle akı¸s çözümünden dı¸slanan delik hücreleri olarak sınıflandırılır. Örtü¸sen sayısal ag˘ kurumumda harcanan zamanı azaltmak için Alternating Digital Tree ve stencil walking algoritmaları uygunlanmı¸stır. Delik hücrelerini tanımlamak için delik haritası kullanılmı¸stır ve delikleri tam olarak kesmek için donör aramasına entegre edilmi¸stir. Her bölümün benzer sayıda hücre içerdigi geleneksel sayısal a ˘ g bölümlemesinden ˘ farklı olarak, bile¸sen sayısal agları uzamsal olarak bölümlere ayrılır, böylece örtü¸sen ˘ sayısal ag blokları aynı bölümlerde bulunur. Uzamsal bölümleme, sayısal a ˘ g˘ bloklarının kaydedildigi bir octree kullanılarak gerçekle¸stirilmi¸stir. Octree, ˘ octree-kutuları i¸slemcilere e¸sit olarak dagıtılıncaya kadar uyarlanabilir ¸sekilde ˘ bölünmü¸stür. Yük dengesizligi önceden tanımlanmı¸s bir e¸si ˘ gi a¸stı ˘ gında yük dengeleme ˘ tekrarlanmı¸stır. Geli¸stirilen kodun geçerliligi, genel bir helikopter konfigürasyonu etrafındaki karma¸sık ˘ akı¸s durumunda, havada asılı kalma durumunda test edilip, rotor-gövde etkile¸simi, yük dengesi, ölçeklenebilirlik ve bellek kullanımı açısından degerlendirilmi¸stir. ˘ Anahtar Kelimeler: Hesaplamalı akı¸skanlar dinamigi; sayısal algoritmalar; örtü¸sen ˘ sayısal ag yöntemi; yük dengelenmesi