Глазунов A. В . Институт вычислительной математики РАН

1. Вихреразрешающее моделирование турбулентных течений на суперкомпьютерах с распределенной памятью Глазунов A.В. Институт вычислительной математики РАН Научно-исследовательский вычислительный центр МГУ glazunov@inm.ras.ru

2. Турбулентные процессы в геофизических пограничных слоях Атмосферный пограничный слойHABL~ 102 - 103 м Верхний пограничный слой океана HUOL ~ 101 - 102 м Придонный пограничный слой океанHOBL ~ 100 - 101 м • Стратификация • Солнечная радиация • Наличие облачности и фазовые переходы в АПС • Сильно шероховатая орографически и гидрологически неоднородная поверхность в АПС • Генерация турбулентности за счет обрушения ветровых волн в ВПСО … Очень большие числа Рейнольдса Атмосферный пограничный слой - Re ~ 109 Верхний слой океана - Re~ 106-107 Придонный слой океана - Re~ 105-106

3. Система уравнений Навье Стокса для вязкой несжимаемой жидкости или газа. Прямое численное моделирование (DNS) . Для планетарного пограничного слоя атмосферы: Фильтрация по пространству Сводит исходную систему к системе с меньшим количеством степеней свободы Для очень больших чисел Re 1. Влиянием молекулярной вязкости на крупные вихри можно пренебречь 2. Необходимо найти турбулентное замыкание Вихреразрешающее моделирование (Large Eddy Simulation, LES) Центральная проблема LES.

4. Основной недостаток моделей вихревой вязкости – слабая корреляция моделируемых и наблюдаемых подсеточных сил вследствие несовпадения ориентации тензора напряжений и тензора скоростей деформации. Основное достоинство – способность правильно описывать прямой каскад энергии от разрешаемых явно вихрей к подсеточным. собственные векторы тензоров При наличии сильной анизотропии (струйные, пристеночные течения) такие модели не могут одновременно воспроизвести и диссипацию энергии и подсеточный поток импульса, вносящий существенный вклад в средний суммарный поток импульса. Область применения диффузионных моделей - квазиоднородные турбулентные течения поддерживаемые за счет крупномасштабного внешнего воздействия (например, неустойчиво стратифицированные пограничные слоиатмосферы и океана) Моделирование конвективных ВСО и ПСА при помощи модели с К-ε замыканием

5. Ветер Лагранжев перенос мелкодисперсной примеси в городской среде Концентрация и траектории частиц Процессы, которые должна воспроизводить численная модель, для корректного решения такой задачи: • Внутренние пограничные слои, возникающие у поверхности земли, вдоль крыш и стен зданий. • Динамика планетарного пограничного слоя атмосферы над городской застройкой. • Квазистационарные и квазипериодические крупномасштабные структуры, возникающие при обтекании крупных препятствий турбулентным потоком (например вихревые дорожки Кармана за высотными зданиями). • Структура и энергия мелкомасштабных пульсаций скорости. • и т.д. (влияние плотностной стратификации, потоки тепласо стен зданий, корректные граничные условия …)

6. 1973Deardorff J.W. The use of subgrid transport equations in a three-dimensional model of atmospheric turbulence // Journal of Fluids Engineering. ~ 30 лет 2002 Waltonet al. Large-eddy simulation of pollution dispersion in an urban street Canyon... Atmos. Environ. 36, 3601-3613. В данном случае не сама задача определяет необходимые компьютерные ресурсы, а имеющиеся компьютерные ресурсы определяют размерность той задачи, которую возможно решить. При использовании нескольких сотен процессоров суперкомпьютера СКИФ можно моделировать турбулентные течения в областях сложной конфигурации с разрешением порядка нескольких метров и размером расчетной области от нескольких сотен метров до нескольких километров (размерность задачи ~ 10^8).

7. Любая нестационарная трехмерная гидродинамическая численная модель (слабо- диссипативная и численно устойчивая) при расчете обтекания городской застройки будет генерировать нестационарные течения визуально схожие с реальной турбулентностью, однако статистическая близость модельного решения и реального турбулентного течения не может быть гарантирована. Прежде, чем приступить к решению «реальных задач» необходимо тщательное тестирование численных моделей. Надежные данные лабораторных измерений и данные DNS могут оказаться более полезными, чем натурные наблюдения. Re-independent from Reτ~ 2000 (ReH~104 -105) ? ReD~103 Reh ~105 ReD ~104 Turbulent flow within the array of staggered cubs and boundary layer above it (the simplest flow for simulation due to low Re independence edge) successful and not very expensive DNS and LES with eddy viscosity SGS models Channel flow (can be successfully simulated by dynamic SGS models or nondynamic SGS model with ad-hoc turning of parameters and near-wall damping functions ) Turbulent von Karman vortex street (the results of simulations are very dependent on the numerical scheme, spatial resolution and configuration of grids). Dynamic approach sometimes improve result, sometimes make it worse. Isn’t very sensitive to the wall friction. Forward-backward facing step flow (can be successfully simulated by dynamic SGS models or nondynamic SGS models with ad-hoc turning of parameters and fine grids)

8. SSM - scale-similarity model (Bardina , et al., 1983), (Sagaut, 1998), (Layton and Lewandowski 2002): MM - mixed model (Bardina , et al., 1983),(Zang , et al., 1993): Смешанная модель сочетает достоинства модели Смагоринского (диссипативность) имодели подобия масштабов - высокую корреляцию наблюдаемых и моделируемых турбулентных напряжений. Смешанная модель SSM модель Данные Измеренная и вычисленная при помощи SSM моделии смешанной модели компонента тензора напряжений в турбулентной струе (Liu,1994)

9. Динамический метод определения коэффициентов, входящих в замыкания (Germano, 1991): - Тестовый фильтр Не содержит нефильтрованных компонент скорости Тождество Германо: В динамических подсеточных и подсеточных/подфильтровых моделях турбулентности используется предположение об инвариантности коэффициентов, входящих в замыкание, относительно эффективной ширины фильтрации. Иными словами, предполагается, что одна и та же подсеточная модель без какого либо изменения может применяться как при более грубом, так и при более мелком пространственном разрешении.Имея решение на мелкой сетке всегда можно получить решение на грубой сетке с помощью дополнительной «тестовой» фильтрации по пространству и получить для него оценку турбулентных напряжений.  На практике это приводит к задачам минимизации невязок переопределенных систем линейных уравнений, решение которых обеспечивает оптимальное (с точки зрения инвариантности модели относительно пространственного разрешения) распределение  параметрических коэффициентов в пространстве и времени.       Применяя тождество Германо к смешанной модели получаем: Находим решение, минимизируя норму невязки Переопределенная система уравнений для параметра С Динамическая процедура может быть построена не только для модели Смагоринского, но и для других замыканий.

10. LES DNS (Reτ = 550, 934, 2003) DNS - 120 суток непрерывного счета на 2048 процессорах массивно-параллельного компьютера Marenostrum (2005). LES - ~24 часов на 64-х процессорах. Для ПСА этот расчет соответствует расчету в области размером 100×38×8 см. сроком на 0.8 секунды

11. Периодические граничные условия, поток поддерживается за счет постоянного градиента давления. (Xie and Castro, 2006 - Smagorinsky SGS Cs=0.1, second-order central difference scheme).16-32 расчетных точкина сторону куба достаточно для воспроизведения характерных особенностей потока. Динамическая модель позволяет воспроизвести некоторые детали при меньшем пространственном разрешении. W’/U*

12. Streamlines of averaged velocity in LES with mixed dynamic SGS/SFS model Reattachment points Leclercq (2001) data Grid in mixed dynamic LES With this spatial resolution Smagorinsky SGSM failed to predict vortex in front of the step Grid in STAR-CD Smagorinsky (blue) and mixed dynamic models (green) in comparison with observed data and results of STAR-CD. 10 grid points per height of step U’ (Addad et al, 2003) STAR-CD code, Smagorinsky SGSM, damping functions, manually turned Cs Fine grid near the object ~ 40 points per height of step V’

13. Простые и дешевые подсеточные модели и схемы 2-го порядка (1) или Динамические подсеточные/подфильтровые замыкания в совокупности с аппроксимациями высокого порядка точности (2) ? Условие Куранта FFT Итерационные методы решения эллиптического уравнения

14. Simulation of the flow around square cylinder One of the benchmark problems of turbulent flow simulation past bluff bodies Was considered as test case LES2 during ERCOFTAC Workshop, 1994 Precise experimental data are available) ( Lyn et al. 1995)

16. Анализ эффективности параллельных вычислений на суперкомпьютере СКИФ-МГУ«Чебышев»; размерность задачи 456х152х264 (18 298 368 узлов сетки); суммарное процессорное время, необходимое для получения статистиктечения, ~2000 часов. • Параллельная реализация модели • Используется МPI • Возможна 2-D и 3-D декомпозиция расчетной области. • Оперативная память распределена между процессами, что снимает ограничения по памяти при достаточно большом количестве расчетных модулей. Распределение компьютерных затрат между вычислениями и межпроцессорными обменами при использовании 24, 38, 114, 144, 228 и 304-х процессоров При использовании304 процессоров суммарное время счета уменьшается приблизительно в 1,7 раза по сравнению с расчетом на 38 процессорах, а физическое время счета уменьшается в 13,8 раза (при линейной масштабируемости параллельных вычислений ускорение было бы равно 8) Несмотря на увеличение доли межпроцессорных обменов, с увеличением количества процессоров суммарное время выполнения задачи уменьшается за счет более эффективного использования кэш-памяти Процент времени, затрачиваемого на обмены Данная задача не может быть реализована в однопроцессорном режиме в силу нехватки оперативной памяти на одном узле