1 / 34

地球フロンティア研究システム モデル統合化研究領域 　　　　　　　　　　　　佐藤　正樹

正二十面体格子を用いた 全球非静力高解像度 大気大循環モデルの開発. 地球フロンティア研究システム モデル統合化研究領域 　　　　　　　　　　　　佐藤　正樹. 平成 14 年度　地球シミュレータ利用報告会 2003 年２月２日 , 横浜地球シミュレータセンター. 研究目標. 目的 気候研究の為の高解像度の大気大循環モデルを開発すること 水平格子　５ km 以下，　鉛直１００ｍ程度 開発の方針 球面準一様格子を用いた格子点法の採用 スペクトル法は超高解像度において、以下の点で非効率 Legendre 　変換の計算量の増大

kyla-stanley
Download Presentation

地球フロンティア研究システム モデル統合化研究領域 　　　　　　　　　　　　佐藤　正樹

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 正二十面体格子を用いた 全球非静力高解像度 大気大循環モデルの開発 地球フロンティア研究システム モデル統合化研究領域 　　　　　　　　　　　　佐藤　正樹 平成14年度　地球シミュレータ利用報告会 2003年２月２日,横浜地球シミュレータセンター

  2. 研究目標 • 目的 • 気候研究の為の高解像度の大気大循環モデルを開発すること • 水平格子　５km以下，　鉛直１００ｍ程度 • 開発の方針 • 球面準一様格子を用いた格子点法の採用 • スペクトル法は超高解像度において、以下の点で非効率 • Legendre　変換の計算量の増大 • 計算ノード間でコミュニケーション大（超並列計算時） • 単純な緯度経度格子法も極問題が発生 • 極付近で経線が集中し、CFL条件が厳しい • 球面準一様格子の一つである正二十面体格子を水平格子に用いる。 • 非静力学方程式系の採用 • 水平方向に解像度が高くなるにつれて、従来の静力学方程式系では困難

  3. なぜ、高解像度化が求められるか？ • １００ｋｍ格子では？ • 一つの格子の中にいくつもの積雲が存在 • これらの「解像されない」積雲が「解像される」場に及ぼす効果を考慮 • Subgrid parameterization • 様々な不確実な仮定を含む • 数ｋｍ格子では？ • 一つ一つの雲があらわに表現できる。 • Parameterizationに頼らなくてもよい。 • Parameterizationの曖昧性を排除。 全球雲解像モデルへ

  4. 球面一様格子いろいろ（３） • Icosahedral grid　（正二十面体格子） • 正二十面体から出発する • 細胞分裂のように格子を分割していく • いくら細かくしても一様な格子が得られる。 • 格子の最大最小比：１．３ • 格子の等方性がよい • 格子が構造的に記述できる • プログラミングが容易 • ベクトル化、並列化が容易

  5. 開発しているモデル • 全球浅水波モデル • 正二十面体格子の有効性を検証するため最初に開発。 • Tomita et al. (2001) J.Comput.Phys. ,Vol.174, p.579 • Tomita et al. (2002) J.Comput.Phys. ,Vol.183, p.307 • 水平方向の数値スキーム（移流スキーム等）の開発ベース • 領域非静力学モデル • 気候計算に耐えうる非静力学スキームの研究のために開発。 • Satoh(2002) Mon.Wea.Rev., Vol.130, p.1227 • Satoh(2003) Mon.Wea.Rev., in press • 高解像度用の力学過程、物理過程パラメタリゼイションの検証用 • 全球非静力学モデル • 領域モデルでの非静力学スキームを全球正二十面体格子に適用 • 現在、乾燥ダイナミカルコアが開発済みである。 • Tomita et al. (2002b) submitted to Mon.Wea.Rev. Nonhydrostatic ICosahedral Atmospheric Model (NICAM)

  6. モデル開発体制 • 開発人員 • 富田浩文（地球フロンティア） • 正２０面体格子モデルの開発 • 全球非静力学モデルへの新力学スキーム、新物理過程の実装とテスト • 那須野智江（地球フロンティア） • 領域非静力学モデルでの高解像度広域湿潤対流計算 • 雲微物理過程、パラメタリゼイションの検証 • 後藤浩二（ＮＥＣ） • モデルの高速化 • 北内英章（IARC） • 三角形格子での新スキームの開発（spectral element method) • 佐藤正樹（地球フロンティア／埼玉工大） • 開発チームリーダー • 領域非静力学モデルの開発、物理過程（乱流、湿潤過程）の検討

  7. 開発工程 　　計算効率のチューニング（地球シミュレータ上）　　 ２００２ ２０００－２００１ ２００３～ 全球浅水波モデル （二十面体格子研究） 全球非静力学 ダイナミカルコア （二十面体格子 ＋非静力学系） 全球非静力学 大気モデル （二十面体力学コア ＋物理過程） 領域非静力学モデル （新スキーム研究） 高解像度の物理パラメタリゼイションの研究 物理過程 チューニング 既存のモデルとの比較（AFES, NPD/MRI-NHM) • 海洋、陸面、海氷、生態系モデルとのカップリング 　　（２００５以降）

  8. 非静力学正２０面体大気モデルの現在の開発状況非静力学正２０面体大気モデルの現在の開発状況

  9. 格子分割 単位球に内接する正二十面体の各辺を球面上に投影する。(glevel-0) それぞれの三角形の中点を結び、 ４つの三角形を生成する。(glevel-1) 目標の解像度を得るまで上記のプロセスを繰り返す。(glevel-n) 分割回数 ５kmの解像度を得るには１１回分割過程が必要 正二十面体格子の生成法 (0)格子分割レベル0 (1) 格子分割レベル１ (2)格子分割レベル2 (3) 格子分割レベル3

  10. level 8 (~28km) level 7 (~56km) level 10 (~7km) level 9 (~14km)

  11. 修正格子 (1) • バネの力学を使った格子の修正 • グリッドノイズの軽減のため バネを使って格子配置をスムーズにする. • 通常の方法で格子を構築 • 格子点をバネで結ぶ • バネのダイナミクスをシステムが平衡に達するまで数値的に解く。 このプロセスを踏むことで グリッドノイズが軽減される

  12. エラー分布の改良 CVの面積分布　　　　　　　　発散のエラー分布 • STD格子 • CVの面積分布 • もともとの２０面体の構造を引きずる。 • 発散のエラー分布 • CVの分布のようにエラーが線状に現れる。 • フラクタル構造 • グリッドノイズの生成 • STD-GC格子 • CVの面積分布 • 滑らかに分布する • 発散のエラー分布 • 同様に滑らか 　グリッドノイズの軽減 STD格子 SPR－GC格子

  13. 領域モデルのための格子 • バネ格子のもう一つの応用 • 各場所でバネを変えることで領域集中型格子を作ることができる. 集中格子の例 (a) 高分解能半球 　　　　　　　　　　　　 (b) 低分解能半球  領域予測モデル、領域気候モデルへ応用できる

  14. 並列計算の戦略（１） • 領域分割 • 隣り合った２つの二十面体三角形をつなぎ、１０個の矩形領域を作る。(rlevel-0) • それぞれの矩形領域について４つの矩形領域を作る。（rlevel-1) • この過程を繰り返す。 • (rlevel-n) • 各プロセスの領域担当 　　プロセスは、任意の位置の複数の領域を担当できるように設計 プロセス間のロードインバランスを回避するため (0) 領域分割レベル０ 　　　 (1) 領域分割レベル１ (2) 領域分割レベル２　　　 (3) 領域分割レベル３

  15. 並列計算の戦略（２） • 領域を管理するプロセスの例（rlevel1の場合） • 領域の数は４０個 • これらを１０個のプロセスで管理するとする。  同じ色の４つの領域を管理 • 赤道から極にかけて一様に分配している。 物理過程に伴うロードインバランスを回避することができる。

  16. ベクトル計算の戦略 • 領域内の格子構造 • 格子は、矩形でなく三角形である。  非構造格子？ • 構造格子のように取り扱うことが出来る。  Fortran 2D array • ベクトル化にとって、普通の非構造格子よりもはるかに有利である。 • 更に２次元配列を１次元化してベクトル長を稼ぐ。 • トータルのベクトル化率 ９９％以上は確保。

  17. 支配方程式  L.H.S. : FAST MODE  R.H.S. : SLOW MODE  (1) (2) (3) (4) メトリック • 予報変数 • 　密度 • 　水平運動量 • 　鉛直運動量 • 　内部エネルギー

  18. 時間スキーム • 時刻Aでの値が既知とする。 • 時刻Aでの Slow Mode の tendency S(A)が計算できる。 • 最初のステップとして、S(A)を使って、AからBまで積分する。 • Fast Mode の tendency は、随時計算する。 • 時刻Bでの値を使って、 Slow Mode の tendency S(B)を計算する。 • 時刻Bの値は、上記の仮の値を使う。 • 再びAに戻り、 S(B)を使ってAからCまで積分する。  SlowMode は、時間２次精度で計算できる。

  19. Held & Suarez Dynamical Core 実験（１） • 実験設定 • 放射 • ある平衡温度場を設定して、簡単なNewtonian Coolingを課す： • ここで • 平衡温度場は緯度の関数で以下。 • ここで • 地表面摩擦 • 地表面摩擦を大気下層で、Rayleigh Damping の形で与える： • ここで

  20. Held & Suarez Dynamical Core 実験（２） • 目的 • １２００日間の積分を行い、残り１０００日の気候値を他のモデルと比較する。 • モデルの設定 • 異なった水平解像度で実験

  21. Held & Suarez Dynamical Core 実験（３） • スナップショットの結果（１２００日後の速度場と温度場） • 　大気上層（z=10.5km) • 中緯度での傾圧不安定による偏西風ジェットが • よく再現されている。 • 　大気下層（z=0.5km) • 赤道上での東風が再現されている。

  22. Held & Suarez Dynamical Core 実験（４） • 東西風の帯状平均場（気候値） (a) glevel-5 (b) glevel-6 (c) glevel-7 • 　各glevelとも、ジェットは、緯度４５度、２５０ｈPaの位置にある。 • glevelがあがるとジェットの強さは、若干弱まる傾向にある。 •  大淵（２００１年秋季大会）で示唆されている。

  23. Held & Suarez Dynamical Core 実験（６） • 東西風の帯状平均場（気候値） (a) GME(ni=64) (b) IFS (c) Our model • 　ジェットの位置は、一致。（ 45[deg] and 250[hPa] ） • 　東西風の強さ及び分布は、ほとんど一致。 GME：ドイツ気象局の２０面体モデル IFS:ECMWFのスペクトルモデル

  24. Held & Suarez Dynamical Core 実験　（８） • エネルギースペクトルの比較（AFESの力学部分） AFES：　地球シミュレータセンターのスペクトルモデル (a) glevel5 / AFES-T47(b) glevel6 / AFES-T95 • 　４次の超粘性で、粘性係数は同じ値に設定。 • 　大きな波長の構造は、同様。 • 　エネルギーのカスケード構造もほぼ同様。

  25. 計算パフォーマンス (1) • 地球シミュレータ上でのパフォーマンス • 地球シミュレータ NEC－SX５をベースにしたベクトルコンピュータの超並列機. • ６４０計算ノード. • １ノードあたり８個のベクトルプロセッサ. • １ベクトルプロセッサあたり８GFLOPS • トータルピーク性能：　8X8X640 = 40TFLOPS • 計測したシミュレーション • Held & Suarez dynamical core 実験一日積分 • 鉛直層数 : 100 • 水平解像度 : glevel-5 to 8

  26. 計算パフォーマンス（２） • スケーラビリティー • 設定 • 水平解像度 : glevel-8 • 鉛直層数 : 100 • Fixed • 使うノードを１０から • 　　８０に増やす • 結果 • 緑 ： 理想的なspeed-upライン • 赤 ： 実際の speed-up ライン  ほぼ理想的に計算時間は減る。

  27. 計算パフォーマンス (3) • 水平解像度を増やしていけば………? 理想的には計算時間が２倍になっていくはずである. • 設定 • 解像度を倍にすると, • # of gridpoints : 4 倍 • # of CPUs : 4 倍 • Time intv. : 1/2 結果 理想的に計算時間は倍になっている。

  28. 格子点法は本当にスペクトル法に勝てるか？！格子点法は本当にスペクトル法に勝てるか？！ • 比較対象モデル • ＡＦＥＳ（ＡＧＣＭ　Ｆｏｒ　Ｅａｒｔｈ　Ｓｉｍｕｌａｔｏｒ） • 地球シミュレータセンターのスペクトルモデル • Legendre変換をギリギリまでチューンアップ • Ｔ１２７９Ｌ９６において、２６．５８Ｔｆｌｏｐｓの世界最高性能 • 10km水平格子（解像スケール30km）、100m鉛直格子 • 本年度のゴードンベル賞受賞 • 世界最速のスペクトルＡＧＣＭ（の一つ） • 計測 • 水平解像度をT2559（glevel 11)まで上げて、1stepあたりにかかる時間を計測。 • 鉛直３０層は固定、ＥＳ８０ノードを使う。 • 取りうるｄｔをT159（glevel 7)で調べ、以降、解像度が２倍になるにつれて、半分になるとして推測。 • 以上より、一日積分に要する時間を比較

  29. NICAMとAFESの計算時間の比較１ • 1stepあたりにかかる計算時間の比較 • 青：ＡＦＥＳの結果 　高解像度になるに従い 　Ｏ(Ｎ3)で計算時間が伸びる。 • 緑：ＮＩＣＡＭの結果 • 赤：ＮＩＣＡＭの結果 　高解像度になるに従い、 　Ｏ(Ｎ2)で計算時間が伸びる。 “あらゆる分解能でNICAMの方が高速” 分解能の解釈によるが,T1279 or glevel10 では確実に NICAM の方が高速

  30. Sp法切断波長＝Grid法４ＤＸの根拠 同じ粘性でgl-6とT159のエネルギースペクトルを比較 全波数が80程度まではほぼ一致 格子点法の4 grid波長までは物理的に意味があると言える。

  31. NICAMとAFESの計算時間の比較2 • 　最大時間刻み幅と１日積分時間の比較 （スペクトル法の切断波数に対する波長）　＝　（格子点法の４ＤＸ　として比較） • 　時間刻み幅は、ＮＩＣＡＭの方が若干大きく取れる。 T1279(glevel-10)で完全に追い越すことが出来る。

  32. まとめ • 正二十面体格子を用いて全球非静力学方程式モデルNICAMを開発した。 • 気候計算に耐えうるように質量や全エネルギーの保存を考慮したスキームを使った。 • 気候再現実験の一つであるHeld&Suarez Dynamical Core実験を実施した。 • 結果は、概ね良好で、同程度の解像度での他のモデルと比較しても遜色のない結果を得た。 • 計算効率については、スケーラビリティー等非常によい結果を得た。 • T1279(30km解像度）以上で、格子点法の方が計算効率の面で優れている。 • 領域非静力学モデル：ES上での計算準備中

  33. 今後の研究計画 • 短期計画（２００３） • 非静力学正20面体大気モデル力学コアの地球シミュレータ上でのチューニング。高解像度計算。 • 非静力学正20面体大気モデルへの物理過程の組み込み、テスト。 • 領域非静力学モデルの開発と広域計算。 • 長期計画 • ２００４： • 非静力学正20面体大気モデルへの物理過程の組み込み、開発。 • 領域非静力学モデルでの力学・物理過程の検討、開発。 • ２００５以降： • 非静力学正20面体大気モデルの物理チューニング、気候実験。

  34. References of our models • Icosahedral grid • Tomita et al., (2001) : “Shallow Water Model on a Modified Icosahedral Geodesic Grid by Using Spring Dynamics”, J. Comput. Phys., 174, 579-613 • Tomita et al., (2002) : “An Optimization of the Icosahedral Grid Modified by the Spring Dynamics”, J. Comput. Phys., 183, 307-331 • Nonhydrostatic scheme • Satoh (2002) : “Conservative scheme for the compressible non-hydrsostatic model with horizontally explicit and vertically implicit time integration scheme”, Mon.Wea.Rev., 130, 1227-1245 • Satoh (2003) : “Conservative scheme for a compressible non-hydrsostatic models with moist processes”, Mon.Wea.Rev., in press. • Global nonhydrostatic icosahedral model • Tomita et al., (2002a) : “Development of a nonhydrostatic general circulation model using an icosahedral grid”, Parallel CFD 2002, in press • Goto et al., (2002) : “Computational performance of dynamical part of next generation climate model using an icosahedral grid on the Earth Simulator”, Parallel CFD 2002, in press • Tomita et al., (2002b) : “The Non-hydrostatic Icosahedral Global Model for the Earh Simulator”, Max-Planck Institute for Meteorology technical Report 2002 • Tomita et al., (2002c) : “Global nohydrostatic dynamical core on the icosahedral grid Part I : Model description and fundamental tests”, submitted to Mon.Wea.Rev • Physical processes • Nasuno et al., (2002) : “Resolution Dependence of a Tropical Squall Line”, submitted to Mon.Wea.Rev

More Related