Paralleles Hochleistungsrechnen in der Geophysik

1. Universität Münster Institut für Geophysik Paralleles Hochleistungsrechnen in der Geophysik Münsteraner Kolloquium Parallelität 2005 Kai Stemmer, Institut für Geophysik stemmer@uni-muenster.de

2. Gliederung • Hochleistungsrechnen: • Beispiele für Anwendungen in der Geophysik • Rechenaufwand Fluiddynamischer Probleme • Parallelisierungsaspekte in der Fluiddynamik: • Parallele Rechnerarchitekturen • Domain Dekomposition • Effizienz • Simulationsbeispiel: • Mantelkonvektion in einer 3D Kugelschlale

3. Aufbau der Erde Kruste Mantel Flüssiger äußerer Kern Fester innerer Kern 50 2900 5150 6370 Tiefe [km]

4. Beispiel: HydrodynamikTurbulenz • Der Einfluß von Trägheit in Rayleigh-Bénard Konvektion Martin Breuer, breuerm@uni-muenster.de

5. Beispiel: HydrodynamikMehrkomponentensysteme • Schichtbildung durch Sedimentation in heftiger Konvektion nein ja Schichtbildung? Tobias Höink, hoeink@uni-muenster.de

6. Beispiel: MagnetohydrodynamikDynamotheorie • Enstehung und Erhaltung von Magnetfeldern in stark rotierenden konvektiven Systemen • Kopplung von Magnetfeld und Strömung Sphärische Geometrie Kartesische Geometrie Helmut Harder harder@earth.uni-muenster.de Stephan Stellmach stellmach@earth.uni-muenster.de

7. Beispiel: HydrodynamikMantelkonvektion und Plattentektonik • Selbstkonsistente Modelle • Komplexe Rheologien des Mantelmaterials Sphärische Geometrie Kartesische Geometrie Kai Stemmer stemmer@uni-muenster.de Claudia Stein stein@earth.uni-muenster.de

8. Rechenaufwand fluiddynamischer Probleme Dynamosimulation (3D kartesisch) 256 x 256 x 128 => 8.39 x 106 Gitterpunkte 8 Variable pro Gitterpunkt (T,V,B,P) Zeitreihe: 6 x 104 Zeitschritte Mantelkonvektion (3D sphärisch) 6 x 96 x 96 x 96 => 5.30 x 106 Gitterpunkte 6 Variable pro Gitterpunkt (T,V,P,u) Zeitreihe: 5 x 105 Zeitschritte • ~107 Unbekannte pro Zeitschritt • ~105 Zeitschritte

9. P P P M M M P P P Netzwerk M M M M P P P P P P ParallelisierungParallele Rechnerarchitekturen Shared Memory Distributed Memory Parallelisierung ‚relativ‘ einfach! (OpenMP,...) Parallelisierung aufwendig! (MPI,...)

10. P P P M M M Netzwerk M M M P P P ParallelisierungMessage Passing Interface (MPI) • Prozesse habe nur lokalen Speicher • Kommunikation über explizites Verschicken von Nachrichten • Beide Prozesse nehmen aktiv teil • SPMD (single program multiple data) • Auf jedem Prozessor läuft dasselbe Programm

11. ParallelisierungDomain Decomposition Kartesische Box Kugelschale ‚cubed-sphere grid‘

12. ParallelisierungEffizienz • Lässt sich die Rechenlast gleichmäßig verteilen? • Load Balancing • Wie kommunikationsintensiv ist die Methode? • Netzwerk (Ethernet, Myrinet) • Wie groß ist der serielle Anteil? • Speedup • Gibt es deutlich effektiveren seriellen Algorithmus? Parallelisierung ist aufwendig! Massive Eingriffe in die Programmstruktur notwendig!

13. Simulation von Mantelkonvektion • Thermische Konvektion • 3D Kugelschale • Viskosität stark temperatur- und druckabhängig • ‚Cubed-Sphere‘ Grid • Effiziente Parallelisierung • Keine Singularitäten an den Polen • Näherungsweise rechtwinkelige Gitterlinien • Implizite Lösungsmethode (Finite Volumen)

14. MantelkonvektionDomain Decomposition/Speedup Kommunikationsaufwand Speedup

15. MantelkonvektionImplementierte Methoden • Diskretisierung mittels Finiter Volumen • Collocated grid • Gleichungen in kartesischer Formulierung • Primitive Variablen • Kugelschale topologisch in 6 Würfelflächen unterteilt • Massiv Parallel, Gebietszerlegung (MPI) • Zeitschrittverfahren: implizites unterrelaxiertes Crank-Nicolson Verfahren • Lösung des LGS: Methode der konjugierten Gradienten (SSOR) • Druckkorrektur: SIMPLER und PWI

16. Simulation von Mantelkonvektion Vielen Dank für ihre Aufmerksamkeit! einfach diffusiv basal und intern geheizt doppelt diffusiv basal geheizt