Höchstleistungsrechnen für die Wissenschaft – die Aufgaben der Supercomputer des ZIB

1. Höchstleistungsrechnen für die Wissenschaft – die Aufgaben der Supercomputer des ZIB Detlef Reichardt Fachberater für Chemie Computer Science / Abt. Höchstleistungsrechner ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

2. Überblick • Scientific Supercomputing – was ist das? • Warum braucht man Höchstleistungsrechner? • Anforderungen • ein paar Grundbegriffe: Vektorrechner, Parallelrechner ... • Rechnerausstattung, Supercomputer im Verbund • Supercomputing als Dienstleistung: Großprojekte, Fachberatung, Forschung • Beispiel: Quantenchemische Simulation großer Moleküle • Grundidee • RNA-Fragment • MetaComputing ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

3. Warum braucht man Höchstleistungsrechner? • unerläßliche und teilweise einzig vertretbare Hilfsmittel zur Problemlösung in Grundlagen- und anwendungsbezogener Forschung und Entwicklung • Kern- und Vielteilchenphysik, Klimaforschung, Kosmologie • chemische/pharmazeutische Industrie, Maschinenbau, Fahrzeugbau, Flugzeugbau • Simulation statt Experiment • extreme Dimensionen (Mikro/Makrokosmos), unterschiedliche Zeitskalen • gefährliche Stoffe (giftig, explosiv) • Kosteneinsparungen (Crashtests) • tiefere Einsichten in komplexe Zusammenhänge • Komplexe Probleme an vorderster Forschungsfront • jeweils leistungsfähigste Algorithmen auf den • jeweils leistungsfähigsten Computern ( = Supercomputer) ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

4. Supercomputing –was ist das? • stellt höchste Anforderungen an • Kapazität und Quantität • Rechenzeitbedarf • Massenspeicherbedarf • langfristige Datensicherung • Bandbreite der Datenübertragung (Speicherzugriffe, Input/Output, Netz) • Fähigkeit und Qualität • technisches Know-How • Algorithmen • Methoden (numerisch, Visualisierung) • Menschen ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

5. M PE Ein paar Grundbegriffe ... • Einzel-Prozessor-System P Memory Peripherie Bus B Prozessor ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

6. PE PE PE PE Ein paar Grundbegriffe ... • Mehr-Prozessor-System: Shared Memory Computer Global Memory M B Bus Prozessor Prozessor Prozessor Prozessor ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

7. PE PE PE PE PE PE PE PE M M M M M M M M Ein paar Grundbegriffe ... • Mehr-Prozessor-System: Distributed Memory Computer Kommunikations-Netzwerk ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

8. Vektorrechner • Leistungsfähigste Einzel-CPUs am Markt, • spezialisierte Hardware (105-106 $/CPU) • Prinzip: • Pipeling (Fließband) • Chaining (Verkettung) • Schleifen: • Verarbeitung von (aufeinanderfolgenden) Elementen von Feldern Ai = Bi + C * Dii = 1,N • Vektorbefehl: ein Befehl für viele gleichartige Operationen ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

9. (Massiv) Parallelrechner • Mögliche Leistungserhöhung einzelner Prozessoren ist begrenzt (nicht zuletzt aus Kostengründen) • heute meist Verwendung von RISC-Prozessoren • Ameisen-Prinzip • Verteilung der Last (Daten) und Arbeit (Anweisungen) auf mehrere/viele Prozessoren • Datenaustausch zwischen den Prozessoren (update der Zwischenergebnisse) während der Rechnung notwendig • Erfordert besonderes Vorgehen: • „parallelisierte“ Methoden und Algorithmen • Programmiermodelle: z.B. Message Passing ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

10. ZIB Höchstleistungsrechner ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

11. CRAY J932/16 • 16 CPUs CRAY J90, 100 MHz • 8 GB shared memory • Betriebssystem: UNICOS • Compiler: Fortran90, C, C++ • Autotasking • Message Passing Libraries: MPI, PVM • CRAY Shared Memory Access Library • Theoretical peak performance: • 3.2 GFLOPS ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

12. 408 DEC Alpha EV5.6, 450/600 MHz Internes Netzwerk: 3D Torus 70 GB distributed memory ~ 630 GB HD Betriebssystem: UNICOS/mk Compiler: Fortran 90, C, C++, HPF Message Passing Libraries:MPI, PVM CRAY Shared Memory Access Library Theoretical peak performance: ~ 400 GFLOPS CRAY T3E ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

13. Supercomputing als Dienstleistung • Betrieb von Höchstleistungsrechnern für • Hochschulen und wissenschaftliche Einrichtungen des Landes Berlin und andere (norddeutsche) Bundesländer • Industrie und andere Bereiche über Kooperation • Rechenzeit für Großprojekte über Zulassungsausschuß • Fachberater des ZIB als „Mit“-Arbeiter • Forschungsprojekte auf den verschiedenen Fachgebieten und in Computer Science, z.B. MetaComputing ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

14. Historie ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

15. Chemie Molekulardynamiksimulationen Strukturforschung Klima- und Umweltwissenschaften Klimaforschung Meeresforschung Ingenieurwissenschaften Strömungsmechanik Festigkeitsmechanik Physik Astrophysik Elementarteilchenphysik Großprojekte • Rechenzeitkontingente auf CRAY T3E • tgl. 400 CPU*24h = 9600 CPU*h • Monat: 288000 CPU*h • typische Projektgröße: 8000 CPU*h/Monat ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

16. Fachberater im ZIB • aktiver Wissenschaftler im Fachgebiet (Chemie, Umweltwissenschaften, Ingenieurwissenschaften, Physik, Visualisierung) • enger Kontakt mit Projekten • Ansprechpartner für Probleme („Mädchen für Alles“) • Unterstützung der Projekte bei • Rechnerauswahl • Programmier- und Systemproblemen • Diskussion der Modelle, Algorithmen und Software • Programmentwicklung, -portierung und –optimierung • Anwendungssoftware: Auswahl, Installation, Pflege und Dokumentation ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

17. Supercomputing im Verbund • Norddeutscher Vektorrechnerverbund (NVV) • Berlin, Niedersachsen, Schleswig-Holstein • wechselseitige Beschaffung und gemeinsame Nutzung von Höchstleistungsrechnern, vertraglich geregelt • ZIB stellt Rechner als Berliner Beitrag zur Verfügung, • Zugang zu den anderen NVV-Supercomputern • national und international: • Verbesserung der Rechnernetze („Datenautobahnen“) • Erschließung der nächsten Supercomputergeneration ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

18. BRAIN+ Berlin Research Area Information Network – das Berliner Wissenschaftsnetz ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

19. Ab initioquantenchemische Simulationen • Grundideen • Atome charakterisiert durch Sätze von Gaußschen Basisfunktionen (atomare Orbitale) (ab initio = keine experimentell angepaßten Parameter, explizite Berechnung aller auftretenden Integrale) • Berechnung der molekularen Wellenfunktion (der molekularen Orbitale) als lineare Kombination atomarer Orbitale • Koeffizienten gehen in Berechnung molekularer Eigenschaften ein • Berechnung der Gesamtenergie eines Moleküls (Hartree-Fock and DFT) • Einlesen der atomaren Koordinaten , Konstruktion der Atomorbitale • Berechnung der Kern-Kern-Abstoßung • Berechnung verschiedener Integrale über atomare Orbitale (z.B. Elektron-Elektron-Abstoßung) • Überlappungsmatrix zwischen Orbitalen • Konstruktion der Fock-Matrix (auch abhängig von den Koeffizienten!) • Lösung des Eigenwertproblems • durch Diagonalisierung von • Test auf Konvergenz Selbstkonsistenz- zyklus ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

20. Ab initioquantenchemische Simulationen • Strukturoptimierung • Gesamtenergie • Atomare Kräfte (“Gradienten”) • Minimierung der Gesamtenergie durch iterative Verfahren • Rechentechnische Aspekte • Rechenaufwand ist bestimmt durch N und den Typ der Basisfunktionen • Rechenzeit per Prozessor ~N2 … N4abhängig vom jeweiligen Berechnungsschritt • Konvergenzbeschleunigungstechniken (z.B. Vordiagonalisierung mit verschiedenen Matrixdimensionen) • DFT (Dichtefunktionaltheorie) im Vergleich mit klassischen Hartree-Fock-Rechnungen: • Bessere Vergleichbarkeit mit Experiment (näherungsweise Behandlung der “Elektronenkorrelation”) • Teilweise andere Integraltypen (spezialisierte numerische Integrationsverfahren notwendig) • Höherer Aufwand (CPU Last und Memory) • Programmtechnische Aspekte • 500 k Zeilen Quellcode (F77) + Programmbibliotheken (F77, K&R C, ANSI C) ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

21. RNA-Fragment Sequenz von drei Aminosäuren 200 Atome 1291 Basisfunktionen ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

22. gamess Calculation time (SCF + gradient) 4000 3800 3600 3400 wall clock [s] 3200 RNA-Fragment, sv 6-31G, SCF 1291 basis functions, 200 atoms 3000 2800 2600 192 256 320 384 # PEs (450 MHz, 600 MHz) ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

23. CRAY T3E/404 @ ZIB MetaComputing im Gigabit Testbed (Topologie) HIPPI 800, 800 Mb/s ATM OC12, 622 Mb/s OC48, 3 x 2.4 Gb/s ATM Switch 650 km RZG LRZ München Erlangen Berlin TUB ZIB 700 km CRAY T3E/816 @ RZG ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum

24. gamess-mpi gamess-pacx Morphine (DFT) Calculation time (SCF + gradient) 5000 4500 4000 3500 3000 wall clock [s] 2500 2000 1500 1000 500 Morphine, 6-31G(d,p), BLYP 410 basis functions 0 32 64 96 128 # PEs, 300 MHz (450 MHz) T3E ZIB-Besuch Mathematik-Leistungskurs Hildegardis-Schule Bochum