High Performance Computing mit Windows

1. High Performance Computing mit Windows Windows HPC Server 2008 Wolfgang DREYER HPC - Produkt Manager Deutschland wdreyer@microsoft.com

2. Agenda

3. Geschäftsvorteile durch HPC Wettbewerbsvorteile Möglichkeiten zur Verbesserung der Betriebsleistung (Kosten, Qualität und Produkteinführungszeit) Qualitätsgerechte Compliance im Bezug auf behördliche Anforderungen Schnelle Zyklen der Produktinnovation

4. End-to-End-Workflow Entwurf und Vorverarbeitung Analyse und Nachverarbeitung Simulationen und Tests Konzept und Zielsetzung Entwurf Simulation Analyse Resultat

5. HPC-Speicherlösung Höherer Entwicklungs-standard Aggregat (MB/s/Core) • IBM – GPFS • Panasas – Active Scale • HP – PolyServe • Ibrix – Fusion • Quantum – StorNext • SANbolic – Melio file system • Windows Server 2003 • Windows Server 2008 • … Anzahl der Cores im Cluster

6. Highspeed-Networking-Technologien Cisco Voltaire Qlogic Open Fabrics Myrinet, Infiniband, 10-GB-E. NetEffect Bandbreite 1-GB-Ethernet Myricom 100-MB-Ethernet Verfügbarkeit

7. Aktuelle Umgebung Speicherung Unternehmensinfrastruktur Cluster/Supercomputer Ingenieure Information Worker Spezialsprachen Wissenschaftler Finanzanalysten Debugger Highspeed-Networking Mainstreamtechnologien Compiler

8. High Productivity Computing Kombinierte Infrastruktur Integrierte Desktop- und HPC-Umgebung Vereinheitlichte Entwicklerumgebung

9. Die Herausforderung • Hürde: Integrationsfähigkeit • Mangel an nahtloser Integration zwischen Workstations, Clustern, Daten • Mangel an Anwender-Workflowintegration über verschiedene Anwendungen und Abteilungen hinweg • Hürde:Technologieinseln • Isolierte Inseln erfordern viel manuelle Arbeit • Wenig End-to-End-IT-Prozessintegration • Existierende Investitionen in weitgefächerte IT-Qualifikationen und IT-Infrastruktur können nicht genutzt werden • Hürde: Anwendungsverfügbarkeit • Begrenzte Umgebung mit Parallel-anwendungen • Mangel an entwicklerfreundlichen Tools, schwer zu programmieren „High-End-Computing muss leichter und produktiver anzuwenden sein. Der Fokus sollte auf „Time to Solution“ liegen, dem wichtigsten Wertmaß für High-End-Computing-Anwender … Eine gemeinsame Softwareumgebung für wissenschaftliches Computing von High-End-Systemen bis zu Standarddesktops wird die Produktivitäts-gewinne durch die leichte Nutzbarkeit und Handhabung der Systeme steigern.“ High-End Computing Revitalization Task Force, 2004 (Office of Science and Technology Policy, Executive Office of the President)

10. Warum Microsoft für HPC? • Aktuelle Probleme • HPC- und IT-Datencenter-Zusammenlegung: isoliertes Clustermanagement • Entwickler können Parallelität schwer programmieren • Anwender haben kaum Zugang zur Verbesserung der Verarbeitung von Kernprozessen und Daten • Wie kann Microsoft helfen? • Gut positioniert für die Mainstreamintegration von Anwendungsparallelitäten • Hat bereits begonnen, Parallelität weitgehend für die Entwicklercommunity möglich zu machen • Kann den Wert von HPC durch die Integration von Produktivitäts- und Managementtools steigern • Investitionen von Microsoft in HPC • Umfangreiches Softwareportfolio: Client, Server,Management, Entwicklung und Zusammenarbeit • Engagierte Teams für Cluster-Computing • Vereinheitlichte Parallelentwicklung durch die„Parallel Computing Initiative“ • Partnerschaften mit technischen Computinginstituten

11. Die HPC-Strategie von Microsoft: Expanding to the Enterprise Technologien Produktivität Allgemeine Management- und Produktivitätsplattform MOSS, SQL, System Center Entwickler-Tools Visual Studio 2008 Parallel Computing Initiative Allgemeine Entwickler-Plattform für Desktop-Cluster Windows Compute Cluster Server 2003 IO NetworkDirect für sehr hohe Netzwerkeffizienz Computing Skalierbare Unterstützung für Dateisysteme Key-Partner Daten-Speicherung SOA-basiert; skalierbare Partner Ressourcen- management Key-Partner Computing Schnelle Entwicklung NutzungsbereiteAnwendungsüberwachung Leichtes Management Windows HPC Server 2008 2008 2006−2007 Märkte Phase 1:Unternehmenscluster Phase 2:allgemeine Plattform für Abteilungs- und Unternehmenscluster

12. Die Microsoft-Vision für HPC Windows HPC ermöglicht Ihnen mehr zu erreichen! Und zwar in kürzerer Zeit und mit geringerem Aufwand: durch die Nutzung der bereits vorhandenen Anwenderfähigkeiten und durch Integration in/von bereits bestehende(n) Tools. Administrator Anwendungsentwickler Endanwender • Integrierte und sofort nutzbare HPC-Clusterlösung • Vereinfachtes Setup und Deployment • Integrierte Diagnosetools • Effiziente Clusternutzung • Integration in IT-Infrastrukturen und Richtlinien • Integrierte Tools für paralleles Programmieren • Hochproduktive Frameworks für Parallelprogrammierung • Serviceorientierte HPC-Anwendungen • Unterstützt die wichtigsten HPC-Entwicklungsstandards • UNIX-Anwendungsmigration • Nahtlose Integration in Workstationanwendungen • Integration in bestehende Zusammenarbeits- und Workflowlösungen • Sichere Ausführung von Aufträgen und sicherer Datenzugriff

13. Integriertes HPC der Zukunft

14. Verlässlichkeit Was ist neu in Windows Server 2008? Leistung Usability • ´ Dynamische Partitionierung – • Hot Plug PCI Express/Memory, • Hinzufügen und Ersetzen von Prozessoren im laufenden Betrieb • Dateisysteme – selbstreparierendes NTFS • Windows 64bit Hypervisor - HyperV • Neues Ereignisprotokoll/ • neue Diagnosefunktion • PowerShell • Speichermanagerleistung Schnellerer Festplattenzugriff für Auslagerungsdateien und gemappte Dateien, I/O-Eingabe/Ausgabe (das 64-KB-Limit gibt es nicht mehr) I/O-Priorität • Basiert auf der Priorität des Issuing Thread oder der explizit definierten I/O-Priorität • Verwendet von Windows Server 2008-Hintergrundaufgaben wie Indizierung • Erweiterungen die speziell die NUMA (Non-Uniform Memory Access) Funktionalität unterstützen • SMB 2.0 • Unterstützt NTFS-Client-seitige symbolische Links • Unterstützung für beliebige Buffergrößen für effizientere Kopierresultate mit 30 bis 40-fachen Durchsatzverbesserungen

15. Was ist neu im HPC Pack 2008? • Neues System Center-UI • PowerShell für CLI-Management • Hohe Verfügbarkeit für Hauptknoten • Windows Deployment Services • Diagnose- und Reportingtools • Operations Manager wird unterstützt • SOA und WCF werden unterstützt • Genaues Ressourcen-Scheduling • Verbesserte Skalierbarkeit für größere Cluster • Neue Job-Scheduling-Richtlinien • Interoperabilität via HPC-Profile System-management Job- Scheduling • Verbesserte iSCI SAN-Unterstützung in Win2008 • Verbesserter Server Message Block ( SMB v2) • Neue Drittanbieter-Parallelsystem-Dateiunterstützung für Windows • Neue Memory-Cache-Anbieter • NetworkDirect (RDMA) für MPI • Verbesserter Netzwerkkonfigurationsassistent • Shared Memory MS-MPI für Multicore • MS-MPI integriert in Windows Event Tracing Networking und MPI Speicherung

16. Windows HPC Server 2008 Readyfor Primetime #X Top 500 30 % Effizienzsteigerung mit der gleichen Hardware Freigabe: November 07 Beta 1Sommer 08 RTM Deployment in wenigen Stunden

17. Höhere Effizienz für Systemadmins • Einfach im Setup und Management in einer vertrauten Umgebung • Nutzungsbereite Clusterlösungen durch OEMs • Vereinfachtes System- und Anwendungsdeployment • Basisimages, Patchs, Treiber, Anwendungen • Fokus auf leichtem Management • Umfassende Diagnose-, Trouble Shooting- und Überwachungstools • Vertrautes, flexibles und „zentrales“ Managementinterface • Entsprechende Befehlszeilenunterstützung für automatisches Management • Skalierbarkeit • Skalierbares Deployment, Administration, Infrastruktur • Hauptknoten-Failover • Clusternutzungsreporting • Computerknotenfilterung • Bessere Integration ins Unternehmensmanagement • Patchmanagement • System Center Operations Management • PowerShell • Windows 2008-Hochverfügbarkeitsservices

18. System Center Operations Manager

19. Die nächste Generation der Clusterservices Große Verbesserungen bei der Konfigurationsvalidierung und im Management HPC Pack enthält: Setupintegration mit Failover Clustering Services Hauptknoten- und Failoverknoten-Setup mit SQL Failover Cluster Job-Scheduler-Services-Failover Managementkonsole verbunden mit Windows Server-Failover-Managementkonsole Hochverfügbarer Hauptknoten • “Single point of error” werden durch die Failover-Lösung eliminiert • Erfordert Windows Server 2008 Enterprise Failover Clustering Services Privates Netzwerk Windows Failover Clustered Hauptknoten Win2008 Enterprise Clustered SQL Server Failover-hauptknoten Win2008 Enterprise Clustered SQL Server Gemeinsame Festplatte

20. Prioritäten Vergleichbar mit hardwareoptimierten MPI-Implementierungen Fokus auf MPI-Only-Lösung für Version 2 Verbs-basiertes Design für nahtlose Integration in native High Performance Networking Interfaces Koordiniert mit Win Networking Teamlangzeitpläne Implementierung MS-MPIv2 für 4 Networkingpfade Gemeinsamer Speicher für Prozessoren auf einem Motherboard TCP/IP-Implementirung („normales“ Ethernet) Winsock Direct (und SDP) für socketsbasiertes RDMA Neues RDMA-Networking-Interface HPC-Teampartner mit Networking-IHVs zur Entwicklung und Distribution von Treibern für dieses neue Interface NetworkDirect Ein neues RDMA-Networking-Interface für mehr Geschwindigkeit und Stabilität SocketbasierteAnwendung MPI-Anwendung MS-MPI Windows Sockets (Winsock + WSD) RDMA- Netzwerk TCP/Ethernet- Netzwerk Networking Hardware Networking Hardware Networking Hardware Networking Hardware Networking Hardware Networking Hardware Winsock Direct- Provider Mini-Port-Treiber NetworkDirect- Provider TCP IP NDIS Kernelbypass Networking Hardware Networking Hardware Networking Hardware Networking Hardware Networking Hardware Networking Hardware Hardwaretreiber Netzwerkhardware Awendermodus-Zugangsebene (ISV) Anw. CCP-Komponente OS-Komponente IHV-Komponente

21. Interoperabilität und Open-Grid-Forum LSF/PBS/SGE/Condor Linux, AIX, Solaris HPUX, Windows Windows Cluster Windows Center Windows Center

22. Jetzt erhältlich: Debugging (für Entwicklung/Parallelprogrammierung) in Visual Studio Compiler, Debugger, Runtimes et cetera von Drittanbietern Neue Technologien: Parallelframework LINQ/PLINQ – natürliche OO-Sprache für SQL-Abfragen in .NET C# Futures – für Loops beim Parallelprogrammieren Für die Zukunft: Parallel Computing Initiative (PCI) Dreifachinvestment mit einem neuen Engineeringteam Gemeinsame Entwicklertools für Multicore-Codes vom Desktop bis zu Clustern Parallelprogrammierung

23. Versionsvergleich

24. Technische Vorschau (Private Release) Beta 1 – jetzt erhältlich! Beta 2 – zusammen mit Windows Server 2008 RTM RTM – 90 bis 120 Tage nach Windows RTM Versionen Techn. Vorschau Beta 2 RTM Beta 1 August 2008 Nov. 2008 Sommer 2008 Frühjahr 2008

25. Branchenbasierte Lösungen Finanz-dienste GeologischeDienste Medizin,Pharma Bildung Luftfahrt Automotive Regierung

26. Windows HPC Server 2008-Angebote Basisangebot, sofort nutzbar Hochverfügbarkeit Unternehmensmanagement • Sofort nutzbare Lösung für bis zu 1000 Knoten • HPC Pack • Management • Deployment • Job-Scheduling • Drittanbieterpackages für Job-Scheduling • Kein einzelner Fehlerpunkt • Windows Server 2008 Enterprise für hohe Verfügbarkeit des Hauptknotens • SQL Server 2008 Enterprise für hohe Verfügbarkeit • Größe bis zu vielen Tausend Knoten • System Center Operations Manager für hochentwickelte Überwachung • System Center Configuration Manager für verbessertes Deployment und Patch- management System Center Configuration Manager Dritt-anbie-ter System Center Operations Manager SQL Server 2008 Express Dritt-anbie-ter SQL Server 2008 Standard SQL Server 2008 Standard Dritt-anbie-ter HPC Pack HPC Pack HPC Pack Windows HPC Server 2008 Windows HPC Server 2008 Windows Server 2008 Enterprise Windows HPC Server 2008 Windows Server 2008 Enterprise • Klein und leicht/kein UI/CLI • Hyper-V • Kein .NET Framework Windows Server 2008 Core

27. Microsoft HPC-Website – laden Sie jetzt die Beta-1-Version herunter! www.microsoft.com/hpc Windows HPC-Community-Site www.windowshpc.net Windows Server x64-Informationen www.microsoft.com/x64/ Windows Server System-Informationen www.microsoft.com/windowsserver Die wichtigsten Fakten finden Sie auf dieser Website www.microsoft.com/getthefacts Ressourcen