Nouveautés : Windows HPC Server 2008 R2 et le vol de cycles

2. Nouveautés :Windows HPC Server 2008 R2 et le vol de cycles Mercredi 9 Février : 11H00 à 12H00 Muriel BARTHELEMY– Commerciale Technical Computing Thomas VARLET – Expert Technical Computing Microsoft France

3. Agenda • Initiative Technical Computing • Windows HPC Server 2008 R2 • Administration/surveillance du cluster • Ajouter de la puissance au cluster • Utilisation du cluster • Développement d’applications parallèles

4. Initiative Technical Computing

5. Tendances dans le HPC Plus de puissance de calcul Explosion des données • Gestion des données • Analyse des données • Plateforme Multi-coeur • Cloud computing • GPU Tendances ayant un impact sur le HPC Rendre le HPC plus accessible Contrôler et aligner les couts • Coût total • Unifier l’infrastructure d’entreprise et le HPC • Rendre l’accès plus facile pour les utilisateurs d’organisations de toutes tailles • Utiliser les compétences des équipes IT pour administrer les ressources HPC

6. Vision de Microsoft pour le HPC Fournir une plateforme, des outils et un écosystème, le tout intégré et complet pour réduire les coûts et la complexité du HPC. Offrir une vision claire et complète du futur. Réduire la complexité Mainstream HPC Ecosystème large • Faciliter le déploiement des clusters de calculs • Adresser les besoins traditionnels du HPC • Augmenter les nombre d’applications parallèles • Simplifier la gestion de clusters de toutes tailles • Adresser les technologies émergeantes • Offrir un large choix d’outils de dev./langages /bibliothèques • Intégrer les clusters avec l’infrastructure existante • Offrir un accès simple aux puissances fournies par le HPC • Construire un univers plus large d’administrateurs / de développeurs et d’utilisateurs 6

7. Windows HPC aujourd’hui 2006 2008 2010 HPC hautement « scalable » et efficace • Construit à partir de Windows Server 2008 R2, • Extensible à des milliers de serveurs, • Eléments d’administration personnalisable pour un meilleur contrôle • Evolution du modèle SOA pour une programmation plus facile et une plus grande extensibilité • Développement parallèle avec VS 2010 & .NET 4.0 • HPC Services pour Excel ® 2010 • Extension des capacités via les stations de travail et Windows Azure

8. Une plateforme complète et intégrée de cluster HPC Construit à partir de Windows Server 2008 R2 64-bit Répond aux besoin actuels et futurs du HPC Windows HPC Server 2008 R2

9. Windows HPC Server 2008 R2 Suite Excel Cluster SOA MPI ISV /OSS Applications Applications HPC HPC Middleware Pack SOA Système d’exploitation HPC Edition Cluster utilisant un hardware standard

10. Client Cluster Cloud Une machines avec un seul espace d’adressage mémoire Nœuds multiples, Mémoire distribuée Nœuds multiples, Mémoire distribuée, Capacité à la demande Microsoft Technical Computing

11. Windows HPC et le Cloud On-premise Desktop Compute Cloud via Idle Workstation Cores HPC Head Node Desktop User HPC Cluster Broker Node(s) Azure Azure Compute Proxies Azure Compute Instances

12. Windows HPC Server 2008 R2

13. Scale Windows HPC Server 2008 R2 Modèles d’application multiples • Déploiement • Configuration • Monitoring • Diagnostics • Trouble Shooting • Diskless & Dual-boot • Reporting • Tuningde Performance Administration • MPI • Job en batch • Mode interactif (SOA) • Calculs distribués • « Business Critical » SOA • Excel et apps ISV • Politique d’utilisation du cluster 1000s de machines Secure Partners • IDE intégré • Debugger MPI • Profiler MPI • debugger SOA • TaskParallel Library, PLINQ • Support intégré des GPU • Privateclouds • Public clouds • HPC comme un service • Big Data Analytics • Visualisation • Workflow intégré Outils de dev. Parallèle & Cluster Technologies nouvelles Performance

14. Architecture d’un cluster HPC Active Directory HPC Clients Compute Nodes Head Nodes Jobs Requests Jobs Jobs Windows HPC Server 2008 R2 cluster

15. Rôles dans WHPCS R2 • Head Node • Serveur qui permet d’administrer et d’utiliser les ressources de calcul du cluster, c’est l’interface du cluster • Broker Node • Serveur(s) qui dirige(nt) les appels aux services WCF depuis les clients SOA vers les services SOA sur les computesnodes • ComputeNode • Serveurs sous WS2008/WS2008 R2 x64 qui fournissent de la puissance de calculs aux utilisateurs • Toujours disponibles • Workstation node • PC sous Windows 7 qui fournit de la puissance de calcul additionnelle au cluster • Disponibilité variable en fonction des choix de l’organisation • Azure node • Ressource supplémentaire provisionnée dans Windows Azure SP1

16. Mise en oeuvre des rôles Active Directory Azure Node Jobs Jobs HPC Clients Compute Nodes Head Nodes Jobs Jobs Jobs Broker Nodes Jobs WCF request Workstation Nodes Jobs Jobs

17. Administrationet surveillance du cluster

18. Administration du cluster • Une seule console pour TOUTES les taches d’administration • Interface • GUI, • PowerShell, • Command Prompt • Déploiement • Monitoring • Diagnostics • Gestion des utilisateurs/administrateurs du cluster • Gestion des serveurs • Etats : • Santé : services HPC • Statuts : ordonnanceur • Organiser : • Création de groupes de machines • P. Ex. : Groupe machines avec/sans GPU • P. Ex. : Groupe machines avec ANSYS Fluent • Passer des commandes • Gestion des mises à jours

19. NEW Administration du clusterdéploiement • Déploiement rapide de cluster ayant plus de 1000 machines • Déploiement Parallèle en utilisant le mode multicast de WDS • Surveiller l’état du déploiement • Wizzard de déploiement • « To-Do list » montre les étapes • Générer/capturer des images, • personnalisation de l’installation • Boot iSCSI sur le réseau pour des serveurs sans disque local • Dual-boot pour lancer des applications Windows et Linux sur le même cluster • Partenariat avec Platform Computing et Adaptive Computing

20. Administration du cluster Cluster Monitoring • Heatmap montre le statut global du cluster • Jusqu’à trois métriques par serveur • Onglets personnalisables et multiples pour des vues différentes de la Heatmap. • Voir les machines groupées par hardware; software ou par des attributs personnalisés • Surveillance sans agent des computesnodes • Voir le statut et le progrès des jobs et des tâches

21. Administration du clusterDiagnostics & Reporting • Intégration avec Event Tracing for Windows (ETW) pour du « trouble shooting ». • Tracing SOA , debugging MPI et SOA • Collection de diagnostics qui permettent de vérifier un grand nombre de fonctions du cluster (déploiement, infra, perf, … ) • Framework extensible de diagnostics • Ouvert aux développeurs • Création de diagnostics personnalisables dans tous les langages de programmation ou scripts. • Infrastructure extensible de reporting • Interface d’administration du cluster • Les données sont stockées dans une base SQL, elles sont exportables via PowerShell, SQL Server Reporting services ou Excel. • P.ex. : Silverlight reportingsamples

22. Haute disponibilté • Les parties clé du cluster sont toujours disponibles • Head Node • Active/passif • Cluster haute disponibilité SQL • SOA • Broker Node • Active/passifs • MSMQ, MSCS Storage • Haute disponibilité sur les requêtes SOA • MSMQ • Jobs • Re-soumis si le nœud « fail »

23. Ajouter de la puissance au cluster

24. Ajouter des Workstation au Cluster Etendre la capacité du cluster en utilisant des stations de travail pour lancer des jobs de calculs Sommaire • Ajouter des machines sous Windows 7 comme ressources de calculs • Voir et surveiller les stations comme des computesnodes • Calendrier de disponibilité • Prérequis • Windows 7 Professional ou Enterprise, 32 ou 64-bit (nécessite le support Active Directory) • Desktops et cluster dans le mm domaine AD

25. Cluster HPC Server 2008 R2 avec des stations de travail Active Directory Clients HPC / Station de travail Compute Nodes Jobs Head Nodes Jobs Requête Jobs Jobs Jobs Jobs Windows HPC Server 2008 R2 cluster

26. Workstation Nodes : disponibilité • HPCS R2 ne déploie pas les stations ! • Disponibilité Manuelle • Définie par l’administrateur du cluster • Calendrier • Donne la disponibilité des stations sur une semaine • Vol de cycle • Utilisation quand la station n’est pas utilisée SP1

27. Active Directory Cluster HPC Server 2008 R2 avec des Azure Node SP1 HPC Clients Compute Nodes Head Nodes Jobs Jobs Broker Nodes Jobs Azure Node Jobs Jobs

28. HPCS dans Azure: Le Cloud à votre service SP1 Quatre modèles de déploiement Tout local Toutes les ressources sont locales Tout dans le cloud Toutes les ressources dans Azure Mixe ComputeNodes locaux et ajout dynamique de ressources dans le Cloud Retour en local Début dans Azure, puis ajout en local Deux modèles de stockage Deux modèles d’applications En local, déployé dans Azure. Tout dans Azure: SQL Azure, Azure Storage Service SOA du Cluster Calcul distribué

29. Utilisation du cluster

30. Soumettre des jobs Active Directory HPC Clients HPC GUI Compute Ressources Requête Jobs Head Nodes HPC CMD/PS Jobs Requête Jobs Requête Web Interface Jobs Windows HPC Server 2008 R2 cluster Requête Apps

31. Une plateforme pour tous types d’applications : ordonnanceur • Granularité des ressources • core, socket ou server • Gestion des différents types de Jobs • SOA, MPI, Batch, Interactive, balayage paramétrique • Support des différents types de politique d’ordonnancement • Grow & Shrink, Preemption, Service Balanced, Priority, Backfill • Interfaces Multiples • Command Line, GUI, SharePoint, Windows PowerShell 2.0, COM, .NET • Support de large cluster (> 1000 serveurs) • Support de matériel hétérogène • Groupe de serveur

32. Ordonnanceur : Gestion

33. User Mode Kernel Mode Performance et extensibilité: Network Direct Une nouvelle interface réseau de type RDMA pour de meilleures performances • Un design très proche du hardware pour offrir des performances proches des interfaces haute performance des réseaux rapides • Performances équivalentes aux couches optimisées • Drivers Network Direct pour les réseau haute performance: • Infiniband • 10 Gigabit Ethernet (iWARP-enabled) • MS-MPI peut utiliser 4 modes: • Mémoire partagée • TCP/IP (Ethernet “normal”) • Winsock Direct pour un RDAM basé sur des sockets • Interface NetworkDirect Socket-Based App MPI App MS-MPI Windows Sockets (Winsock + WSD) RDMA Networking TCP/Ethernet Networking Networking Hardware Networking Hardware Networking Hardware Networking Hardware Networking Hardware Networking Hardware Mini-port Driver WinSock Direct Provider NetworkDirect Provider TCP IP NDIS Kernel By-Pass Networking Hardware Networking Hardware Networking Hardware Networking Hardware Networking Hardware Networking Hardware Networking Hardware User Mode Access Layer Hardware Driver (ISV) App HPCS2008 Component OS Component IHV Component

34. Plateforme pour tous types d’applications SOA sur un cluster HPC • Expose les fonctions de calculs comme un service WCF • Applications distribuées • Utiliser la puissance offerte par les cluster aux applications business • Optimisé pour une latence faible (ms) et une charge importante • Debugger et analyser afin de créer des applications robustes • Support pour des applications critiques • Tolérance aux pannes du hardware et du réseau • Tolérance aux pannes des postes/applications clientes

35. HPC Cluster SOAOrganisation des requêtes Compute Nodes Head Node 1. Crée une Session 2. Le gestionnaire de session démarre le job WCF Broker et le job WCF Service pour le job client 3. requêtes 4. requêtes Workstation 5. Réponses Broker Node 6. Réponses Construit sur des Web Service Standards (WS* interop)

36. Se connecte au cluster comme un client SOA code VSTO dans un classeur fait appel à un service SOA Entrées et sorties gérées par le développeur Excel Tourne de multiples instances Excel 2010 sur Cluster HPC Chaque instance lance une itération du même classeur Peut-être lancé depuis Excel 2010 ou une appli Windows Suppression des boites de dialogue Accélérer Excel 2010 Client SOA Excel Tourner en parallèle sur un cluster UDF Excel Excel 2010 inclut une nouvelle API et des options pour un cluster HPC Support des fichiers.XLL développés avec le SDK Facile à développer sur un desktop et déployé sur un cluster Classeur Excel sur un Cluster NEW UDF Excel sur le Cluster NEW

37. Exécuter un classeur Excel vers un cluster Compute Nodes Requête de session Head Node Assigne un broker Brokers Assignation d’une tache Soumission de tache Résultats Spreadsheet Résultats

38. Exécuter des UDFs sur un Cluster Compute Nodes UDF Requête de session UDF Head Node UDF Assigne un broker Brokers UDF Assignation d’une tache Soumission de tache Résultats UDF Spreadsheet Résultats UDF

39. Accélérer Excelclasseurs Excel vs. « Remote » UDFs • Classeur Excel sur un cluster • RemoteUDFs • Calculs encapsulés dans une fonction • P. Ex. custom .XLL • Calcul complexe ou gros consommateur de temps • Peu de changement sur la fonction dans le temps • Une recompilation nécessite un redéploiement sur le cluster • Les calculs doiventêtre indépendants d’autres cellules • Pas d’interdépendance au sein de la feuille • Calculs complexes ou basés sur des feuilles Excel. • Des entrées multiples pour produire des sorties multiples • Quand Excel est utilisé comme un moteur de calcul et pas une « simple » interface • Code VBA • Fournit une façon simple et non-destructive de porter des classeurs sur un cluster • Pas besoin de développer une nouvelle plateforme • Programmation Excel • Maintenance simple par les utilisateur • Gestion des pop-up Excel • Extensibilité : limité par le hardware et SOA , pas Excel

40. Développement d’applications parallèles

41. Vue globale: Programmation parallèle sous Windows Une sélection riche et intégrée d’outils/compilateurs/debugger/profiler pour écrire des applications parallèles

42. Windows HPC Server 2008 R2Dévelopement d’applications parallèles pour un cluster • Visual Studio et ses add-in pour le développement d’applications parallèles • Support du développement MPI (debugger) • Support du développement d’applications SOA pour un cluster • Parallel LINQ et TaskParallel Library (TPL) inclus dans le .NET Framework 4.0 • Support du développement pour des GPGPU en partenariat avec NVIDIA • Support d’outils et bibliothèques tierces

43. Développement d’ApplicationNVIDIA ParallelNsight Accélérer le développement d’applications CPU + GPU • GPU computing • CUDA C • OpenCL • DirectCompute • Graphiques • DirectX 10 and 11 • OpenGL • OS • Windows Vista, Windows 7, et Windows Server 2008 • Intégration dans Visual Studio 2008/2010

44. Technologies parallèles dans Visual Studio 2010 • Rendre les applications parallèles plus productives et plus accessibles • Abstraction et construction de haut niveau • Faciliter et réduire l’impact du développement parallèle sur le code • Aider les développeurs à exprimer un parallélisme au sein du code et le faire correspondre aux ressources hardware • Inclut des outils de développement avancés qui comprennent les constructions parallèles • debugger et profiler

45. Pour nous suivre et participer : • modelingtheworld.com • twitter.com/modelingtw • facebook.com/modelingtheworld • http://blogs.technet.com/WindowsHPC/ • www.microsoft.com/hpconglet : communauté, tous les forums pour toutes les questions • HPC surTechnet : http://technet.microsoft.com/en-us/library/cc514029.aspx • HPC sur MSDN : http://msdn.microsoft.com/en-us/library/bb743248.aspx