1 / 21

Projet grappe 200 PC

Projet grappe 200 PC. Philippe Augerat. Laboratoire ID. Statut du projet. Appel d’offre infructueux Pentium 4 Athapascan Partenariats. Applications. Philosophie : partenariats scientifiques, validation d’Athapascan Applications nouvelles : Cartographie Génomique Imagerie

gillian-nguyen
Download Presentation

Projet grappe 200 PC

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Projet grappe 200 PC Philippe Augerat Laboratoire ID

  2. Statut du projet • Appel d’offre infructueux • Pentium 4 • Athapascan • Partenariats

  3. Applications • Philosophie : partenariats scientifiques, validation d’Athapascan • Applications nouvelles : • Cartographie • Génomique • Imagerie • Optimisation combinatoire • Travail sur les méthodes

  4. Environnements hétérogènes • Nouvelles plateformes : • Architectures de grilles • Global computing • Couplage de code • Algorithmique : • Ordonnancement hétérogène et hiérarchique • Ordonnancement inter/intra applications

  5. I-cluster • Centre de calcul dédié à l’expérimentation • 225 PC « entrée de gamme » sur réseau standard • Utilisation intensive dont une cinquantaine d’utilisateurs en dehors d’ID

  6. Outils d’exploitation d’une grappe de grande taille • Mettre en place des architectures de calcul et de services basées sur des centaines (milliers) de PC • Voir (accéder, administrer, programmer) ces machines comme s’il s’agissait d’une seule

  7. Ka Besoin de passage à l’échelle des outils d’exploitation : • installation de système d’exploitation • copie de fichiers • lancement de commandes parallèles • systèmes de fichiers • outils de monitoring • etc

  8. Opérations collectives sur un grand nombre de machines • Usages : • Gestion des processus et E/S (lancement de programmes ou commandes parallèles, réseau de contrôle dans un environnement de programmation parallèle ou de monitoring) • Déplacement des données (fichiers, opération collectives dans MPI, installation de l’OS) • Etc • Techniques : multicast, arbres couvrants

  9. Topologies de communications • séquentiel arbre binomial • multicast : fiabilisation (?) • chaîne • arbre binaire

  10. Gestion de processus : Ka-run(Cyrille Martin) • But : Lancement rapide de processus sur un grand nombre de nœuds. • Contraintes : • Utilisation des daemons standards (rshd) • Récupération de signaux, entrées/sorties • Utilisation du canal de communication crée entre les processus pour diffuser des données

  11. Optimisation du lancement • Une étape = un appel d'exécution distante • Déroulement d'une étape dans le temps: authentification Demande de connexion Création ou échec de connexion • il faut minimiser le nombre d'étapes • arbre binomial • faire plus en une étape • parallélisation d'un appel d'exécution distante

  12. 1 2 3 4 Exemples Temps séquentiel arbre pipeline

  13. Plate-forme d’évaluation : I-cluster 225 HP e-PC PIII 733 Mhz Top500 : 82 Gigaflops (385ème)

  14. Lancement

  15. Diffusion

  16. Installation de système d’exploitation en chaîne : Ka-deploy (Simon Derr) • Données : quelques Gigaoctets • Importance de la bande passante • Solution en deux étapes : • formation d’un chaîne de machines • copie des données en pipeline

  17. Serveur Contrôle Données Client1 Client 2 Client 3 Serveur Disque • Les machines que l’on installe demandent à la machine source (le serveur) l’adresse IP de la fin de la chaîne de diffusion et s ’y connectent • Chacun des clients lit les données en provenance de la chaîne, les écrit sur son disque et les envoie au reste de la chaîne Client 1 Client 2 Client 3 Disque Disque Disque

  18. Performances • Pipeline : débit ~= 10Mo/s (en théorie débit optimal). L’installation de 200 machines prends une vingtaine de minutes. • Multicast : 4 Mo/s vers 100 nœuds, semble se dégrader ensuite • Arbre binomial : Un peu plus lent pour le nombre de machines concerné (6 à 8 étapes nécessaires)

  19. Difficultés • Modélisation complexe : • Sensibilité à la topologie du réseau et à l’opération à réaliser • Synchronisation dans un environnement hétérogène (réseau, cpu, disque) • Tolérance aux pannes • Ingénierie des OS

  20. Conclusion et perspectives • Déploiement très souple d’une grappe (reboot, upgrade, passage en Windows 2000) ou d’un Intranet • Des commandes parallèles performantes • Exploitation d’un intranet • Déploiement dans un environnement grille • Utilisation dans un environnement de programmation parallèle • Intégration à une distribution Linux Mandrake pour cluster

  21. Perspectives : grappe 200 • Plate-formes et outils d’exploitation : • Installation premier trimestre 2001 • Grille de grappes opérationnelle • I-cluster : infrastructure de services sur un Intranet d’entreprise • Applications • Visualisation • « Valorisation » du logiciel Athapascan dans le cadre des projets CLIC et Microsoft

More Related