Algorithmique pour les plateformes distribuées et hétérogènes

1. Algorithmique pour les plateformes distribuées et hétérogènes LIP ENS Lyon INRIA Rhône-Alpes

2. Plan de la présentation • Membres du projet • Introduction et fondements scientifiques • Présentation globale du projet • Algorithmique et ordonnancement • Ordonnancement pour le calcul creux • Approche client-serveur pour la simulation • Logiciels • Collaborations régionales, nationales et internationales • Contrats et projets • Conclusions et perspectives

3. Effectifs • Permanents • E. Caron (MdC ENS) • F. Desprez (DR2 INRIA, responsable) • J.-Y. L’Excellent (CR2 INRIA) • Y. Robert (Prof. ENS Lyon) • F. Vivien (CR1 INRIA) • Collaborateurs extérieurs • J.-M. Nicod (MdC Besançon) • L. Philippe (Prof. Besançon) • Détachements, IE, ATER, postdocs, invités • P. Combes (IE INRIA ACI GRID ASP , jusqu’à Sept. 03) – H. Dail (IE INRIA, à partir de Janv.03) • G. Utard (Det. INRIA, jusqu’à Sept. 03) – A. Su (Posdoc INRIA, à partir de Janv.03) • C. Pera (IE ENS RNTL GASP, , jusqu’à Juin. 04) – M. Colin (Postdoc INRIA, jusqu’à Sep. 04) • C. Koch Hoffer (IE INRIA VTHD++, jusqu’à Sept. 03) • Doctorants • S. Dahan (B), V. Garonne (M), A. Guermouche, B. Del Fabro (B), L. Marshall, P. Kaur Chouhan, A. Legrand, M. Quinson (jusqu’à Sept. 03), H. Renard, A. Vernois

4. Introduction et fondements

5. Caractéristiques des plateformes cibles • Hétérogénéité • Réseaux (couches de communications multi-protocoles), processeurs, hiérarchies mémoire profondes • Équilibrage des charges (ordonnancement) • Distribution des données (statique et dynamique) • Évaluation des performances, modélisation des architectures • Simulation • Dynamicité • Découverte de l’architecture • Équilibrage des charges (ordonnancement) • Distribution des données • Évaluation des performances, modélisation • Informations sur la charge en temps réel • Réactivité !

6. Nouveau projet GRAAL (GRids And ALgorithms) • Focalisation sur les problèmes algorithmiques dans les environnements hétérogènes et distribués • Algorithmique, placement de données et ordonnancement • Algorithmique pour le creux • Approche client-serveur pour l’exécution distribuée • Mots-clés: • algorithmique + bibliothèques + applications • sur les architectures hétérogènes et distribuées • Un des 5 challenges de l’INRIA : « Maîtriser l’infrastructure numérique en sachant programmer, calculer et communiquer sur l’Internet et sur des réseaux hétérogènes »

7. Y. Robert, F. Vivien Algorithmique et ordonnancement

8. Algorithmique et ordonnancement : Objectifs • Nécessité d'une approche théorique malgré la difficultédes problèmes d'ordonnancement (minimisation du temps d'exécution) • Injecter une connaissance statique dans un environnement essentiellement dynamique • Étudier l'impact des nouveaux paramètres architecturaux : hétérogénéité, volatilité, hiérarchie • Évaluation des stratégies : rejouer/comparer les heuristiques contre une même charge, simulée mais réaliste

9. Algorithmique et ordonnancement : Résultats (1/2) • ALGORITHMIQUE • Extension de ScaLAPACK aux grappes hétérogènes • Nouveaux résultats de complexité • Redistribution face aux variations de vitesse • Publications marquantes : IEEE TC, IEEE TPDS, livre ALgoPar • DIVISIBLE LOAD • Maître-esclave hétérogène • Algorithme multi-round : premier résultat de complexité • Publications marquantes : IEEE TPDS, Parallel Computing • Collaboration UCSD : H. Casanova

10. Algorithmique et ordonnancement : Résultats (2/2) ORDONNANCEMENT EN REGIME PERMANENT • Distribution optimale de tâches indépendantes sur une plateforme complexe • Extension au parallélisme mixte • Approche féconde : nombreux travaux en cours • Publications marquantes : IPDPS, journaux à paraître • Collaboration UCSD : L. Carter, J. Ferrante SimGrid • Extension à un ordonnanceur distribué • Découverte et modélisation des réseaux • V2 du logiciel disponible librement

11. Algorithmique et ordonnancement : Perspectives • ALGORITHMIQUE • Grappes de grappes • Équilibrage de charge avec partage de bande passante dans les réseaux • ORDONNANCEMENT • Heuristiques hiérarchiques et intégration DIET • Boîte-à-outils maître-esclave hétérogène • Tâches partageant des fichiers • Réplication pour la tolérance aux pannes

12. J.-Y. L’Excellent, G. Utard Algorithmique pour le creux

13. Méthodes directes pour la résolution de systèmes linéaires creux de grande taille • Méthodes directes (ex: multifrontale) • A = LU ou LDLT(Gauss) • Résolution : Ly = b puis Ux = y • Très robustes si pivotage numérique ( structures de données dynamiques) • Heuristiques de renumérotation • Approches dynamiques (placement, ordonnancement) • Structures de données dynamiques • Dynamicité liée aux architectures parallèles actuelles Résolution d’un système linéaire creux Ax=b Simulation d’un phénomène physique Remplissage Matrice initiale

14. Méthodes directes : Axes de recherche (1/2) • Étude des techniques de renumérotation les plus récentes • AMD, AMF, SCOTCH (ScAlApplix), PORD (Univ of Paderborn), METIS (Univ of Minnesota) • Impact sur le graphe de dépendance des tâches • Impact sur la mémoire • Impact sur les performances et le parallélisme • Ordonnancements dynamiques et équilibrage de charge • Grappes de multiprocesseurs • Ordonnanceurs pour optimiser les accès mémoire • Extension aux architectures plus hétérogènes • Approches out-of-core • Faire face aux défis de la simulation (taille croissante des problèmes) • Factorisation + résolution (anticiper la lecture des facteurs) • Très lié aux aspects ordonnancement

15. Méthodes directes : Axes de recherche (2/2) • Accès à nos techniques de résolution au travers de la grille • Mise en place en environnement client-serveur (avec DIET) • Site d’expertise (portail Web) avec comparaison à distance d’une large gamme de solveurs creux (ACI GRID TLSE) • Expérimentation et validation des recherches sur des problèmes industriels de grande taille • Grâce à la plateforme logicielle MUMPS, diffusée dans l’industrie: Boeing, EADS, CEA, Dassault, … • Rester à l’écoute des besoins des utilisateurs numériciens • Maintenir une plateforme d’expérimentation compétitive • Publications • SIAM J. Matrix Analysis and Applications, ACM Trans. Math. Software, Comput. Methods Appl. Mech. Eng., Parallel Computing, IPDPS • Collaborations • ENSEEIHT-IRIT, CERFACS, PARA//AB (Norvège), NERSC (Berkeley)

16. Méthodes directes : Perspectives • Poursuivre les collaborations industrielles • accès à des problèmes réels • contrats d’étude • Algorithmique numérique pour le creux: • out-of-core et liens avec l’ordonnancement • couplage avec des méthodes itératives • phase d’analyse symbolique parallèle, etc. • Environnements très hétérogènes • processeurs/réseaux/mémoire • ordonnancements mixtes statiques/dynamiques • Utilisation des ressources de la grille • accès à distance aux solveurs • valorisation de nos recherches (aspect vitrine) Algorithmique numérique pour le creux, … en ayant pour objectif la grille

17. E. Caron, F. Desprez, J.-M. Nicod, L. Philippe Approche client serveur pour la simulation Voir Eddy !

18. Logiciels • Scilab// • Version parallèle de Scilab (PVM, PBLAS, ScaLAPACK, NetSolve, DIET) • Surcharge des opérateurs • DIET • Toolkit pour applications utilisant des serveurs de calcul distribués • API pour l’ajout de nouvelles applications • FAST (Fast Agent System Timer) pour l’évaluation de la plateforme • MUMPS • Solveur creux par méthode multifrontale • Collaboration avec le CERFACS, l’ENSEEIHT-IRIT et PARA//AB • Plateforme d’expérimentation et de valorisation • SimGrid • Toolkit de simulation à événements discrets pour la simulation d’heuristiques d’ordonnancement • Insertion de traces réelles • Amélioration dans GRAAL (simulation d’agents communicants) • En collaboration avec UCSD

19. Contrats et projets nationaux • ARC INRIA RedGRID : redistribution de données en environnement hétérogène • ACI Grid • ASP : déploiement d’applications sur plateforme DIET • TLSE : site d’expertise pour les matrices creuses • DataGRAAL : gestion de données dans les grilles • CGP2P : approche calcul global (XtremWeb) • GRIPPS : recherche de motifs en bioinformatique • GRID2 : animation • ARGE : fédération des travaux dans le grand est • ACI Grandes Masses de Données • GDS : Gestion de données à grande échelle • Grid Explorer Plateforme de simulation • RNTL GASP : développement de la plateforme DIET (avec Sun Labs Europe) • RNRT VTHD++ : validation de la plateforme réseau avec nos applications • PSMN et Fédération lyonnaise de calcul • En cours de soumission : GRID 5000, RNTL eGuilde

20. Contrats et projets nationaux, européens et internationaux • NSF/INRIA • University of Minnesota, University of Indiana, NESRC, ScAlApplix, ALADIN, ENSEEIHT-IRIT • préconditionneurs parallèles • University of Tennessee • environnements pour la grille • University of California San Diego • ordonnancement hétérogène • Équipe Associée INRIA • GRAIL (UCSD) • Ordonnancement pour les plateformes hétérogènes • Simulation et validation de DIET avec SimGrid • Échange de chercheurs et organisation workshop • STAR Korée • Déploiement de DIET sur une grille nationale + applis • Programme Franco-Bavarois • LRR Lab., TUM (Munich) • Monitoring grille et application de bioinformatique • Réseau d’excellence • CoreGRID (6ème PRCD)

21. Collaborations nationales et internationales • Laboratoires étrangers • University of Tennessee Knoxville, USA • University of California San Diego, USA • NESRC, Lawrence Berkeley Laboratory, USA • PARALLAB, University of Bergen, Norvège • TUM Munich, Allemagne • University of Sains, Malaisie • Projets INRIA • APACHE (Rhône-Alpes) • ARES (Rhône-Alpes) • RESO (Rhône-Alpes) • Résédas/ALGORILLE (Lorraine), • ALADIN (IRISA) • PARIS (IRISA), • Métalau (Rocquencourt) • ScAlApplix (Futur) • Laboratoires français • Université de Franche-Comté • LaRIA (Amiens) • ENSEEIHT-IRIT, CERFACS (Toulouse) • LSIIT (Strasbourg) • IBCP • PSMN

22. Positionnement au sein de l’INRIA • APACHE (INRIA Rhône-Alpes) • Collaboration existante avec l’équipe de D. Trystram autour de l’ordonnancement • Intérêt pour le déploiement automatique de logiciels • SARDES (INRIA Rhône-Alpes) • Utilisation des résultats de SARDES autour des intergiciels pour les plateformes distribuées • ObjectWeb • PARIS (INRIA-IRISA) • Réutilisation de leurs développements autour de Grid Enabled Corba • Plusieurs collaborations en cours (ARC INRIA, ACI GMD) • ALGORILLE (Lorraine) • Approches différentes (modélisation des applications vs heuristiques d’ordo) • Plusieurs collaborations en cours (ARC INRIA, ACI GRID, RNTL) • Grand Large (Futur) • Approches différentes (calcul global dans son ensemble pour Grand Large) • Collaborations existantes (CGP2P) et possibles (ordonnancement, sécurité, tolérance aux pannes, découverte de services) • ScAlApplix (Futur) • Approches différentes (ordonnancement statique vs dynamique), autres applications • Collaborations existantes (MUMPS/Pastix, renumérotations, ARC INRIA)

23. Conclusions

24. Conclusions • Des aspects intergiciels pour les plateformes distribuées et hétérogènes …. • … aux aspects fondamentaux de l’algorithmique parallèle hétérogène et de l’ordonnancement • Implications importantes dans les projets de grilles nationaux, européens et internationaux • Visibilité nationale et internationale • Rester proche des applications: calcul numérique « classique » mais aussi d’autres domaines (data-intensive) • Collaborations industrielles autour des grilles de calcul

25. Production Team Individual Investigator Other Users Interactive User Tools Request Planning and Request Execution Virtual Data Tools Scheduling Tools Management Tools Resource Security and Other Grid Resource Security and Other Grid Management Policy Services Management Policy Services Services Services Services Services Transforms Raw data Distributed resources source (code, storage, computers, and network) But ultime • Problem Solving Environments • Plus de transparence, généricité, sécurité • Unification des couches logicielles (Grid Forum) • Couplage algorithmique et modèles avec les supports d’exécution et les architectures • Pouvoir traiter à la fois les données et les calculs

26. Domaines d’applications • Applications des solveurs creux • Dynamique moléculaire • Modèles numériques de terrain • Simulation de circuits électroniques • Biochimie • Physique • Bioinformatique • Compilation à distance