1 / 14

GDS : Bilan PARIS

GDS : Bilan PARIS. Gabriel Antoniu IRISA / INRIA Rennes. Réunion projet GDS 13 octobre 2006. Le projet GDS. Projet de l’ACI Masses de Données (2003) Objectif : Spécifier, réaliser et valider expérimentalement un service de partage de données pour la grille,

livana
Download Presentation

GDS : Bilan PARIS

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. GDS : Bilan PARIS Gabriel Antoniu IRISA / INRIA Rennes Réunion projet GDS 13 octobre 2006

  2. Le projet GDS • Projet de l’ACI Masses de Données (2003) • Objectif : Spécifier, réaliser et valider expérimentalement un service de partage de données pour la grille, adapté au calcul scientifique • Partenaires • Projet GRAAL (LIP, Lyon) • Projet PARIS (IRISA, Rennes) • Projet REGAL (LIP6, Paris)

  3. GDS : objectifs • Propriétés visées • Accès transparent aux données • Persistance des données • Contraintes • Extensibilité à l’échelle d’une grille • Quelques milliers de nœuds • Cohérence des données répliquées • Tolérance aux fautes • Performance • Conception et validation expérimentale du service sur la plate-forme JuxMem (PARIS) et intégration avec l’environnement DIET (GRAAL)

  4. GDS : interaction des partenaires • GRAAL • Environnement • de calcul sur grille DIET • REGAL • Détecteur hiérarchique • de défaillances • Accès transparent • Persistance • Ordonnancement conjoint • données/calculs GDS • Détection de défaillances • Techniques de réplication • Protocoles de cohérence • PARIS • Plate-forme de gestion • des données Juxmem

  5. Etat du projet à T0+36 • 12 réunions GDS entre septembre 2003 et octobre 2006 • Visites des doctorants (sur 2-3 jours) • 2 visites de Mathieu Jan (PARIS) chez GRAAL • 1 visite de Fabio Picconi (REGAL) chez PARIS • 2 visites de Sébastien Monnet (PARIS) chez REGAL • Logiciels en cours de développement : • PARIS : plate-forme JuxMem, outils de déploiement JDF et ADAGE • REGAL : simulateur de systèmes à large échelle LS3, système de fichiers P2P Pastis • GRAAL : plate-forme DIET, outil de déploiement GoDIET de visualisation (VizDIET)

  6. Etat du projet à T0+36 (suite) • Intégration réussie ! • Détecteur hiérarchique de fautes GFD (REGAL) intégré dans JuxMem (PARIS) • Utilisation de JuxMem par DIET • Persistance des données • Accès transparent • Passage des paramètres GridRPC par référence • Evaluation avec DGEMM • Limitations/commentaires • GFD/JuxMem : limité à la version JuxMem-Java • DIET/JuxMem : pas encore de validation « dimensionante » avec des applications réelles • Expériences préliminaires avec TLSE • Travail en cours (Mathieu Jan) • Aspects non abordés • Accès parallèles aux données et redistribution • Ordonnancement conjoint calcul/données

  7. Projet PARIS • Personnels impliqués directement dans GDS • 2 permanents: • Luc Bougé (Prof. ENS Cachan/Bretagne) • Gabriel Antoniu (CR INRIA) • 3 doctorants • Mathieu Jan (INRIA/Région Bretagne) • Sébastien Monnet (ACI MD - GDS) • Loïc Cudennec(INRIA/Région Bretagne) • 4 stages de Master de recherche/DEA • Mathieu Jan (DEA, INSA Rennes) • Jean-François Deverge (DEA IFSIC) • Loïc Cudennec(M2RI, INSA Rennes) • Voichita Almasan (M2RI, ENS Cachan/Bretagne) • 4 projets de fin d’études • David Noblet (PFE, UNH) • Chester Tse (PFE, MIT) • Arvind Saraf (PFE, MIT) • Landry Breuil (PFE, ISIMA)

  8. Thèse de Mathieu Jan (2003-2006) • Architecture et mise en œuvre du service de partage de données (plate-forme JuxMem) • Localisation transparente • Persistance • Architecture P2P • Mise en œuvre sur JXTA • Validation du modèle d’accès transparent aux données • Environnements GridRPC : DIET • Environnements à base composants (CCM, CCA) • Adaptation de JXTA pour une utilisation sur grilles • Déploiement avec JDF/ADAGE • Amélioration des performances des communications de JXTA • Utilisation de Padico-TM • Communication zéro-copie

  9. Thèse de Sébastien Monnet (2003-2006) • Architecture découplée générique pour la gestion de la tolérance aux fautes et de la cohérence des données • Protocoles hiérarchiques de cohérence • Mécanismes hiérarchiques de réplication (gestion de groupe, consensus) • Expérimentations multi-protocoles • Mise en œuvre dans JuxMem • Expérimentations multi-cluster sur Grid’5000 • Réseau logique malléable • Gestion efficace de groupes de grande taille • Collaboration avec Indranil Gupta (UIUC)

  10. Publications GDS 2003-2007 • Publications communes GDS • Un chapitre de livre (Dagstuhl) • Un papier soumis à IPDPS 2007 • … ? • 2 « thèses GDS » à soutenir en 2006 • Journaux internationaux • CCPE (2006), SCPE (2005) • Conférences internationales • 2003 : PACT (WIP) • 2004 : CCGRID, Euro-Par • 2005 : HPCC • 2006 : SRDS, CCGRID (2) • 2007 : soumission à IPDPS (avec Sun) • Colloques internationaux • 2003 : AGRIDM (PACT) • 2004 : AGRIDM (PACT) • 2005 : GP2PC (CC-GRID) • 2006 : WCGC (VECPAR), HPDGrid (VECPAR), HPC-GECO (HPDC) • Communications nationales • 2003 : RenPar • 2004 : Ecole DRUIDE (3), GridUSe • 2005 : RenPar, CDUR

  11. Interactions avec d’autres projets • Collaborations internationales et industrielles • Sun Microsystems : JXTA (Mathieu Jan, Loïc Cudennec) • UIUC (Indranil Gupta) : partage de données sur des infrastructures P2P pour des applications à base de groupes (Sébastien Monnet) • Grid5000 • Evaluations multi-sites à grande échelle • ACI MD • 2003 GDX – expérimentations sur une grappe de grande taille • ACI GRID DataGraal (animation) • Ecolé thématique DRUIDE 2004 : Distribution de données à grande échelle (CNRS, INRIA, GDR ARP, Univ. Rennes 1), Le Croisic, mai 2004 • AS : Algorithmique Distribuée et Applications • Journées thématiques « algorithmique distribuée et applications », Porquerolles, septembre 2004

  12. Et après GDS ? • Vers un modèle unifié de programmation pour les grilles • Accès transparent aux données, composants, communications efficaces, ordonnancement et déploiement • Validation avec de vraies applications ! • Projet LEGO (ANR CIGC, 2006-2009) • Auto-déploiement de JuxMem • Applications à caractère dynamique • Ajout de ressources à la demande • Interaction transparente avec les gestionnaires de ressources des grilles • Thèse de Loïc Cudennec (2005 - 2008)

  13. Et après GDS ? • Adaptation de JuxMem pour des applications collaboratives • Projet RESPIRE (ANR MDMSA, 2006-2009) • Projet DISCUSS (PAI avec l’AIST, Japon, 2006-2007) • Collaboration envisagée avec Nanyang Technical University of Singapore/Sun Microsystems • Partage de données pour les applications de fouille de données • Post-doc de Sébastien Monnet (CoreGRID) • Collaboration avec Universita di Calabria • 3 sujets de Master de recherche… à la recherche des candidats ! • JuxMem + persistance sur disque / collaboration Gfarm + LEGO • JuxMem + accès parallèles aux données / LEGO • JuxMem et applications collaboratives / collaboration Singapour + RESPIRE

  14. Pour bien finir :-) • Mise à jour du site GDS (CD à déposer) • Principaux résultats scientifiques • Publications, logiciels • Visites effectuées/reçues • Bilan, apports de GDS (1 paragraphe par équipe) • Rapport de fin de projet • Même format que le rapport mi-parcours + un paragraphe « Fait(s) marquant(s) • Deadline : 15 novembre

More Related