1 / 24

GDS : Grid Data Service

GDS : Grid Data Service. Gabriel Antoniu IRISA / INRIA Rennes. Réunion de lancement du projet GDS de l’ACI Masses de Données 22 septembre 2003. Le projet GDS. Projet de l’ACI Masses de Données (2003) REGAL (LIP6, Paris) ReMaP/GRAAL (LIP, Lyon) PARIS (IRISA, Rennes)

daniel-watkins
Download Presentation

GDS : Grid Data Service

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GDS de l’ACI Masses de Données 22 septembre 2003

  2. Le projet GDS • Projet de l’ACI Masses de Données (2003) • REGAL (LIP6, Paris) • ReMaP/GRAAL (LIP, Lyon) • PARIS (IRISA, Rennes) • Partenaire du projet GdX de l’ACIMD (utilisateur)

  3. Client Requête AGENT(s) S2 ! A, B, C Réponse (C) Op2(C, A, B) Op1(C, A, B) S1 S3 S4 S2 Serveur Serveur Serveur Serveur Service de gestion des données distribuéespersistantes Contexte : métacomputing • Stockage des données • Éviter les transferts multiples entre client et serveurs • Gestion des données distribuées et redistribution • Dynamicité: modèle de déploiement P2P

  4. Partage de données : l’existant • Partage explicite à grande échelle • GridFTP (Globus) et MPI-IO • Sécurité, hétérogénéité • Internet Backplane Protocol (IBP) • Contrôle • Gestion explicite • Pas de garanties de cohérence

  5. Partage de données : l’existant (2) • Partage transparent à petite échelle • Mémoire virtuellement partagée (MVP) • Modèles et protocoles de cohérence • Accès transparent • Localisation transparente des données • Architecture statique, non extensible et homogène

  6. Partage de données : l’existant (3) • Systèmes pair-à-pair (P2P) • Systèmes distribués (grande échelle) • Pairs volatiles • Capacités responsabilités identique des pairs • Partage de données non-modifiables • Centralisé (Napster) • Inondation (Gnutella, KaZaA) • Table de hachage distribuée (CFS, PAST) • Partage de données modifiables • Peu de modifications (OceanStore) • Résolution des conflits à la « main » (Ivy)

  7. Idée : service de partage de données • Proposition : approche hybride • MVP : cohérence et accès transparent • P2P : extensibilité et haute dynamicité

  8. Service de partage de données pour la grille Persistance Internet

  9. Service de partage de données pour la grille Transparence de la localisation Internet ? Transfert de données

  10. Service de partage de données pour la grille • Données modifiables • Cohérence des données • Optimisation des accès Internet Internet Transfert de données

  11. Service de partage de données pour la grille Internet Internet Extensibilité de l’architecture

  12. Service de partage de données pour la grille Internet Internet Support de la volatilité

  13. Le projet GDS • Réalisations visées • Service de partage de données : architecture, implémentation, expérimentations • Intégration dans l’environnement ASP DIET (ReMaP, LIP) • Etudes • Tolérance aux fautes : stratégies de réplication • Protocoles de cohérence • Stratégies d’observation/introspection • Ordonnancement conjoint calcul-communication • Redistribution transparente des données

  14. GDS : expérimentations • Plates-formes « réelles » • Grappes locales • Quelques dizaines de nœuds • Fédération de 3 grappes (IRISA, LIP, LIP6) • De l’ordre d’une centaine de nœuds • Fédération de quelques dizaines de grappes (GRID 5000 ?) • Plusieurs milliers de nœuds • Plate-forme d’émulation GdX • Emulation des configurations réelles de type fédération de grappes

  15. Expériences GDS / GdX • Topologie hiérarchique • Fédération de grappes • Liens rapides intra-grappes, liens lents inter-grappes • Configuration • Nombre de noeuds • Topologie des interconnexions • Capacité des liens : SAN, LAN, WAN • Puissance des noeuds • Capacité de stockage en mémoire vive • Capacité de stockage sur disque • OS: Linux, (autres ?) • Volatilité des nœuds • Simulation de pannes/déconnections

  16. Projet GDS de l’ACI MD Projet PARIS IRISA, Rennes

  17. Présentation de l’équipe • Positionnement du projet • Simulation numériques distribuées • Programmation des grappes et des grilles • Axe : gestion de données à très grande échelle Projet PARIS Thierry Priol Grappes Christine Morin Support exécutif pour la grille Christian Perez Compilation pour grappes et grilles, MVP Yvon Jegou Gestion des données sur la grille Luc Bougé Gabriel Antoniu

  18. Projet PARIS : participants à GDS • 3 Permanents : • Thierry Priol, DR INRIA Rennes • Luc Bougé, Professeur ENS Cachan/Bretagne • Gabriel Antoniu, CR INRIA Rennes, coordinateur du projet GDS • 2 Doctorants • Mathieu Jan (INRIA/Région Bretagne) • Sébastien Monnet (Allocation de recherche ACI MD)

  19. Plate-forme JuxMem • Plate-forme support pour le service GDS • Stage de DEA de Mathieu Jan (projet PARIS, IRISA, 2003) • Architecture hiérarchique • Stockage et accès transparent aux blocs de données • Support de la volatilité des pairs • Utilisation de JXTA 2.0 • Gestion des pairs, des groupes, des communications, etc • Implémentation en tant que service JXTA • Prototype en Java • + 5 000 lignes de code • En cours • Déploiement et tests basés sur le projet JXTA JDF http://www.irisa.fr/paris/Juxmem/welcome.htm

  20. Thèse de Mathieu Jan • Support : INRIA/Région Bretagne • Thèmes de recherche • Conception plate-forme JuxMem • Support multi-protocoles de cohérence • Architecture sur JXTA • Gestion de la dynamicité/volatilité • Intégration dans DIET • Mécanismes de synchronisation en environnement P2P

  21. Thèse de Sébastien Monnet • Support : allocation de recherche ACI MD • DEA 2003 • Reprise d'applications parallèles dans les fédérations de grappes • Encadrants: C. Morin, R. Badrinath • Thèmes de recherche • Protocoles de cohérence tolérants aux fautes • Performance • Utilisation efficace des réseaux rapides • Stratégies de sélection de copies basées sur des mécanismes d’introspection

  22. Premières interactions avec GRAAL • Point sur les besoins de DIET • Caractériser la persistance • Synchronisation • Schémas d’accès aux données • Validation de l’architecture du prototype JuxMem • Tests sur une application DIET simple • API du service • Choix d’implémentation • Jusqu’à quel point utiliser JXTA ? • Comment transférer les données ? • Déploiement ? • Redistribution des données ? • Visite de Mathieu Jan au LIP fin novembre ?

  23. Premières interactions avec REGAL • Discussions/groupes de travail • Sébastien Monnet, Fabio Picconi • Stratégies de réplication • Protocoles de cohérence tolérants aux fautes • Introspection, localité • Expérimentations en parallèle dans JuxMem et dans P2PFS ? • Visite de Sébastien Monnet au LIP6 mi-novembre ?

  24. Discussion • Fréquence des réunions • 4/an + visites bilatérales ? • Next meeting ? • Mi-décembre à Paris ? • Site web : http://www.irisa.fr/GDS • Mailing list : acimd-gds@irisa.fr • Collaborations externes • Philip Hatcher, UNH • Bernard Traversat, project JXTA, Sun Microsystems • Présentation de papiers • PACT 2003

More Related