240 likes | 357 Views
GDS : Grid Data Service. Gabriel Antoniu IRISA / INRIA Rennes. Réunion de lancement du projet GDS de l’ACI Masses de Données 22 septembre 2003. Le projet GDS. Projet de l’ACI Masses de Données (2003) REGAL (LIP6, Paris) ReMaP/GRAAL (LIP, Lyon) PARIS (IRISA, Rennes)
E N D
GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GDS de l’ACI Masses de Données 22 septembre 2003
Le projet GDS • Projet de l’ACI Masses de Données (2003) • REGAL (LIP6, Paris) • ReMaP/GRAAL (LIP, Lyon) • PARIS (IRISA, Rennes) • Partenaire du projet GdX de l’ACIMD (utilisateur)
Client Requête AGENT(s) S2 ! A, B, C Réponse (C) Op2(C, A, B) Op1(C, A, B) S1 S3 S4 S2 Serveur Serveur Serveur Serveur Service de gestion des données distribuéespersistantes Contexte : métacomputing • Stockage des données • Éviter les transferts multiples entre client et serveurs • Gestion des données distribuées et redistribution • Dynamicité: modèle de déploiement P2P
Partage de données : l’existant • Partage explicite à grande échelle • GridFTP (Globus) et MPI-IO • Sécurité, hétérogénéité • Internet Backplane Protocol (IBP) • Contrôle • Gestion explicite • Pas de garanties de cohérence
Partage de données : l’existant (2) • Partage transparent à petite échelle • Mémoire virtuellement partagée (MVP) • Modèles et protocoles de cohérence • Accès transparent • Localisation transparente des données • Architecture statique, non extensible et homogène
Partage de données : l’existant (3) • Systèmes pair-à-pair (P2P) • Systèmes distribués (grande échelle) • Pairs volatiles • Capacités responsabilités identique des pairs • Partage de données non-modifiables • Centralisé (Napster) • Inondation (Gnutella, KaZaA) • Table de hachage distribuée (CFS, PAST) • Partage de données modifiables • Peu de modifications (OceanStore) • Résolution des conflits à la « main » (Ivy)
Idée : service de partage de données • Proposition : approche hybride • MVP : cohérence et accès transparent • P2P : extensibilité et haute dynamicité
Service de partage de données pour la grille Persistance Internet
Service de partage de données pour la grille Transparence de la localisation Internet ? Transfert de données
Service de partage de données pour la grille • Données modifiables • Cohérence des données • Optimisation des accès Internet Internet Transfert de données
Service de partage de données pour la grille Internet Internet Extensibilité de l’architecture
Service de partage de données pour la grille Internet Internet Support de la volatilité
Le projet GDS • Réalisations visées • Service de partage de données : architecture, implémentation, expérimentations • Intégration dans l’environnement ASP DIET (ReMaP, LIP) • Etudes • Tolérance aux fautes : stratégies de réplication • Protocoles de cohérence • Stratégies d’observation/introspection • Ordonnancement conjoint calcul-communication • Redistribution transparente des données
GDS : expérimentations • Plates-formes « réelles » • Grappes locales • Quelques dizaines de nœuds • Fédération de 3 grappes (IRISA, LIP, LIP6) • De l’ordre d’une centaine de nœuds • Fédération de quelques dizaines de grappes (GRID 5000 ?) • Plusieurs milliers de nœuds • Plate-forme d’émulation GdX • Emulation des configurations réelles de type fédération de grappes
Expériences GDS / GdX • Topologie hiérarchique • Fédération de grappes • Liens rapides intra-grappes, liens lents inter-grappes • Configuration • Nombre de noeuds • Topologie des interconnexions • Capacité des liens : SAN, LAN, WAN • Puissance des noeuds • Capacité de stockage en mémoire vive • Capacité de stockage sur disque • OS: Linux, (autres ?) • Volatilité des nœuds • Simulation de pannes/déconnections
Projet GDS de l’ACI MD Projet PARIS IRISA, Rennes
Présentation de l’équipe • Positionnement du projet • Simulation numériques distribuées • Programmation des grappes et des grilles • Axe : gestion de données à très grande échelle Projet PARIS Thierry Priol Grappes Christine Morin Support exécutif pour la grille Christian Perez Compilation pour grappes et grilles, MVP Yvon Jegou Gestion des données sur la grille Luc Bougé Gabriel Antoniu
Projet PARIS : participants à GDS • 3 Permanents : • Thierry Priol, DR INRIA Rennes • Luc Bougé, Professeur ENS Cachan/Bretagne • Gabriel Antoniu, CR INRIA Rennes, coordinateur du projet GDS • 2 Doctorants • Mathieu Jan (INRIA/Région Bretagne) • Sébastien Monnet (Allocation de recherche ACI MD)
Plate-forme JuxMem • Plate-forme support pour le service GDS • Stage de DEA de Mathieu Jan (projet PARIS, IRISA, 2003) • Architecture hiérarchique • Stockage et accès transparent aux blocs de données • Support de la volatilité des pairs • Utilisation de JXTA 2.0 • Gestion des pairs, des groupes, des communications, etc • Implémentation en tant que service JXTA • Prototype en Java • + 5 000 lignes de code • En cours • Déploiement et tests basés sur le projet JXTA JDF http://www.irisa.fr/paris/Juxmem/welcome.htm
Thèse de Mathieu Jan • Support : INRIA/Région Bretagne • Thèmes de recherche • Conception plate-forme JuxMem • Support multi-protocoles de cohérence • Architecture sur JXTA • Gestion de la dynamicité/volatilité • Intégration dans DIET • Mécanismes de synchronisation en environnement P2P
Thèse de Sébastien Monnet • Support : allocation de recherche ACI MD • DEA 2003 • Reprise d'applications parallèles dans les fédérations de grappes • Encadrants: C. Morin, R. Badrinath • Thèmes de recherche • Protocoles de cohérence tolérants aux fautes • Performance • Utilisation efficace des réseaux rapides • Stratégies de sélection de copies basées sur des mécanismes d’introspection
Premières interactions avec GRAAL • Point sur les besoins de DIET • Caractériser la persistance • Synchronisation • Schémas d’accès aux données • Validation de l’architecture du prototype JuxMem • Tests sur une application DIET simple • API du service • Choix d’implémentation • Jusqu’à quel point utiliser JXTA ? • Comment transférer les données ? • Déploiement ? • Redistribution des données ? • Visite de Mathieu Jan au LIP fin novembre ?
Premières interactions avec REGAL • Discussions/groupes de travail • Sébastien Monnet, Fabio Picconi • Stratégies de réplication • Protocoles de cohérence tolérants aux fautes • Introspection, localité • Expérimentations en parallèle dans JuxMem et dans P2PFS ? • Visite de Sébastien Monnet au LIP6 mi-novembre ?
Discussion • Fréquence des réunions • 4/an + visites bilatérales ? • Next meeting ? • Mi-décembre à Paris ? • Site web : http://www.irisa.fr/GDS • Mailing list : acimd-gds@irisa.fr • Collaborations externes • Philip Hatcher, UNH • Bernard Traversat, project JXTA, Sun Microsystems • Présentation de papiers • PACT 2003