CGP2P Calcul Global Pair à Pair

ACI GRID CGP2PCalcul Global Pair à Pair Réunion ACI GRID CGP2P

ACI GRID CGP2PCalcul Global Pair à Pair Première réunion 22 Novembre 2001 Réunion ACI GRID CGP2P

Sommaire • Cette journée • Les GRands systèmes Informatiques Distribués • Objectif et aspects scientifiques du projet CGP2P • Aspects administratifs • Budget/financement Réunion ACI GRID CGP2P

Objectifs de cette journée • Présentation des participants • Présentation des objectifs et des moyens • Organisation / administration • Réponses aux questions immédiat • Premières discussions entre groupes Réunion ACI GRID CGP2P

La matinée : • Présentation des équipes (thèmes de recherche, effectif, degré de participation, etc.) 10h00 10h45 : présentation du projet : (et des aspects financiers), F. Cappello 10h45 11h00 : équipe IMAG, O. Richard 11h00 11h15 : équipe LRI Clusters et Grilles, F. Cappello 11h15 11h30 : break 11h30 11h45 : équipe LRI parallélisme / LIX, Brigitte Rozoy11h45 12h00 : équipe ASCI/LIFL, S. Petiton 12h00 12h15 : équipe LARIA/ENS Lyon, G. Utard 12h00 12h30 : équipe LAL, Christian Helft Déjeuner : • Repas au CNRS de Gif Sur Yvette pris en charge par l'ACI  20 personnes prévues, 5 voitures : fin 13h30-14h00 L'après midi : • Première présentation des sous-projets (problème aborde, piste, relation avec les autres sous-projet, etc.) 14h30 14h45 : équipe IMAG, O. Richard 14h50 15h10 : équipe LRI Clusters et Grilles, C. Germain 15h10 15h30 : équipe LRI parallélisme / LIX, F. Magniette 15h30 15h50 : équipe ASCI/LIFL, S. Petiton 15h50 16h00 : break 16h55 16h15 : équipe LARIA/ENS Lyon, G. Utard 16h15 16h35 : équipe LAL, ? 16h40 17h10 : discussions (pour le démarrage effectif - qui travaille avec qui) 17h10 17h30 : établissement d'une fréquence de réunion et à l‘établissement Réunion ACI GRID CGP2P

AU AU AU AU JP ACI GRID Globalisation des Ressources Informatiques et des Données Connecter et fédérer des ressources de calcul/stockage/instruments géographiquement distribuées Globalisation des Ressources Informatiques et des Données Apples USA Application-Level Scheduling Bricks USA Performance evaluation for analysis and comparison of various scheduling DOCT USA The Distributed Object Computation Testbed (DOCT) is for handling complex documents Entropia.com USA Desktop software that should provide universal and pervasive source of computing power CERN Data Grid EU middleware for the data-intensive applications Folding@Home USA Covise DE Collaborative, Visualization and Simulation Environment Understanding how proteins self-assemble. DAS NL Wide-area distributed cluster, parallel and dist. computing EROPPA EU Software to design, implement, and experiments with remote/distributed access to 3D graphic applications GLOBUS USA Basic software infra. for computations that integrate geo. distributed computational and information resources Globe EU Study and implement a unifying paradigm for the large-scale wide area distributed shared objects HARNESS USA Based on PVM. Parallel plug-ins, Peer-to-peer distributed control, and multiple virtual machines JaCo3 EU Java and CORBA Collaborative Env. for Coupled Simulations.. JaWs GR JaWS is an economy-based computing model HTC USA Develop,deploy, and evaluate mechanisms and policies that support high throughput computing MetaMPI DE MetaMPI supports the coupling of heterogeneous MPI METODIS DE Metacomputing Tools for Distributed Systems - A metacomputing MPI for TCP/IP and ATM InfoSpheres USA The Caltech Infospheres Project researches compositional systems, MOL DE Metacomputer OnLine is a toolbox for the coordinated use of WAN/LAN connected systems. Javelin USA Javelin: Internet-Based Parallel Computing Using Java Poznan Metacom. PL Development of tools and methods for metacomputing LEGION USA Object-based metasystem. Transparent scheduling, data management, fault tolerance, site autonomy, WAMM IT WAMM (Wide Area Metacomputer Manager) is a graphical tool, built on top of PVM. NASA IPG USA Testbed that provides access to a grid UNICORE DE The UNiform Interface to Computer Resources allows users to submit jobs to remote high perf. Comp. resources NETSOLVE USA PSE. RPC based client/agent/server system for remote access both hardware and software components DesignDrug Molecular Modelling on Peer-to-Peer Grid PARDIS USA Building PARallel DIStributed applications from CORBA to implement application-level interaction DISCWorld An infrastructure for service-based metacomputing (GridSim) A Java-based Toolkit for Modeling and Simulation of World Wide Grids. WebFlow USA WebFlow can be regarded as a high level, visual user interface and job broker for Globus Nimrod/G A global scheduler for parametric computing WebSubmit USA PSE Réunion ACI GRID CGP2P A Web-based Interface to High-Performance Computing Resources NINF

Différents types de GRID Les Grilles de calcul ou « GRID » 3 types de grands systèmes distribués Les systèmes distribués à grande échelle Les systèmes de Calcul Global ou « Mega Computing » ou « Internet Computing » Les systèmes Pair à Pair Réunion ACI GRID CGP2P

Calcul Global Global Computing Définition Pragmatique : Calcul Maître-esclave Par vol de cycles sur Internet Client : Lanceur de tâches, ordonnanceur + collect. de résultats Requête Résultat Internet Ou réseau propriétaire Requête Résultat Application(s) Application(s) PC serveur PC serveur • Modèle Client-Serveur inversé : 1 client et n serveurs • L’application exécutée sur les serveurs est fournie par le client • Type de services : principalement calcul distribué (SETI@home) Réunion ACI GRID CGP2P

Pair à Pair (entre pair) Pas de consensus autour d’une définition. Un système dans lequel toutes les ressources peuvent agir comme des clients, des serveurs et/ou maintiennent le système lui même Gnutella Servent: SERveur et cliENT PC client/serveur PC client/serveur Répertoire de services Internet ou réseau propriétaire Répertoire de services • Le service exécuté par le serveur est proposé par le serveur • Type de services : partage de documents, calcul délocalisé Requête • En principe : X clients, Y serveurs, X=Y Résultat PC client/serveur Systèmes Pair à Pair XtremWeb Mode de communication : Après la phase de découverte (mise en relation) les nœuds communiquent directement Mode d’interaction inter-ressource : Toutes les ressources sont à la fois client et serveur Mode d’organisation système: Système sans serveur centralisé. Système auto-organisé (découverte de ressources, Réunion ACI GRID CGP2P

Objectif du projet • Augmenter les fonctionnalité des systèmes de calcul global : • stockage • communications entre les participants • possibilité à n’importe quel participants de soumettre des requêtes • Produire des logiciels interopérants qui assemblés forment une plate-forme CGP2P Réunion ACI GRID CGP2P

Projet CGP2P : Une plate-forme pour le Calcul Global Pair à Pair Un environnement de recherche offrant une image système unique à partir de l’agrégation de ressources faiblement couplées un PC accepte PC Mon PC communications potentielles pour les applications parallèles PC requête PC fournit PC PC System CGP2P accepte PC résultat PC PC Un autre PC PC fournit Les requêtes correspondent à des des demandes de calcul et/ou à des demandes de stockage Réunion ACI GRID CGP2P

Point de départ : XtremWebUne plate-forme pour le Calcul Global Pair à Pair PC Serveur Calcul Global (centralisé) PC Serveur Pair à Pair (centralisé) PC Client/worker Internet ou LAN PC Worker PC Client/Worker PC Client/worker Réunion ACI GRID CGP2P

Point de départ : XtremWebUne plate-forme pour le Calcul Global Pair à Pair • Download : www.xtremweb.net • RedHat 7.1 + mysql + apache+php • RPM (installation en 5 secondes) • serveur + worker + demo Pov Forum, Faq, prototypes, demo,… www.cgp2p.org, www.cgp2p.net ??? Réunion ACI GRID CGP2P

Problèmes posés • Ordre alphabétique : • Architecture du système distribué • Communications inter-nœuds • Interface utilisateur / aide à la décision • Interopérabilité avec les autres systèmes de GRID • Ordonnancement • Sécurité • Stockage/Fouille • Validation sur des applications réelles • Vérification théorique des protocoles Réunion ACI GRID CGP2P

Diversité/Richesse thématique des participants au projet • Environnements d’exécution (Lri) • Protocoles de communication hautes performances • (Lri/Imag) • Environnements de programmation/interface • (LIFL/ASCI) • Systèmes de GRID (Globus et DataGrid) (LAL) • Ordonnancement (SDSC/UCSD) • Sécurité (Lri/Imag) • Ressource stockage dans les applications • parallèles (Laria) • Recherche/tri/fouille de données (Laria) • Utilisateurs (LAL, EADS) • Théorie des systèmes distribués (Lri) Réunion ACI GRID CGP2P

Architecture CGP2P (1/4) : Une plate-forme pour le Calcul Global Pair à Pair Entités logiques : Client Serveur Worker Client Client Client Serveur Serveur Worker Worker Client Serveur Worker Worker Nœuds physiques : Réunion ACI GRID CGP2P

Architecture CGP2P (2/4) : Une plate-forme pour le Calcul Global Pair à Pair Infrastructure Centralisé ou distribuée • Calcul Global avec infrastructure centralisée • Calcul Pair à Pair avec infrastructure centralisée • Calcul Pair à Pair avec infrastructure distribuée PC Serveur Pair à Pair (distribué) PC Serveur (centralisé) PC Serveur Pair à Pair (centralisé) PC Serveur/ Client PC Serveur/ worker PC Client/worker Internet ou LAN PC Worker PC Client/Worker Réunion ACI GRID CGP2P

Architecture CGP2P (3/4) : Une plate-forme pour le Calcul Global Pair à Pair Fonctionnalités CGP2P  modules du système Communications tolérantes aux pannes Collecteur de résultats Serveur de stockage Serveur de tâches P2P? P2P? P2P? P2P? PC Client/worker Internet ou LAN PC Worker PC Client/Worker Organisation des modules : Centralisée, Hiérarchisée, P2P totalement distribuée, P2P + coordination avec voisins directes  Nécessité de simulateurs Réunion ACI GRID CGP2P

Ressource/Worker Serveur Stockage/Fouille Communication Fouille Confinement Ordonnancement système Communication cpu système Client cpu Application GRID/Globus Interface/aide Certification Communication système Client Globus cpu Architecture CGP2P (4/4) : Une plate-forme pour le Calcul Global Pair à Pair Réunion ACI GRID CGP2P

Décomposition en sous-projets I Application Application Interface utilisateur Aide à la décision (7) II Sandboxing (1) Certification de résultats (8) Couches service V III Interface GRID (Globus) (10) Vérification théorique (6) Fouille/opération données (9) Stockage (2) IV Ordonnancement (5) Couches système Comm. inter-ressource (3) Protocole (4) TCP/UDP - IP Couche réseau Réunion ACI GRID CGP2P

Interactions entre sous-tâches Aide à la décision Séc. par confinement Iso. logicielle de fautes Intégration SPIN XtremWeb Certification application Langage de tâches Adaptation et tests d’applications Certification système Vérif. théo tolé. défail. Anonymat Interface GRID 1 Vérif. théo protocoles. Ordon. sans com. Interface GRID 2 Stock. dans XW Communication directes Services Ordon. avec Com. Fouille de données Communications indirectes Réunion ACI GRID CGP2P

Liste des participants George Bosilca Adberhamanne Djilali Gilles Fedak Oleg Lodygensky Aton Selikov Marta Gonzalez Thomas Hérauet Liste des doctorants associés Laboratoires : ASCI, IMAG, ID LAL , LARIA, LIFL, LRI, Polytechnique, Guillaume Alléon Joffroy Beauquier Jacques Briat Franck Cappello Henri Casanova Christophe Cérin Bernadette Charron Bost Alain Cordier Cécile Germain Michel Jouvin Oleg Lodygensky Vincent Néri Franck Petit Serge Petiton Cyril Randriamo Olivier Richard Brigitte Rozoy Gil Utard Vincent Villain Réunion ACI GRID CGP2P

Organisation du projet Rôle du coordinateur : aider à la collaboration + gérer la progression du projet + gestion du budget + responsable devant la direction de l’ACI Responsables de tâches : sous-projet I  Serge Petiton sous-projet II  Olivier Richard sous-projet III  Gil Utard sous-projet IV  Cécile Germain, Franck Cappello sous-projet V  Joffroy Beauquier Réunion ACI GRID CGP2P

Planning « prévisionnel » Sous-projets Sous-projet I Intégration, Tests et Validation sur Applications + Poursuite des actions de recherche dans les sous-projets Sous-projet II Projets Existants (XW) Sous-projet III Sous-projet IV Sous-projet V CGP2P t0 t0+6 t0+12 t0+18 t0+24 t0+30 t0+36 Réunion ACI GRID CGP2P

Adaptation SPIN XtremWeb Intégration à CGP2P Projets Existants XW, SPIN Langage de tâches Adaptation et tests d’applications Tâches Aide à la décision CGP2P t0+24 t0+30 t0+36 t0 t0+6 t0+12 t0+18 Planning sous-projet I Tâches : 1) Adapter SPIN (Scientific programming on Internet) à XtremWeb 2) définition d’un langage de tâches 3) aide à la décision pour le choix des composants numériques 4) Adaptation et tests sur des applications Réunion ACI GRID CGP2P

Planning sous-projet II • Tâches : • Sécurisation par confinement d’exécution • Sécurisation par isolation logicielle de fautes • Certification de résultats (approche système et application) Sécur. par confinement Iso. logicielle de fautes Intégra- tion, Rech. Certif. Tâches Certification application Certifications système CGP2P t0 t0+6 t0+24 t0+30 t0+36 t0+12 t0+18 Réunion ACI GRID CGP2P

Planning sous-projet III • Tâches : • Stockage dans XW • Services associés aux données (fiabilité, disponibilité, cohérence, • etc. • 3) Anonymat • 4) Fouille de données (algorithmes de tri, etc.) Stock. dans XW Services Anonymat Intégration, + Services/ Fouille Tâches Fouille de données CGP2P t0 t0+6 t0+24 t0+30 t0+36 t0+12 t0+18 Réunion ACI GRID CGP2P

Communications indirectes Communications directes Projet Existant XW Intégra- tion, + Rech. Ordon./ Coms. Tâches Ordonnancement avec Com. Ordon. sans com. CGP2P t0 t0+6 t0+24 t0+30 t0+36 t0+12 t0+18 Planning sous-projet IV • Tâches : • Communications indirectes • Communications directes et globales. • 3) Ordonnancement sans communication • 4) Ordonnancement avec communication Réunion ACI GRID CGP2P

Interface GRID 1 Interface GRID 2 Projet Existant XW Intégra- tion, + Rech. Sécurité./ Coms. Tâches Vérif. théo. tolérance défail. Vérif. théo protocole CGP2P t0 t0+6 t0+24 t0+30 t0+36 t0+18 t0+12 Planning sous-projet V • Tâches : • Interface avec globus (GSI, MDS, GRID, RSL) • Interface avec Globus (GRAM, DUROC, GASS) • Vérification théorique des protocoles • vérification théorique tolérance aux défaillances Réunion ACI GRID CGP2P

Coordination du projet • Réunion plénières en alternance Paris – Province • Périodicité des réunions plénières : 6 mois • Réunions de travail possibles (conseillées) entre temps • Site web : www.lri.fr/~fci/CGP2P.html • Un rapport d’avancement après chaque réunion plénière • Copies des transparents après chaque réunion plénière • Il est possible que la direction des ACI conseille d’autres • moyens de coordination Réunion ACI GRID CGP2P

Relation avec nos collègues étrangers • Henri Casanova • Ian Foster • Mitsuhisa Sato • échange de chercheurs : M. Sato au LRI en Juillet 2002 (1 mois) H. Casanova « «peut être » » au LRI en Août 2002 (1 sem) • n’hésiter pas à faire venir* des étrangers pour les faire participer à nos réunions plénières (1 talk), Sips et Epema étaient au LRI le 8 et 9 Novembre. * lorsqu’ils sont de passage en France ou en Europe Réunion ACI GRID CGP2P

Budget Budget total sur 3 ans : 2 MFs, 304.878 E Budget distribué sur 3 sites : Orsay, Amiens/Lyon, Grenoble Réunion ACI GRID CGP2P

Budget 12 mois PostDoc I 24 mois PostDoc II Durée t0 t0+6 t0+12 t0+18 t0+24 t0+30 t0+36 187,5 Kfrs 62,5 Kfrs Coût 187,5 Kfrs 62,5 Kfrs 250 Kfrs 250 Kfrs 312,5Kfrs 187,5 Kfrs Réunion ACI GRID CGP2P

Budget • Disponibilité : à priori fin décembre 2001 • mail en fin décembre sur le montant précis pour chaque participant : matériel, fonctionnement mais normalement, les montants ont été communiqués au ministère Réunion ACI GRID CGP2P

Questions / discussions • Certaines tâches sont déjà presque terminées (sécurisation des workers) • D’autres tâches sont devenues « moins intéressantes » (sécurisation par isolation de fautes logicielles) • Certaines tâches devraient être terminées rapidement (communication indirecte inter-ressources) • En revanche, il y a un gros besoin de simulation et l’étude et l’étude de l’ordonnancement peut devenir plus importante que prévue. • Accepter une souplesse dans la définition et l’avancement des tâches dans la mesure où cela reste cohérent avec l’objectif • Discuter d’un simulateur pour l’étude de l’architecture et d’un simulateur d’ordonnancement (totalement distribué, centralisé, hiérarchisé, etc.) Réunion ACI GRID CGP2P

Ordonnancement simulateurs Spécification stable sur plus d’une semaine interface entre les sous projets Architecture générale Faut-il installer ? des machines serveurs sur les différents sites. Réunion ACI GRID CGP2P

Questions / discussions • Quelle est la meilleure structure de partage pour le développement par dessus XtremWeb : • ASCI/LIFL • IMAG • LAL • LARIA/ENS Lyon Mailing list, Forum, Faq, prototypes, demo,… www.cgp2p.org, www.cgp2p.net ??? Réunion ACI GRID CGP2P

Prochaine réunion • Fréquence des réunions plénières  tous les 6 mois (sauf avis contraire de la direction des ACI GRID) • En Mai, la semaine qui suit CCGRID 17-18, 25, 28-29 • Inviter des intervenants étrangers pendant leur séjour en Europe • Genre de Workshop avec scientifiques et industriels du domaine + réunion CGP2P • Deux jours (1,5 jour pour CGP2P) • Possibilité de réunions conjointes d’autres ACI • Si workshop : aide au financement par ACI GRID2 Ordre du jour : • rappel des objectifs du projet et aspects administratifs • progression des travaux dans chaque sous-projet • démonstration de premiers prototypes (version 0.00 Alpha) • identification des problèmes rencontrer et discussion avec les autres groupes pour trouver des solutions Réunion ACI GRID CGP2P

CGP2P Calcul Global Pair à Pair