Gestion de caches collaboratifs dans les grilles de calcul

1. Gestion de caches collaboratifs dans les grilles de calcul Yonny Cardenas Équipe de recherche: Lionel Brunie LIRIS – INSA de Lyon

2. Plan • Contexte • Grille • Cas d’utilisation • Accès aux données dans les grilles • Problématique • Le concept d’activité de données • Cache • Proposition • Architecture • Opération • Prototype • Conclusions • Perspectives -

3. Grille • Évolution des systèmes distribués • Réunir et coordonner ressources informatiques • Environnent dynamique • Participation de plusieurs institutions "organisation virtuelle" • Offrir moyens de calcul et stockage à grande échelle Data -

4. Cas d'utilisation : étude épidémiologique • Analyses statistiques cancer du sein • Génération d'indicateurs (incidence prévalence) • Politique de prévention • Accès transparent • Gestion ressources distribuées (stockage) -

5. Accès aux données dans les grilles • Communauté GGF (Global Grid Forum) • Standards et spécifications OGSA / WSRF • Middleware de base Globus Toolkit • Collection différents services à intégrer • Services authentification et autorisation • Sans mécanisme de cohérence ou état de l'information • GridFTP Transfert de fichiers(ftp) • RLS (Replica Location Service) Catalogue distribue pour réplication fichiers • OGSA-DAI Accès générique à données structurées • SRB (Storage Resource Broker) Accès uniforme fichiers bruts stockés dans serveurs SRB -

6. Problématique • Pas de mécanisme fédérateur de données • Découverte et accès limité aux données • Mécanismes d'indexation à implémenter et standardiser • Partage restrictive d'information entre applications • Gestion global déficiente métadonnées • Volume et complexité croissant de données -

7. L’activité de données • Déterminer les données appropriées. • Connaître sémantique et propriétés. • Metadonnées étiquettes description des données: (provenance, paramètres, algorithmes et annotations). • Données intéressantes sont celles qui bougent. (transfert, création, mise à jour etc.) • Metadonnées augmentent la probabilité de plus d’activité pour données. • Données avec le plus d'activité ont les descriptions plus riches. -

8. Cache • Coût élevé pour collecter, accéder, et transporter données. • Gérer haute fréquence d'accès aux données (forte activité). • Réutilisation pour applications similaires ou objectifs proches. • Cache traditionnel conçu pour le trafic Web. • Pas de cache pour les grilles. -

9. Proposition • Service cache uniforme • Géré suivant l’activité de données • S’appuyant sur l’utilisation de la sémantique (métadonnées) • Architecture de caches collaboratifs • Système fédérateur • Accès efficace aux données • Gestion globale: Optimiser placement,recherche, durée de vie. -

10. Architecture • Fonctionnalités principales • Fournisseurs données et métadonnées • Requêtes applicatives réparties • Gestion de collaboration inter-cache • Deux types composants distribués • Caches locaux • chaque organisation – niveau inférieur • interaction directe applications • Caches collectifs • élément fédérateur – niveau supérieur • interaction entre cache locaux -

11. Architecture • Cache Local • Capturer l’activité de données • différent sources (utilisateurs, applications, autres services) • enregistrement métadonnées (XML) • Traite de requêtes depuis applications • intérieur de l’organisation (API) • catalogue local (base de données) • façon collective (collaboration avec autres caches locaux) • Réaliser la passerelle avec grille • interfaces standards grille (OGSA) • Gérer les ressources locales • service stockage (SRM) -

12. Architecture • Cache Collectif • Réunir l’information de l’active collectif • rapport périodiques provenant des caches locaux. • catalogue collectif • Analyser l’information • extrait statistiques et patrons • établir des relations avec la sémantique de l’information • Rôle fédérateur • coordination de groupes des caches locaux. • protocole inter-cache. • vision et gestion globale de ressources • exemple: contrôle de prolifération de copies -

13. Opération: Enregistrement -

14. Opération: Accès -

15. Opération : Gestion -

16. Prototype • Implémentation Service Cache Local • Enregistrement et gestion basique métadonnées • (descriptions XML) • Configuration dynamique de la méthode de remplacement • Collaboration inter-cache : requêtes distribuées • Conforme standard GGF et plateforme Globus • Service Grille - Globus 3.2.1 • Migration – Globus 4.0 • Installation en test grille : • Projet ACI GGM (Lyon, Toulouse et Lille). -

17. Prototype -

18. Prototype -

19. Conclusions • Proposition d’infrastructure cache collaboratif • Adaptable à la dynamique de la grille. (souplesse des méthodes de remplacement) • L'activité de données utile pour la gestion. (suivi des métadonnées) • Caractère sémantique des données dans les grilles. -

20. Quelques Perspectives • Critères et stratégies pour déterminer l'information à maintenir dans le cache (sémantique). • Modèles pour optimises placement de données dans espace global de cache. • Optimisation de stockage et transfert de données pour partition sémantique de données (indexation) . • Modèle flux de données pour optimisation . • Anticipation ou prefetching pour pre-indexation -

21. Gestion de caches collaboratifs dans les grilles de calcul Merci