Data Management for Large-Scale Scientific Computations in High Performance Distributed Systems

1. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article • Data Management for Large-Scale Scientific Computations in High Performance Distributed Systems • Choudhary, M. Kandemir, J. NoG. Memik, X. Shen, W. Liao, H. Nagesh, S. More, V. Taylor, R. Thakur, and R. Stevens • Center for Parallel and Distributed Computing • Department of Electrical and Computer Engineering • Northwestern University Data Management for Large-Scale Scientific Computations in High Performance Distributed Systems A. Choudhary, M. Kandemir, J. NoG. Memik, X. Shen, W. Liao, H. Nagesh, S. More, V. Taylor, R. Thakur, and R. Stevens Center for Parallel and Distributed Computing Department of Electrical and Computer Engineering Northwestern University Introduction Contexte Approche Expérimentation Analyse Conclusion

2. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Introduction • Recherche : • Département de l’énergie • Accélération stratégique de calcul • Programme d’alliance académique stratégique Article : • Gestion de données • Calcul à grand échelle • Système disturbé, grande performance Introduction Contexte Approche Expérimentation Analyse Conclusion

3. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Systèmes de gestion des données • Systèmes classiques : • Systèmes de gestion des fichiers • Systèmes de gestion des Bases des données (DBMS) Limites (SGF): • Utilisation des pointeurs • Fonctions propres à chaque système (portabilité) • Codage bas niveau, optimisation impossible Introduction Contexte Approche Expérimentation Analyse Conclusion

4. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Systèmes de gestion des données Limites (DBMS ): • Performance (vis-à-vis de quelque architectures) • Logique de consistance, intégration de sémantique: obstacle devant la grande performance • DBMS: types des données, modèles de manipulation Introduction Contexte Approche Expérimentation Analyse Conclusion

5. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article L’approche des auteurs • Avantages des SGFs • Avantages des DBMS • Architectures parallèles d’E/S MDMS active HSS Interface Utilisateur simple Environnement de programmation Introduction Contexte Approche Expérimentation Analyse Conclusion

6. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article L’environnement MDMS: Meta-Data Management System HSS: Hierarchical Storage System Introduction Contexte Approche Expérimentation Analyse Conclusion

7. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Le MDMS • C’est Quoi ? : • Middleware • Interfaces communes • Communication (Application,HSS avec MDMS) • Performance d’E/S • Active (pas simplement un entrepôt de données) Fonctionnalités: • Sauvegarde les informations concernant : • Dispositifs de stockages ASDs (App, HSS) • « storage patterns », « access patterns » • « suspended access patterns » • Contexte A(user, application) Introduction Contexte Approche Expérimentation Analyse Conclusion

8. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Le MDMS • Outils : • « user directives », communication avec l’application: • Layout directives: contrôle de HSS par l’application • Access pattern directives: conseil de HSS du seq. d’ E/S • « common access (sharing) directives » • « individual directives »: informations sur l’E/S (accès au données): Implémentation : « user directives », tables relationnelles, OR-DBMS: Introduction Contexte Approche Expérimentation Analyse Conclusion

9. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Le MDMS Exemple de directives : access P(- , -) organize P(BLOCK,*) storage DISK(4) associate (R1,R2) with T acess T(BLOCK,*) storage DISK(4) Introduction Contexte Approche Expérimentation Analyse Conclusion

10. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Le HSS • C’est Quoi ? : • Système de gestion de stockage hiérarchique • HPSS, FPS, PIOFPS Fonctionnalités: • Maintenir les sauvegardes liées à la mise à jours de méta données dans MDMS • Traite les demandes d’optimisation d’E/S. D’où l’architecture de communication suivante: Introduction Contexte Approche Expérimentation Analyse Conclusion

11. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Le HSS • Architectures d’E/S moderne: • Augmenter le parallélisme d’E/S: augmenter le nbre des unités de stockages • Améliorer la politique d’accès Bande magnétique: • Run-time dédié: activer automatiquement, ou par le compilateur: • La partie du fichier qui contient les données • Transfert de la bande vers le disque • Extraction des données Introduction Contexte Approche Expérimentation Analyse Conclusion

12. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article L’interface Utilisateur • But : • Simple • Réduire le nombre des appels des fonctions d’E/S • Optionnelles Fonctions : Introduction Contexte Approche Expérimentation Analyse Conclusion

13. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Architecture Introduction Contexte Approche Expérimentation Analyse Conclusion

14. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Résultats Introduction Contexte Approche Expérimentation Analyse Conclusion

15. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Points forts • Clarté : • Pas besoin de connaissances extérieures • Approche expliquée de façon structurée et simple Mise en valeur de l’approche : • Besoin légitime • Les composants MDMS et HSS • Interface utilisateur simple Introduction Contexte Approche Expérimentation Analyse Conclusion

16. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Points faibles • Manque d’approfondissement : • Article accessible mais peu de détails techniques • Implémentation de l’approche ? • Comparaison par rapport à d’autre approches ? • Le HSS, quel HSS utilisé ? Et pourquoi ? Introduction Contexte Approche Expérimentation Analyse Conclusion

17. B. Ben Hedia Metacomputing 04/02/04 Présentation d’article Conclusion • Un environnement de programmation flexible et simple • Supporté par le département d’énergie (fonctionnel) • Plus une introduction à un nouvel environnement de programmation qu’une description technique exhaustive Introduction Contexte Approche Expérimentation Analyse Conclusion