VIP et GATE- Lab : retour d’expérience

1. VIP et GATE-Lab: retour d’expérience Sorina Pop, Rafael Silva, Tristan Glatard Université de Lyon, CREATIS; CNRS UMR5220; Inserm U1044; INSA-Lyon; Université Lyon 1, France JRES, Montpellier 2013

2. Virtual Imaging Platform (VIP) Plate-forme web intégrant des applications Simulation médicale: CT, IRM, TEP, ultrason, radiothérapie Analyse d’images Connectée à EGI (EuropeanGrid Infrastructure) Calcul (+100 clusters, 25,000 cœurs) Stockage (~ 4 PB) Utilisée largement 453 utilisateurs enregistrés de 50 pays 499 années CPU consommées en 2012 Le certificat robot le plus utilisé dans EGI en 2012 CT and PET whole-body simulations (C. Lartizien, J. Tabary) Simulated prostate radiotherapy treatment plan (L. Grevillot and D. Sarrut) Simulated cardiac DWI (L. Wang, Y. Zhu, I. Magnin) in-vivo simulated T. Glatard, C. Lartizien, B. Gibaud, R. Ferreira da Silva, G. Forestier, F. Cervenansky, et al. "A Virtual Imaging Platform for multi-modality medical image simulation", IEEE Transactions on Medical Imaging, vol. 32, no. 1, pp. 110-118, 2013 Echocardiographies – parasternal short axis view (O. Bernard and M. Alessandrini) 2/14

3. Un portail web pour l’exécution des applications d’imageriemédicalesur grilles de calcul Virtual Imaging Platform (VIP) Launch applications Transfer files http://vip.creatis.insa-lyon.fr 3/14

4. GATE-Lab • Applet Java intégrée dans VIP • Dédiée aux simulations GATE • Fonctionnalités • Détection des entrées à partir du fichier principal de configuration de GATE • Upload automatique des entrées • Choix du nombre de tâches parallèles en fonction du temps CPU estimé 4/14

5. Architecture VIP 0. Login 1. Send input data 3. Launchworkflow User Workflow engine (Moteur + GASW) Web portal 2. Transfer input files 4. Generate and submit task Storage system 8. Get files 9. Execute 10. Upload results 7. Get task Pilot Manager (DIRAC) Computing sites 5. Submit and 6. Schedule pilot jobs 5/14

6. Utilisation des tâches pilotes • Principe des tâches pilotes • Ressources occupées par les pilotes • Tâches ordonnancées sur les pilotes • Avantages principaux • Temps d’attente réduit • Impact réduit des erreurs • VIP utilise l’instance France Grilles de Dirac • Hébergée au Centre de Calcul de l’IN2P3 à Lyon • Administrée à tour de rôle par une group de personnes représentant les principales communautés utilisatrices • Voir aussi la contribution 66 des JRES 2013 : « France Grilles, des opérations aux utilisateurs », Geneviève ROMIER, Hélène CORDIER, Gilles MATHIEU 6/14

7. Défis Hétérogénéité (duréed’exécutiontrès variable pour un mêmecalcul) Latence 7/14 Re-soumission des tâcheséchouées Jobs

8. Equilibrage de charge dynamique • Simulations Monte-Carlo • Simuler P évènements aléatoires • Avec n jobs • Ex: estimation de π • Algorithmes d’équilibrage de charge • Statique • Dynamique Worker: Simuler E/n évènements Worker: While “stop” not received: Simulate 1 event End while Master: While e ≠ E e ←# simulated events End while Stop the workers 8/14 http://en.wikipedia.org/wiki/Monte_Carlo_method

9. Equilibrage de charge dynamique : résultats • Expériences réalisées avec GATE sur EGI • 450000 événements, 75 tâches, 3 répétitions pour chaque configuration S. Camarasu-Pop, T. Glatard, J. T. Moscicki, H. Benoit-Cattin, and D. Sarrut, "Dynamic partitioning of GATE Monte-Carlo simulations on EGEE“ Journal of Grid Computing, vol. 8, no. 2, pp. 241-259, mar, 2010 Static load balancing + pilot jobs Dynamic load balancing + pilot jobs 9/14

10. Optimalité de l’équilibrage dynamique La fusion de résultats partiels reste problématique Utilisations de plusieurs tâches de fusion Sauvegarde périodique de résultats + fusion incrémentale Zoom sur les simulations Monte-Carlo Statique Dynamique S. Camarasu-Pop, T. Glatard, R. Ferreira da Silva, P. Gueth, D. Sarrut, and H. Benoit-Cattin "Monte-Carlo Simulation on Heterogeneous Distributed Systems: a Computing Framework with Parallel Merging and Checkpointing Strategies" Future Generation Computer Systems, vol. 29, no. 3, pp. 728--738, 03/2013 10/14

11. Réplication automatique de tâches Si La tâche est en retard alors Si Tous les réplicas de la tâche sont en retard alors Si Aucun réplica est en attente alors Répliquer la tâche Fin si Fin si Fin si Si Un réplica de la tâche est en retard alors Annuler le réplica Fin si Répliquer des tâches en retard Faire attention au gaspillage de ressources Algorithme 11/14

12. Limitations • Exécutions très courtes (< 20 min CPU) • Sont pénalisées par les overheads • Exécutions très longues (> une année CPU) • Ont besoin d’intervention pour finir • Support pour les contraintes des applications • RAM > 2 GB • Espace disque > 2 GB • Transfert de gros fichiers • L’intégration de nouvelles applications demande l’intervention des experts • Développement de workflows 12/14

13. Conclusion • VIP • Une des plates-formes les plus utilisées dans EGI • Les utilisateurs peuvent transférer des fichiers et lancer des applications • Les sites de calcul et l’emplacement de stockage des fichiers sont choisis automatiquement • Les applications sont externes aux portail • Effort demandé • Administration système • Support logiciel • Support utilisateurs • Développement logiciel 13/14

14. Merci pour votre attention !Questions ? 14/14