L’environnement de production WISDOM

1. L’environnement de production WISDOM

2. 2008 2005 2006 2007 Wisdom-I Malaria Plasmepsin DataChallenge Grippe aviaire Neuraminidase DataChallenge Diabetes Alpha-amylase Wisdom-II Malaria 4 targets GRIDS EUROPEAN PROJECTS INSTITUTES SCAI, CNU Academica Sinica of Taiwan ITB, Unimo Univ,, LPC, CMBA CERN-Arda, Healthgrid, KISTI EGEE, Auvergrid, TwGrid, EELA, EuChina, EuMedGrid Embrace EGEE BioInfoGrid • WISDOM (World-wide In Silico Docking On Malaria) est à l’origine une organisation qui a pour but de prouver la pertinence de l’utilisation de la grille dans la recherche de médicaments contre les maladies négligées

3. L’initiative WISDOM LPC Clermont-Ferrand: Biomedical grid SCAI Fraunhofer: Knowledge extraction, Chemoinformatics KISTI Grid technology CEA, Acamba project: Biological targets, Chemogenomics Univ. Modena: Biological targets, Molecular Dynamics Chonnam Nat. Univ. In vitro tests HealthGrid: Biomedical grid, Dissemination ITB CNR: Bioinformatics, Molecular modelling Academica Sinica: Grid user interface Univ. Los Andes: Biological targets, Malaria biology Univ. Pretoria: Bioinformatics, Malaria biology

4. Les activités de WISDOM • Activités de calcul • montrer la pertinence de la grille pour la bioinformatique • développer un environnement capable de monitorer les déploiements sur grille: l’Environnement de Production Wisdom • Fournir la grille aux non-experts • Activités biologiques • Etablir un workflow de criblage virtuel sur grille • Trouver de nouveaux médicaments pour lutter contre les maladies négligées

5. L’environnement de Production Wisdom • Déployer un environnement de monitoring des jobs sur grille de calcul • Produire de grandes quantités de données pendant les data challenges • dans un temps minimal et en utilisant un minimum de moyens humains • Gérer le fait que la grille est hétérogène et dynamique • un workflow de grille: soumission de job automatique, gestion des statuts de jobs, récupération des erreurs • utiliser les modes push et pull • https://sourceforge.net/projects/wisdom-pe/

6. Wisdom Production environment SEs User Interface CE & WNs Job submission WMS Software WISDOM production system DMS Protein Statistics Job Job status / Resubmission Compounds SRM Statistics Results WMS: Workload Management System CE: Computing Element SE: Storage Element DMS: Data Management System SRM: Storage Resource Management Inputs Outputs AMGA 2. Post-Processing 3. Lab Validation

7. Push-WPE ->> Pull-WPE • Changer le WPE pour améliorer: • Flexibilité • Efficacité CE & WNs Génération de jobs sans tâches Génération des jobs avec un ensemble de tâches PUSH PULL Job WISDOM production system WISDOM production system AMGA Retroube les tâches et leurs informations Retrouve les informations des tâches

8. Performances

9. Apporter la grille aux non-experts • Complexe et inflexible • Pour les gens familiers avec • la grille • Application de recherche de • médicaments WISDOM ENVIRONMENT 2005-2008 UTILISE LES AVANTAGES DES RESSOURCES DE CALCUL ET DE STOCKAGE DE LA GRILLE • Utilisateurs Non-experts • Plusieurs outils bioinfos 2008-…

10. Implémentation Moteur de Workflow Portail Web WS Client INTERFACE WEB SERVICES SERVICES WISDOM MIDDLEWARE DE GRILLE RESSOURCES DE GRILLE

11. Wisdom Production environment WISDOM Information System WISDOM Information System File IS AMGA Bio IS FTP HTTP Local Data Repository Data Manager Data Manager Local Data Repository Database Service Data Management APIs Client Services Transfer Manager DIGITAL RIBBON EGEE EGEE SE CE SE SE CE CE SE Task Manager OSG Tasks Management APIs Job Manager Job Submitter Data Metadata Jobs

12. DEUX MONDES Infos sur les fichiers Infos Biologiques • WISDOM data manager • Services de haut-niveau pour gérer les données et les métadonnées reliées aux applications et aux tâches • Services qui peuvent être utilisés pour déployer et synchroniser des données sur la grille (BD incluses) • ensemble d’APIs permettant d’accéder et de requêter les données • WISDOM information system • Basé sur AMGA

13. Data Manager WISDOM Information System WISDOM Information System Upload Service Upload Service File IS File IS Bio IS Bio IS Data Manager Data Manager Local Data Repository Local Data Repository Database Service Database Service File APIs File APIs Biodata APIs Biodata APIs FTP FTP Data Metadata Data Metadata Transfer Manager Transfer Manager HTTP HTTP EGEE EGEE OTHER GRID DIGITAL RIBBON SE SE CE CE SE SE CE CE

14. Système de soumission des jobs • Retroube les informations du BDII concernant les CD (nombre de CPU, nombre de CPU libres,…) • Définit le lancement en fonction des infos du CE • Initialise the voms proxy • Génère les JDL • Soumet les jobss en utilisant la soumission multithreadée • Jusqu’à ce que tous les jobs soient done (success): • Récupère le statut des jobs en utilisant le checking multithreadé • Resoumet les jobs si besoin est • Réinitialise le voms proxy si besoin est • Met à jour les informations sur AMGA

15. Interactions du task manager Utilisateur - Crée un nouveau service/une nouvelle tâche, spécifie les tags requis • Job • Liste les softsinstalléssur les WN (tags) • Requête les tâches Task manager Crée un nouveau répertoire de tâche / service Retourne un id de tâche Liste les services possibles en fonction des tags Retourneunetâche 1 1 2 2

16. Processus de soumission de tâches Tool WEB SERVICE Crée et gère les tâches Information System (AMGA) Task Manager Prend une tâche (info sur les programmes et les paramètres) 1 Prend les informations correspondantes 2 6 Stocke les données résultats Supprime la tâche 5 Storage Element Computing Element 3 Prend les packages de programmes correspondant et récupère les données correspondantes 4 Exécute la tâche

18. Exemple • Nom du service : blast.tar.gz • ~/blast/  répertoire du nom du service • ~/blast/createTask  exécutable de création de tâche • ~/blast/scripts.tar.gz  scripts d’utilisation d’AMGA • ~/blast/blast.sh  shell du service • Création d’une tâche • ~/createTask –s BLAST –u <username> –c <contrainte> –a <paramètres> • les paramètres sont séparés par : • ~/createTask –s BLAST –u reichma–c gilda –a seq.fasta:db.fasta • Basé sur un fichier shell