Chaîne de calcul IPSL - niveau 2 avril 2013

1. Chaîne de calcul IPSL - niveau 2avril 2013

2. Plan • Présentation du pôle de modélisation • Présentation du modèle IPSL-CM5 • Rappel du fonctionnement de la chaine • Surveillance de la chaîne de calcul • Travaux pratiques personnalisés

3. Le pôle de modélisation du climat • 80 personnes, coordinateur Jean-Louis Dufresne, dir adj IPSL • Missions : • Fédérer les études multidisciplinaires (scientifiques ou techniques) faisant intervenir les composantes du modèle de l'IPSL • Identifier et coordonner les simulations de référence • Fédérer et rationaliser les moyens, les développements techniques • Animation scientifique • Modèle climat : • Atmosphère • Océan et glace de mer • Surfaces continentales • Cycle du carbone • Chimie • IPSLCM5 • Earth System Model Le modèle climat IPSL 3

4. Modeling platform(IPSL-ESM)Arnaud Caubel (LSCE) - Marie-Alice Foujols (IPSL) Current and future climate changesJean-Louis Dufresne(LMD) - Olivier Boucher (LMD) Atmospheric and surface physics and dynamics (LMDZ)Frédéric Hourdin (LMD) - Laurent Fairhead (LMD) Paleoclimate and last millennium Pascale Braconnot - Masa Kageyama (LSCE) Ocean and sea ice physics and dynamics (NEMO, LIM)C Ethé (IPSL) - Claire Lévy - Gurvan Madec (LOCEAN) “Near-term” prediction (seasonal to decadal)Eric Guilyardi (LOCEAN) - Juliette Mignot (LOCEAN) Atmosphere and ocean interactions (IPSL-CM, different resolutions) Sébastien Masson (LOCEAN) - Olivier Marti (LSCE) Regional climatesRobert Vautard (LSCE), Laurent Li (LMD) Atmospheric chemistry and aerosols (INCA, INCA_aer, Reprobus)Anne Cozic (LSCE) - M. Marchand (LATMOS) Biogeochemical cycles (PISCES)Laurent Bopp (LSCE) - Patricia Cadule (IPSL) Evaluation of the models, present-day and future climate change analysis Sandrine Bony (LMD) - Patricia Cadule (IPSL) - Marion Marchand (LATMOS) - Juliette Mignot (LOCEAN) – Jérôme Servonnat (LSCE) Data Archive and Access RequirementsSébastien Denvil (IPSL) - Karim Ramage (IPSL) Organisation du pôle de modélisation du climat Resp: J-L Dufresne; Bureau: L. Bopp, MA Foujols, J. Mignot Comité de pilotage Continental processes (ORCHIDEE)Philippe Peylin (LSCE) - Josefine Ghattas (IPSL)

5. Groupe de travail Plate-formecoordination M-A. Foujols, A. Caubel • Ancien nom ESCI : Equipe Système Climat IPSL • 40 personnes ( 15 régulières ) • Missions : • Organiser les développements techniques en accord avec les activités scientifiques du pôle • Assurer le lien et la cohérence des développements entre les différentes composantes et le modèle couplé IPSLCM5 • Support aux utilisateurs des modèles, liste entraide : platform-users@ipsl.jussieu.fr • Documentation • Animation technique, formations • Veille technologique • Organisation : 1 réunion/mois (Jussieu et LSCE) • liste interne : esci@ipsl.jussieu.fr

6. forge.ipsl.jussieu.fr/igcmg

7. Plan • Présentation du pôle de modélisation • Présentation du modèle IPSL-CM5 • Rappel du fonctionnement de la chaine • Surveillance de la chaîne de calcul • Travaux pratiques personnalisés

8. Le modèle climat de l’IPSL : IPSLCM5 IPSL

9. IPSLCM5 Modèle du système Terre (ESM) Chimie tropo & aérosols (INCA) Émissions • Physique – Transport • Atmosphère (LMDZ) • Surface (ORCHIDEE) • Océan (NEMO) • Glace de mer (LIM) • Coupleur (OASIS) Climat global Utilisation des sols Carbone / CO2 (Orchidée, Pisces) Volcans Insolation Ozone strato. (Reprobus) LMDZ zoomé Climat régional

10. lmdz.lmd.jussieu.fr

12. http://www.nemo-ocean.eu/

13. 19 vert. levels Lesgrilles horizontales - couplage - 3 exécutables Atmosphère et surf. continentale (LMDZ - ORCHIDEE) coupleur (OASIS) Résolutions: Atm: 3.75°x2.5° (~350 km) Oce: 2°x2° reserré à l’équateur Océan et glace de mer (ORCA-LIM)

14. History of IPSLCM model since 2004 from IPSLCM4_v1 … NEC SX-9 2004 2005 2006 2007 2008 2009 2010 2011 Frozen IPSLCM4 for CMIP3/ IPCC AR4 NEMO for ocean : IPSLCM5 iomput for ocean : IPSLCM5 libIGCM : IPSLCM4_OASIS3 Oasis3 : IPSLCM4_OASIS3 LMDZ and Orchidee // IPSLCM4_v2 Carbon cycle included : IPSLCM5_v3 Carbon configurations for CMIP3/AR4 IPSLCM5A-LR : ready for CMIP5 Operationnal on vargas, titane (32 procs) Implicit usage of MPI/OpenMP IPSLCM5A-MR : 144x142x39 New physic : LMZ5B IPSLCM5B Increasing of resolution for ocean IO server Increasing of resolution for atm New dynamical core for atm … to IPSLCM5A … … and prepare the next generation

15. Petit rappel historique 2004 – IPCC/AR4, paléo, land use, … IPSLCM4_v1 Cycle du carbone : Stomate (ORCHIDEE) et PISCES (OPA) IPSLCM4_LOOP 2007Parallélisme MPI LMDZ-ORCHIDEEScripts libIGCM IPSLCM4_v2 IPSL_ESM_V1 Chimie - Aérosols NEMO : physique validée, ajout PISCES IPSLCM5_vx Forcages INCA, REPROBUS IPSLCM5A Juin 20102011 : en routine sur titane/vargas Nouvel exercice GIEC 2010-2012 2012 curie au TGCClibIGCM v2 : pack IPSLCM5A-B IPSLCM5_v5 2013 ada à l'IDRIS

16. Modèles de l'IPSL pour CMIP5 LMDZ-ORCHIDEE-ORCA-LIM-PISCES-INCA-REPROBUS-OASIS IPSL-CM5A Modèle intégré du système Terre (ESM) IPSL-CM5B Idem IPSL-CM5A, avec modèle atmosphérique LMDZ5B IPSL-CM5A-LRBasse résolution atm: 3.75°x2°L39 oce: 2° L31 IPSL-CM5A-MRMoyenne résolution atm: 2.5°x1.25°L39 oce: 2° L31 IPSL-CM5B-LRBasse résolution atm: 3.75°x2°L39 oce: 2° L31

18. Eléments techniques : parallélisme, HPC • Composantes seules : • parallélisme MPI et mixte MPI/OpenMP • utilisation de fichiers de forçages • Couplé ou MPMD : • 3 composantes au moins : coupleur, atmosphère, océan • chacune MPI ou MPI/OpenMP avec nombre différent de tâches • les serveurs d'IO • ajout des composantes imbriquées : 5 exécutables • ajout OpenMP en routine • Codes écrits en Fortran, sauf exception • Beaucoup de sorties • NetcDF • librairie IOIPSL • serveur : XIOS : en attaché/détaché • Grand challenge au CINES, SGI, > 2000 procs • Couplé LMDZ 1/3°- OASIS -NEMO 1/4°

19. Evolutions prévues à court terme : • Physique : nouvelle physique LMDZ • Plus de résolutions, Pulsation et S Masson • Des ensembles, S Denvil tests actuels • Des simulations plus longues, P Braconnot • Des modèles plus complexes à bon escient: ajout de la chimie A Cozic • Plus grand nombre de processeurs : cœur dynamique de LMDZ sur grille icosaédrique, Y Meurdesoif • Optimisations des IO, XIOS, Y Meurdesoif • de l'ensemble de la chaine: modipsl/libIGCM, ...  Contraintes ressources calcul, données, réseau

20. Quelques Enjeux pour les simulations climatiques • Des questions de plus en plus précises impliquant : • de nombreuses échelles de temps et d’espace (global au local, quelques années à quelques décennies) • Evolution des caractéristiques de la météorologies et de la variabilité climatique (heure à décennale) • Couplages entre le climat et les cycles biogéochimiques (gaz à effet de serre, aérosols, cycle du carbone, utilisation des terres,…) GIEC (simulations coordonnées) : Ensembles de projections climatiques suivant différents scénarios socioéconomiques À 3° de résolution : 380 cœurs pendant 2 ans (exercice actuel) À 2° de résolution : 840 cœurs pendant 2 ans (exercice en cours) À 1/3° de résolution : 500000 cœurs pendant 2 ans (à venir?) Ensembles Résolution Complexité

21. Plan • Présentation du pôle de modélisation • Présentation du modèle IPSL-CM5 • Rappel du fonctionnement de la chaine • Surveillance de la chaîne de calcul • Travaux pratiques personnalisés

22. Environnement Récupération de la configuration Serveurs CVS/SVN Assemblage dumodèle Visualisation/comparaison des résultats IOserver Modipsl Accés aux résultats Compilation LibIGCM Support Formation Machines Description d’une expérience Soumission/Exécution Documentation

23. Le modèle climat de l’IPSL • Définition : plateforme qui permet, sur les centres de calcul usuels : • de récupérerdes configurations de référence • de compiler : • les sources des différentes composantes • les interfaces de couplage (océan-atmosphère) et le coupleur • de réaliser une expérience type fournie (y compris fichiers entrée), • de suivre son exécution, • de produire et stocker des résultats bruts, • de produire, stocker et rendre accessible des ATLAS et analyses systématiques

24. Deux centres de calcul privilégiés Calcul Ada (10 624 cores, 233 Tflops) : 332 nodes, 4 proc Intel Sandy Bridge 8-cœurs à 2,7 GHz (32 cores/node), 128Go/nodes (4Go/core) Turing (65 536 cores, 836 Tflops) : 4.096 nœuds de calcul, PowerPC A2 (16 cores/node), 16 Go/node (1G/core) Post Ada : 4 nœuds 4 proc Intel Westmere 8-cœurs à 2,67GHz (32cores/node), 1 To (32 Go/core)  Fichiers Gaya, transferts des fichiers dods : http://dods.idris.fr Assistance assist@idris.fr, 01-69-35-85-55 Infos www.idris.fr Calcul Curie NF (80 640 cores, 1,6 Pflops) 5 040 thin nodes, 2 proc Intel Sandy Bridge 8-cœurs à 2,7 GHz (16 cores/node), 64Go/nodes (4Go/core) Curie NL (11 520 cores) 90 fat nodes, 16 proc Nehalem-EX 8-cœurs à 2,27 GHz (128 cores/node), 512Go/nodes (4Go/core) Titane (1 596 cores, 836 Tflops)1596 nœuds de calcul, 2 proc Intel Xeon 8 cœurs à 2,93 GHz (8 cores/node), 24 Go/node (3G/core) Post Curie NL, titane Fichiers $CCCWORKDIR, $CCCSTOREDIR, quotas : ccc_quota dods : http://dods.extra.cea.fr/work, http://dods.extra.cea.fr/store Assistance hotline.tgcc@cea.fr, 01-77-57-42-42 Infos curie.info

25. Configurations distribuées dans modipsl → Une configuration contient les sources des modèles, les outils de lancement basés sur libIGCM (driver et card) et les paramètres d'entrée Les configurations cohérentes avec IPSLCM5A : IPSLCM5A : Modèle couplé standard LMDZ-ORCHIDEE-NEMO-PISCES, utilisé pour CMIP5. Responsable A. Caubel LMDZOR_v4 : Modèle forcé LMDZ-ORCHIDEE. Responsable J. Ghattas. Même réglage que LMDZ4OR_v3. LMDZORINCA : Modèle avec chimie troposphère LMDZ-ORCHIDEE-INCA. Responsable A. Cozic IPSLCM5A_C : Comme IPSLCM5A mais avec des versions des composants différentes Responsable P. Cadule IPSLCM5B : Comme IPSLCM5A mais avec la nouvelle physique dans LMDZ. Responsable L. Fairhead

26. Configurations distribuées dans modipsl →« La famille v5 » : Refonte des configurations pour améliorer le cohérence entre les différentes configurations et faciliter leur utilisation. Les réglages pour une composante restent les mêmes dans toutes les configurations dans la même famille. Les configurations dans la famille v5 : IPSLCM5_v5 : Correspond à IPSLCM5A et 5B. Responsable A. Caubel LMDZOR_v5 : Prend la suite de LMDZOR_v4. Responsable J. Ghattas LMDZORINCA_v5 : Correspond au LMDZORINCA mais les réglages ont un peu changé pour correspondre à IPSLCM5_v5. Responsable A. Cozic LMDZREPR_v5 : Avec chimie stratosphère LMDZ-Reprobus. Responsable J. Ghattas IPSLCM5CHT_v5 : Comme IPSLCM5_v5 avec INCA. Responsable A. Cozic IPSLCM5CHS_v5 : Comme IPSLCM5_v5 avec Reprobus. Responsable M. Marchand

27. Configurations distribuées dans modipsl Autre configurations : NEMO : Modèle forcée de l'océan OPA-LIM-PISCES. Responsable C. Ethé. ORCHIDEE_TAG : Modèle forcé de surface ORCHIDEE, contient le dernier tag de ORCHIDEE (actuellement 1.9.6). Responsable J. Ghattas. ORCHIDEE_SVN_AR5 : Modèle forcé de surface ORCHIDEE, contient le version utilisé pour CMIP5 de ORCHIDEE. Responsable J. Ghattas. Recommandation générale : prévenir lors de nouvelles études basées sur une de ces configurations, en particulier pour les modèles couplés

28. Récupérer, compiler et lancer une configuration de type _v5 • Accès à MODIPSL svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl • Accès à IPSLCM5Acd modipsl/util ; ./model IPSLCM5_v5 • Installation des Makefilescd modipsl/util ; ./ins_make • Compilation cd modipsl/config/IPSLCM5_v5 ; gmake + resolution choisie • Installation de l’expérience type (et post-traitements) cp EXPERIMENT/IPSLCM5/piControl/config.card . vi config.card ### JobName=MYEXP ../../util/ins_job ### recopie repertoire piControl dans MYEXP avec COMP, DRIVER, PARAM • Soumission du Job de lancementcd modipsl/config/IPSLCM5A/MYEXP; ccc_msub Job_MYEXPllsumbmit Job_MYEXP

29. IPSL Gestion des sources des composantes Serveur cvs/svn Connexion Récupération de la configuration Modipsl Compilation Description de la simulation LibIGCM Choix des réglages physiques Exécution/ lancement du run LibIGCM Frontale Calcul

30. Script de référence : AA_Job PeriodLength

31. Schéma de la librairie de scripts libIGCM EXP00 EXP00/COMP

33. Comment vérifier que cela s’est bien passé? MY_EXPERIENCE • Message de fin de simu reçu • run.card : • PeriodState=Completed • Fichiers sur le serveur de fichiers • Post-traitements lancés puis finis • ATLAS et monitoring sur serveur dods modipsl en décalé config IPSLCM5_v5 EXP00 COMP PARAM DRIVER Job_EXP00 Script_Output* run.card run.card.init config.card

34. Message en fin de simulation A la fin d’une expérience, vous recevrez un message de ce type : Dear user, Simulation TEST201301 is completed on supercomputer curie5779. Job started : 25000101 Job ended : 25011231 Output files are available in /ccc/store/cont003/dsm/user/IGCM_OUT/IPSLCM5A/DEVT/piControl/TEST201301 Files to be rebuild are temporarily available in /ccc/scratch/cont003/dsm/user/REBUILD/IPSLCM5A/TEST201301 Pre-packed files are temporarily available in /ccc/scratch/cont003/dsm/user/IGCM_OUT/IPSLCM5A/DEVT/piControl/TEST201301 Script files, Script Outputs and Debug files (if necessary) are available in /ccc/work/cont003/dsm/user/CURIE/CMIP5/R99/IPSLCM5A_20120910/modipsl/config/IPSLCM5A/TEST201301

35. Arborescences sur serveur de fichiers IDRIS gaya: cd IGCM_OUT IPSLCM5A/DEVT/pdControl JobName SRF ATM MBG ICE SBG DEBUG OCE CPL RESTART MONITORING ATLAS TAR Output Analyse Fichiers archivés à la fréquence définie (PackFrequency) TS_DA SE TS_MO NCRCAT DA [HF] MO [INS]

36. Arborescences sur serveurs de fichiers TGCC cd $CCCSTOREDIR/IGCM_OUT cd $CCCWORKDIR/IGCM_OUT IPSLCM5A/DEVT/pdControl IPSLCM5A/DEVT/pdControl JobName JobName SRF ATM MBG ICE SBG DEBUG OCE CPL RESTART TAR MONITORING ATLAS Output Analyse Fichiers archivés à la fréquence définie (PackFrequency) TS_DA SE TS_MO NCRCAT DA [HF] MO [INS]

37. Simulations avec libIGCM : les options monitoring 2007 create_ts Job_EXP00 create_se atlas rebuild online RebuildFrequency=NONE, PackFrequency=NONE(ou absent), mode « DEBUG » ou « TEST » 2010 monitoring create_ts rebuild Job_EXP00 create_se atlas RebuildFrequency=1Y, PackFrequency=NONE, mode « Sans pack » (IDRIS-vargas) 2012 monitoring create_ts rebuild pack_output create_se Job_EXP00 atlas pack_restart pack_debug RebuildFrequency=1Y, PackFrequency=1Y, mode « Avec pack » (CCRT-TGCC et IDRIS-ada)

38. Les utilitaires de pack pack_restart.job : archive, avec tar, les restart par période « PackFrequency » pack_debug.job : archive, avec tar, les fichiers debug par période « PackFrequency » pack_output.job : concatène, avec ncrcat, les fichiers output (netcdf) par période « PackFrequency » est lancé par le job de rebuild

39. ada Job_EXP00 Job_EXP00 Job_EXP00 Calcul IDRIS PeriodLength PeriodLength PeriodLength $WORKDIR/REBUILD $WORKDIR/IGCM_OUT PackFrequency RebuildFrequency ada pack_restart pack_debug rebuild tar Post $WORKDIR/IGCM_OUT gaya : IGCM_OUT PackFrequency ada ncrcat pack_output Post gaya : IGCM_OUT SeasonalFrequency TimeSeriesFrequency ada create_ts create_se Post monitoring atlas gaya:IGCM_OUT dods.idris.fr

40. Les machines et espaces disques de l’IDRIS en une figure turingfrontale Machines turingcalcul adafrontale adacalcul adagrossemémoire interactif calcul $HOME Petits fichiers vitaux $HOME Espaces disques sourcesREBUILD temporaires IGCM_OUT : fichiers à packer sorties des post-traitements $WORKDIR $WORKDIR $TMPDIR $TMPDIR $TMPDIR mfput/mfget mfput/mfget gayatous résultats dods $HOME dmput/dmget résultats dods_cp Bandes robotisées Espace temporaire Espace non sauvegardé Espace sauvegardé Espacesur bandes Février 2013

41. titane, curie TGCC Job_EXP00 Job_EXP00 Job_EXP00 Calcul $SCRATCHDIR/REBUILD PeriodLength PeriodLength PeriodLength $SCRATCHDIR/IGCM_OUT pack_restart pack_debug tar PackFrequency RebuildFrequency Post titane, curie rebuild Post titane, curie $CCCSTOREDIR/IGCM_OUT ncrcat pack_output SeasonalFrequency TimeSeriesFrequency $SCRATCHDIR/IGCM_OUT $CCCSTOREDIR PackFrequency create_ts create_se Post monitoring atlas titane, curie TS et SE : $CCCSTOREDIR/IGCM_OUT/…  dods/storeMONITORING et ATLAS : $CCCWORKDIR  dods/work

42. Les machines et espaces disques du TGCC en une figure Machines de calcul airainfrontale curie nœuds hybrides-q hybrid airaincalcul curiefrontale curienœuds fins -q standard curienœuds larges -q xlarge interactif calcul Espaces disques Petits fichiers vitauxsauvegardés $HOME $CCCWORKDIR sources résultats MONITORING/ATLAS cp dods/work dods_cp REBUILD temporaires IGCM_OUT : fichiers à packer sorties des post-traitements $SCRATCHDIR cp quotas $CCCSTOREDIR résultats Analyse SE et TS dods/store ccc_hsm get dods_cp HPSS : Bandes robotisées Espace temporaire Espace non sauvegardé Espace sauvegardé Espacesur bandes Février 2013

43. Nombre de fichiers : historical

44. Plan • Présentation du pôle de modélisation • Présentation du modèle IPSL-CM5 • Rappel du fonctionnement de la chaine • Surveillance de la chaîne de calcul • Travaux pratiques personnalisés

45. 1 : Suivi de la simulation 2 : Vérification, correction

46. Suivi de la simulation • Il est indispensable de surveiller très régulièrement sa simulation !!! • RunChecker : script (libIGCM) à lancer pour obtenir des informations sur l’état d’une (ou plusieurs) simulations. • Documentation • http://forge.ipsl.jussieu.fr/igcmg/wiki/platform/documentation/suivi

47. RunChecker: usage et options • Le script peut être lancé de n'importe où : • path/to/libIGCM/RunCkecker.job [-u user][-q][-j n][-s][-p path] job_name • -u user : lance le Checker sur la simulation d'un autre utilisateur • -q : mode silencieux • -j n : affiche n jobs de post-traitement (10 par défaut) • -s : recherche d'une simulation non référencée $WORKDIR pour l'ajouter à son catalogue personnel de simulations avant d'afficher les informations • -p path : pour donner le chemin !!!absolu!!! du répertoire contenant le config.card à la place du job_name. A donner une fois seulement. Ensuite le nom de la simulation suffit. • 1) path/to/libIGCM/RunCkecker.job -p $CCCWORKDIR/CURIE/CMIP5/R1414/IPSLCM5A_20120731/modipsl/config/IPSLCM5A/v5.rcp45CMR2 • 2) path/to/libIGCM/RunCkecker.job v5.rcp45CMR2

48. RunChecker : exemple de simulation OK

49. RunChecker : exemple de simulation « à problèmes »

50. Message signalant un problème : failed Si souci, vous recevrez un message de ce type : Dear user, Simulation v5.historicalCMR5 is failed on supercomputer curie2024. Job started : 18500101 Job ended : 20051231 Output files are available in /ccc/store/cont003/dsm/user/IGCM_OUT/IPSLCM5A-MR/PROD/historical/v5.historicalCMR5 Files to be rebuild are temporarily available in /ccc/scratch/cont003/dsm/user/IGCM_OUT/IPSLCM5A-MR/PROD/historical/v5.historicalCMR5/REBUILD Pre-packed files are temporarily available in /ccc/scratch/cont003/dsm/user/IGCM_OUT/IPSLCM5A-MR/PROD/historical/v5.historicalCMR5 Script files, Script Outputs and Debug files (if necessary) are available in /ccc/work/cont003/dsm/user/CURIE/CMIP5/R1414/IPSLCM5A_20120731/modipsl/config/IPSLCM5A/v5.historicalCMR5