L’assimilation de données dans le contexte du calcul intensif

1. L’assimilation de données dans le contexte du calcul intensif et du calcul massivement parallèle au CERFACS. Sophie Ricci , Global Change Team Journée HPC Total, 25 Mars 2008

2. EDF Neutronique Prévision saisonnière Mécanique CNES Océanographie Chimie atmosphérique Météo-France Océanographie Chimie atmosphérique Hydrologie (SHAPI-SPC) Production et expertise Projets FP’6 (ENSEMBLES), FP’7 (MACC), MERCATOR(GMMC), EDF(ARTEMIS), CNES(TOSCA), CNRS(LEFE) ANR (ADONIS, NEMOVAR) Partenaires CERFACS Equipes CERFACS GLOBC Océanographie, Hydrologie, Prévision saisonnière, Neutronique PAE Chimie atmosphérique Compétences Méthodes d’assimilation (variationnelle, Kalman) Méthodes avancées (4D-Var, Ensembles) Algorithmie opérationnelle ALGO Minimiseurs performants Méthodes d’assimilation OUTILS LOGICIELS Couplages de codes (PALM, OASIS- PRISM) 1- Les collaborations Assimilation de données Moyens de calcul CERFACS IBM BlueGene (5.7 peak Tflops) IBM Blade Center (2.2 peak Tflops) Partenariats NEC SX8R (Météo-France) IBM p575 (ECMWF) NEC SX6 (Earth Simulator) Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

3. Neutronique Hydrologie Chimie atmosphérique Océanographie 2- Les domaines d’application de l’assimilation de données au CERFACS A. Weaver, I. Mirouze, S. Ricci D. Cariolle, S. Massart, A. Piacentini Equipe Cerfacs/Mercator J. Munoz, S. Massart, S. Ricci, B. Bouriquet B. Bouriquet, S. Ricci, S. Massart Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

4. : ébauche Modélisation erreurs Méthodes : observations 3D/4D-VAR(psas/fgat) Filtre KALMAN Ensembles Matrice B : ébauche Matrice R : observation Matrice Q : modèle : état estimé temps Physique Librairie de calcul Modèle M Opérateur d’observation H Préconditionneurs Minimiseurs Calcul matriciel 3- Le principe de l’assimilation de données • Stratégie d’assimilation: • choix de la méthode d’assimilation • choix de la plateforme de calcul • choix d’un algorithme d’implémentation Identification du vecteur de contrôle sur lequel doit porter la correction Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

5. 4- Des calculs coûteux, des besoins considérables • Taille du système: • Taille du vecteur d’état (~106 pour NEMO 2 º) • Taille du vecteur de contrôle • Intégration de modèles physiques • à haute résolution: • Modèle d’océan (NEMO: 2º, 1/2 º, 1/4 º, 1/12º) • Modèle de chimie atmosphérique (MOCAGE: 2 º à 1/2º) • complexes: • Neutronique (statique, dynamique) • Calculs algébriques ou analytiques: • Inversion de matrices • Minimisation de fonction coût complexes • Coûts directement liés à la méthode d’assimilation • Intégration des modèles adjoints • Réalisation d’ensembles • Propagation des matrices d’erreurs • Prise en compte des diagnostiques d’erreurs Besoin de calculateurs puissants (massivement parallèles) à grande capacité de stockage Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

6. Inside 5- L’assimilation dans le contexte du groupe Mercator Groupement d'Intérêt Public dont la mission est de mettre en œuvre un système permettant de décrire à tout instant l'état de l'océan. L'assimilation de données d'observation dans un modèle permet ainsi la description et la prévision de l'océan jusqu'à 14 jours. SGi –Altix 4700 1,23 peak Tflops 96 nœuds (processeurs dual core Itanium2) 192 cœurs de calcul 960 Go RAM NEC-SX8R (Meteo-France) Intégration sur 1 semaine du modèle direct NEMO(1/12 º) avec modèle de glace jpi=4322, jpj=3059, jpk=50 2h20 elapsed (136h CPU) sur NEC – 8 nœuds de 8 procs Analyse (1/4 º) avec modes d’erreur au 1/6º (1 mode = 775 mégas) 20 minutes sur 158 procs SGI Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

7. Modèle atmosphérique ARPEGE avec modèle de glace tl159 (1º), 31 niveaux verticaux 10 ans en 3 jours Couplage par OASIS 6- Le système couplé océan-atmosphère avec assimilation IBM Blue Gene 1024 nœuds de calcul soit 2048 cœurs Power PC440 1 nœud: 2 cœurs Power PC440 700 Mhz 512 MO de mémoire par processeur • Modèle océan NEMO • avec glace de mer • 1/2º, 31 niveaux verticaux • 10 ans en 3 jours • Surcoût de 150 % par rapport à NEC : NEMOVAR Chaine d’assimilation variationnelle Système d’assimilation océanique Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

8. 7- La chaine d’assimilation variationelle océanique NEMOVAR Chaine d’assimilation avancée performante (opérationnel prévu par ECMWF) Optimisation de la chaine d’assimilation variationelle autour du code océan NEMO : Distribution MPP efficace des observations Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

9. 8- Expériences d’ensembles avec la chaine d’assimilation océanique IBM p575 (ECMWF) 2240 cœurs Power PC440 a 1.9 GHz 7.6 GFlops par processeur • Réalisation d’un ensemble avec la chaine d’assimilation variationnelle océanique 3D-FGAT sur IBM p575 (ECMWF) (Thèse N. Daget) • Estimation statistique des covariances d’erreur d’ébauche et d’observation • Génération d’un jeu de conditions initiales océaniques pour le projet de prévision saisonnière ENSEMBLES. 10 ans en 15 jours (temps elapsed) soit 100 jours temps CPU + 1,1 To de stockage Observations + δ1 Prévision à t Analyse Prévision à t+1 P1 Traitement statistique et/ou Initialisation modèle Observations + δ2 Prévision à t Analyse Prévision à t+1 P2 Observations + δ3 Prévision à t Analyse Prévision à t+1 P3 Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

10. Inside Inside 9- D’autres approches ensemblistes en assimilation de données au CERFACS NEC SX8R (Météo-France) Réalisation d’un ensemble avec la chaine d’assimilation de chimie atmosphérique avec le modèle MOCAGE (S. Massart) Perturbations des jeux d’observations assimilées 1 jour en 30 minutes + 160 Go de stockage pour 5 mois IBM Blue Gene 1024 nœuds de calcul soit 2048 cœurs Power PC440 Modèle océanique simplifié Shallow water Mise en place d’un Filtre de Kalman d’ensemble sur Blue Gene CERFACS (stage à venir) • Réalisation d’une chaine d’assimilation autour du code neutronique EDF-N3CV2 • Calage de paramètres physiques • Reconstitution de champs d’activité • Les méthodes d’ensembles pourront être envisagées (estimation erreurs B, R) Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

11. 10- Gestion du parallélisme via le logiciel PALM • Palm est un logiciel destiné à coupler des unités de calcul (élémentairesou complexes) • Couplage de modèle (océan-atmosphère, combustion-rayonnement) • Echanges de données • Calculs intermédiaires sur les données • Interpolation entre maillages • Redistribution des structures de données Gestion efficace et modulaire d’une chaine de calcul complexe type assimilation de données Couplage dynamique: ressources informatiques, mémoire et nombre de processeurs du calculateur gérées par PALM. Parallélisme: Interne au niveau d’une unité de calcul De tache au niveau de la distribution des unités Différentes tactiques de couplage Équilibrage des charges sur le calculateur Interface graphique PrePalm Boite à outils d’algèbre Monitorage en cours d’exécution Analyse des performances Une application en assimilation de données peut être conçue via PALM comme un couplage dynamique d'un modèle et de quelques unités de traitement des observations et des statistiques d'erreur, plus des traitements algébriques. Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008

12. Vers l’utilisation croissante des moyens de calcul intensif massivement parallèle au CERFACS pour l’assimilation de données • Expertise en assimilation de données au CERFACS • Océanographie • Hydrologie • Chimie atmosphérique • Neutronique • Bon nombre de ces applications implique l’utilisation de ressources en calcul intensif massivement parallèle et d’un espace de stockage important • Intensification des besoins pour des applications coûteuses • Augmentation de la résolution des modèles • Méthodes avancées (4D-Var, ensembles) • Augmentation des ressources de calcul du CERFACS • Acquisition de l’IBM Blue Gene Novembre 2007 • Partenariat avec d’autres organismes équipés de gros calculateurs • (Météo-France, ECMWF, PRACE…) Un environnement de calcul favorable pour des applications coûteuses en assimilation de données Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008