Valorisation des données de l’IPSL+ Projet Labex L-IPSL TW2 19 Décembre 2012

1. 13/12/12 Valorisation des données de l’IPSL+ Projet Labex L-IPSL TW2 19 Décembre 2012 Thomas Delacour (CDD L-IPSL), Karim Ramage (ESPRI-IPSL), Philippe Keckhut (LATMOS-IPSL LIPSL-TW2)

2. Objectifs L-IPSL Changement climatique • Scientifiques • Coordonner les étudessur le changementclimatique à l’IPSL-étendu • Fondements/mécanismes et conséquences (impacts/ruptures) • Global/régional, modèles/observations • Stratégiques • 3 domaines : recherche, transfert/valorisation, enseignement • Catalysenouvelles actions concertées et structurantes (pas d’appelsd’offre) • Renforcer/recentrerdynamique IPSL • Développervisibilité interne/nationale/internationale

3. Structure: Work Packages • WP1 - Factors controlling the atmospheric composition • WP2 - The predictable part of climate evolution for the next decades considering anthropogenically induced changes and natural fluctuations • WP3 - The regional climate implications of global warming • WP4 - The expected impacts of climate change on natural resources and environmental changes • WP5 - The risks of abrupt unpredictable climate evolutions • TWP1 - Numerical modelling of the climate system (pôle de modélisation) • TWP2 - Strategy for observational studies: instrumentation, analyses, dissemination (pôle instrumentations et observations) • TWP3 - Assessment of uncertainty in climate diagnostics and projections

4. Organisation IPSL historique +IDES + SISYPHE Conseil Scientifique IPSL CD IPSL Tutelles IPSL Nomme CR Propose actions Cadre Labex Evalue Projet Labex Direction + bureau Comité Recherche (CR) Equipes scientifiques Le CD IPSL est l’organe décisionnaire du projet Labex IPSL

5. TWP2 - Strategy for observational studies: instrumentation, analyses, dissemination (pôle instrumentations et observations) • Pas de duplication des structures IPSL : ESPRI, PIIS • En lien avec les WPs “scientifiques” • Pas d’investissement concernant l’équipement • Exemples des domaines de discussion: • Arctique : base de données • Isotope de l’eau : méthodologie • Analyses statistiques : detection attribution • Stratégie Lidar • Plateformes analytiques : Stratégie

6. Le serviceESPRI de l’IPSL Le projet ESPRI (Ensemble de Services Pour la Recherche à l'IPSL) vise à mettre en œuvre la politique de l’IPSL concernant l’analyse, l’archivage, et la distribution de données scientifiques. Le projet développe les outils et l’infrastructure informatique permettant d’assurer la gestion des données d’intérêt collectif. Les données sont des observations brutes ou des produits plus élaborés à forte valeur ajoutée et proviennent de la collecte d’observations: • Soit en mode routine, à partir d’instruments sol en réseau (e.g. SIRTA , ICOS ), embarqués à bord de ballons, d’avions ou de satellites, • Ou lors de campagnes intensives (AMMA , Chantier méditerranée, MISTRALS ). Ce sont aussi des données issues de modèles numériques (e.g. Prodiguer, ESG ). Le projet mène aussi des actions prospectives pour développer la synergie entre les projets scientifiques, pour une exploitation maximale des données, en partenariat avec les pôles de compétences nationaux Ether et ICARE .

7. L’Infrastructure informatique du projet ESPRI Nuages, aérosols, cycle de l’eau, rayonnement (+campagnes et SIRTA) Le projet ESPRI s’appuie sur des moyens informatiques • répartis géographiquement sur les différents sites de l’IPSL • gérés de façon mutualisée. Ces moyens comprennent : • des espaces de stockages (1,2 Po), • des moyens de calcul associés (525 cœurs) • des services de distribution et de valorisation des données (serveurs Web, FTP, OpenDAP,…) 500 To Activités « chimie atmosphérique » et modélisation IPSL 200 To Modélisation-climat (hors CCRT et IDRIS) 500 To Autres projets IPSL: atm. planétaires, ocean-atm, magnetisme, campagnes, … 60 To

8. L’Infrastructure informatique du projet ESPRI Le service Calcul et Données ClimServ: • implanté sur le site de l’école polytechnique • Grandes campagnes terrain (AMMA, HyMeX) • Centre d’expertise ICARE de l’IPSL • Mise à disposition de grands jeux de données climatologiques (ISCCP , GPCP, …), analyses et réanalyses NCEP, ECMWF, … Le cluster de calcul CICLAD(Calcul Intensif pour le Climat, l’Atmosphère et la Dynamique) • Implanté à Jussieu • Hébergement du CGTD ETHER • Pré/Post Traitement pour le pôle de Modélisation • Mise à disposition des données CMPI5

9. Projet de Valorisation des base de données “Climatiques” 1/2 Objectifs : • Fournir un espaceoul’onpeuttrouver des observations climatiques “produitsévolués” (Modèlisation, initialisation, référence,…)  Portail web • Fournir des données pour des communautés non spécialisées (économie, étudiants, ….) • Portail pour accéder • Rapidement à des jeux de donnéestrèslimités en volumes, aux formats demandés par les communautésutilisatrices • aux données de niveauxinférieurslàoùellessontarchivées • à la documentation suivant les standards de méta-données et de formats (INSPIRE, ISO 19115, …)

10. Projet de Valorisation des base de données “Climatiques” 2/2 Nature des données concernées : • Observations (autres à discuter) • “Climatiques” : données décrivant l’état du systéme terre • Océan – Atmosphère - Surface, Biosphère • “Climatiques” : Etat moyen • Locale ou globale • Données produites ou transformées par des équipes du L-IPSL • Climatologies déjà publiées; fichiers de données disponibles (sinon quantité de travail à évaluer)

11. Le Contexte européen et international La directive INSPIRE vise à favoriser l'échange des données au sein de la Communauté européenne dans le domaine de l'environnement pris dans un sens large. Elle crée plusieurs obligations : • la fourniture des données selon des règles de mise en œuvre communes ; • la constitution de catalogues de données (métadonnées) ; • l'application de règles d'interopérabilité ; • l'accès gratuit aux métadonnées ; • l'accès aux données pour les acteurs réalisant une mission rentrant dans le cadre d'INSPIRE ; • les services pour permettre ces accès ; • l'existence d'une organisation adaptée pour s'assurer de la bonne mise en œuvre de la directive. La directive regroupe ces obligations sous le vocable de « Infrastructure de données géographiques ». L'ensemble de ces obligations s'appuie en principe sur les normes et standards internationaux.

12. Climate data guide : https://climatedataguide.ucar.edu/ Le portail « Climate Data Guide » propose un large éventail de jeux de données d'observation et de réanalyses, ainsi qu’une expertise pour leur utilisation appropriée dans les analyses et évaluation des modèles. Exemples de Sites existants 1/2

13. Exemples de Sites existants 2/2 Global Change Master Directory : http://gcmd.nasa.gov/ Le GCMD décrit plus de 27.000 jeux de données et services en sciences de la Terre. La mission du projet est d'aider les chercheurs, les décideurs et le grand public dans la découverte et l'accès à des données, des services connexes et des informations auxiliaires (qui comprend la description des instruments et plates-formes) relatives au changement global et à la recherche en sciences de la Terre.

14. Exemple de Fiche de métadonnées Fiche du site Climate Source Liste des métadonnées Figures illustrant les données Caractéristiques du jeu de données

15. Exemple de Fiche de métadonnées Fiche du site Climate Source Figures illustrant les données Liste des métadonnées

16. Exemple de Fiche de métadonnées Fiche du site Climate Source Figures illustrant les données

17. Exemple de Fiche de métadonnées Fiche du site Climate Source Caractéristiques du jeu de données

18. - Les métadonnées seront renseignées à l'aide d'un formulaire basé sur le Directory Interchange Format (DIF) - Les champs sont classés en trois catégories : Obligatoire, hautement recommandé et recommandé Formulaires des métadonnées Title  : ISO topiccategory  : Parameters  : Metadataname  : Metadata version  : Data Center  : Summary  : Temporal coverage  : Paleo temporal coverage : Spatial coverage  : Location : Instrument  : Platform : Data resolution  : Data set Language : Personel  : Keywords  : Data set citation  : Project  : Quality  : Access constraints  : Use constraints  : Distribution  : Data set progress  : Related URL  : DIF revisionhistory  : Originating center  : Multimediasample  : References  : Parent DIF  : IDN node  : DIF creation date  : last DIF revision date  : Future DIF review date  : Private  :

19. Exemple de fiche n° 1 : CLIMATOLOGY OF THE MIDDLE ATMOSPHERIC TEMPERATURE OVER THE SOUTH OF FRANCE Ensemble des métadonnées Description du jeu de données et tableau caractéristique ISO topic category  : Climatology Parameters  : Earth Science/Climate Indicators/Temperature Temporal coverage  : 1978-1989 Spatial coverage  : 44°N, 6° E at OHP and 44°N, 1°W at Bis, between 37 and 87 km altitude Location : Europe, France Instrument  : LIDAR (light detection and ranging) Platform : Observatory of Haute-Provence (OHP) and Biscarrosse (Bis) Data resolution  : Vertical resolution : 1km, temporal resolution  : monthly Language : English Contact  : Alain Hauchecorne Data Center  : LATMOS Keywords  : Climate, Atmosphere, LIDAR, Temperature, Rayleigh References : Climatology and trends of the middle atmospheric temperature (33-87 km) as seen by Rayleigh Lidar over the south of France, JOURNAL OF GEOPHYSICAL RESEARCH, VOL. 96, NO. D8, PAGES 15,297-15,309, AUGUST 20, 1991 Description : Rayleigh lidar provides temperature profiles with a good temporal and vertical resolution in the middle atmosphere. Data obtained by 2 Rayleigh lidars set up at the Observatoryo f Haute-Provence (44øN, 6øE) and at Biscarrosse (44øN, IøW) from 1978 to 1989 led to a unique set of data of 1200 night-mean temperaturep rofilesf rom 37 to 87 km. A climatology of the temperature over the south of France has been established from this data base. Boutons permettant de récupérer les données (DATA) et le fichier complet de métadonnées (DIF) DIF DATA

20. Exemple de fiche n° 1 : CLIMATOLOGY OF THE MIDDLE ATMOSPHERIC TEMPERATURE OVER THE SOUTH OF FRANCE Description : Rayleigh lidar provides temperature profiles with a good temporal and vertical resolution in the middle atmosphere. Data obtained by 2 Rayleigh lidars set up at the Observatory of Haute-Provence (44øN, 6øE) and at Biscarrosse (44øN, IøW) from 1978 to 1989 led to a unique set of data of 1200 night-mean temperature profiles from 37 to 87 km. A climatology of the temperature over the south of France has been established from this data base. ISO topic category  : Climatology Parameters  : Earth Science/Climate Indicators/Temperature Temporal coverage  : 1978-1989 Spatial coverage  : 44°N, 6° E at OHP and 44°N, 1°W at Bis, between 37 and 87 km altitude Location : Europe, France Instrument  : LIDAR (light detection and ranging) Platform : Observatory of Haute-Provence (OHP) and Biscarrosse (Bis) Data resolution  : Vertical resolution : 1km ,temporal resolution  : monthly Language : English Contact  : Alain Hauchecorne Data Center  : LATMOS Keywords  : Climate, Atmosphere, LIDAR, Temperature, Rayleigh References : Climatology and trends of the middle atmospheric temperature (33-87 km) as seen by Rayleigh Lidar over the south of France, JOURNAL OF GEOPHYSICAL RESEARCH, VOL. 96, NO. D8, PAGES 15,297-15,309, AUGUST 20, 1991 Possibilité de visualiser le tableau de données sous forme graphique DATA DIF

21. Exemple de fiche n° 2 : Climatology of Precipitation and Deep Convection over the Mediterranean region On obtient des fiches d'information semblables, quelque soit le jeu de données ISO topic category  : Climatology Parameters  : Earth Science/Climate Indicators/Precipitaions Temporal coverage  : 1999-2011 Spatial coverage  : 25°-60° N , 10° W – 50 °E Location : Mediterranean region Instrument  : AMSU ( Advance Microwave Sounding Unit ) Platform : Polar orbiting satellites Data resolution  : 0,2° lat * 0,2° lon Language : English Contact  : Chantal Claud email : chclaud@lmd.polytechnique.fr Data Center  : LMD (laboratoire de météorologie dynamique) Keywords  : Climate, precipitation, Mediterranean, satellite, microwaves, brightness References : A high resolution climatology of precipitation and deep convection over the Mediterranean region from operational satellite microwave data : development and application to the evaluation of mode uncertainties, Claud et al., Nat. Hazards Earth Syst. Sci., 12, 785–798, 2012 URLs :http://www.nat-hazards-earth-syst-sci.net/12/785/2012/nhess-12-785-2012.html Description : A new precipitation and convection dataset for the Mediterranean Basin, derived from operational satellite microwave data is documented. The dataset is derived from diagnostics that rely on brightness temperatures measured since 1999 in the water vapour absorption line. DATA DIF

22. Le portail Web : Valorisation de données Climatologiques L-IPSL 1/5 Page d’accueil du site Onglets pour le parcours du site Liste des derniers jeux de données ajoutés

23. Maquette du portail Le portail Web : Valorisation de données Climatologiques L-IPSL 2/5 Exemple de recherche Méthode de recherche avec l'onglet data Sélection de la méthode

24. Maquette du portail Le portail Web : Valorisation de données Climatologiques L-IPSL 3/5 Recherche de jeux de données par domaine Recherche dans le domaine Atmosphere Domaines de recherche de l'IPSL

25. Maquette du portail Le portail Web : Valorisation de données Climatologiques L-IPSL 4/5 Exemples de résultats de la recherche par domaine Métadonnées principales Jeux de données contenus dans le domaine Atmosphere

26. Maquette du portail Le portail Web : Valorisation de données Climatologiques L-IPSL 5/5 Accès aux données grâce au moteur de recherche Sélection des coordonnées géographiques Onglet de recherche Paramètres de recherche

27. Projet de Valorisation des base de données “Climatiques” Rappel des objectifs du projet : • Construire un portail pour présenter les observations climatiquesdisponibles au sein du L-IPSL • Documenter cesdonnées en suivant les standards de méta-données et de formats (INSPIRE, ISO 19115, …) • Fournir un accès simple verscesjeux de donnéessynthétiques (moyennes, tendances, …) et vers les données de niveauxinférieurs, làoùellessontarchivées. Les étapes du projet : • Identification de jeux de données • Elaboration des fiches de méta-données en interaction avec les producteurs • Développement du portaild’accès aux méta-données et aux données