CASTAGNOLI Gérard / ROTEREAU Armand

1. Projet CooperateDéveloppement scientifique Exemple d’exploitation commune de bases de données VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

2. l’idée « Common database for field sites dedicated to experimental studies on climate change in Southern France »  O3HP (OHP, CNRS) Puechabon (CEFE, CNRS) CLIMED (Marseille, ANR/IMBE) Fontblanche (Roquefort-la-Bédoule INRA)

3. Exemple de Mesures échanges gazeux à l’échelle de la canopée T, rh%, radiation & météorologie générale échanges gazeux foliaires Motif radialby J Cermak relevés /échantillons/ saisie biologiques & chimiques & physiques flux de sève & croissance relations hydriques Profil geoelectrique par D Hermitte & J-C Parisot VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

4. inter-site inter-faceéxperimentateur & modélisateur inter-generation inter-national inter inter-net inter-disciplinaire inter-opérabilité inter-ligent inter-échelle L’interopérabilité est la capacité que possède un produit ou un système, dont les interfaces sont intégralement connues, à fonctionner avec d'autres produits ou systèmes existants ou futurs et ce sans restriction d'accès ou de mise en œuvre. definition-interoperabilite.info VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

5. Exemple de sites inclus dans Cooperate Site ICOS SiteClimed Site O3HP Site Sentinel …etc.. : zone de base : Capteurs (exemple d’emplacement) : secteurs générateur de données VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

6. Schéma fonctionnel Centre de Calcul BDD thématique 1 Site 1 BDD thématique 2 Sauvegardes Sauvegardes Sauvegardes Serveur De Traitement Commun BDD thématique 5 Interface d’administration (utilisateurs privilégiés) (Ex: O3HP,Sentinel,Icos) BDD thématique 6 Site 2 BDD commune Fichiers texte (csv) (Ex: Climed) Interface d’interrogation et consultation Serveur De Traitement Serveur FTP Site 3 BDD thématique 3 Serveur Web Commun Export Graphiques, Fichiers CSV, images, Tableaux Résultants des interrogations Fichiers texte (csv) Serveur FTP Relevés manuels Site 4 BDD existante BDD thématique 4 BDD existante Web service(s) Site 6 Site 5 Serveur De Traitement Site 7 (Ex: Phénologie) (Ex: Meteo OHP) VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

7. Structure des BDDs Tables thématiques Tables communes Tables statistiques VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

8. Extensions thématiques au projet • BDD ‘Caractéristiques des Plantes/ Faune/ Microbes’ • BDD ‘Caractéristiques du Sol’… BDD thématique(s) BDD commune Requêtage Tables thématiques Tables communes Interaction Bases de données thématiques Statistiques VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

9. Application web principe Bandeau et menus gérés par un CMS. Iframes déclenchés par les boutons du menu. Contenus indépendants du CMS utilisé. VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

10. Application web démo VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

11. Choix architectural • Equipements • pour BDD • machine physique multi-processeurs • disques SAS • Interfaces Web + calculs • VM puissante • OS : • Développement : / / / (pour les menus) • BDDs commune et thématiques • Sauvegardes journalières • Systèmes + données (Savenet) VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

12. Solutions techniques • Affichage multi-mesures / multi-sites • bib. HighCharts • Requêtes sur toutes les BDD en même temps • Modèle BDD + mécanisme PostgreSQL: postgres_fdw (foreign Data Wrapper) • Rapidité des requêtes • hardware / software / Modèle BDD (1 table/capt. + évolution dynamique de la BDD avec détection des nouveaux objets). • Stockage optimisé • calcul de l’espace nécessaire au préalable • Affichages et export : calcul à la volée des données à la minute/jour/mois/année • Vérification et validation des données • Automatiques, semi-automatiques et manuelles (en cours) VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

13. Souplesse d’emploi • Souplesse sur les normalisations et données en entrée • pas de contrainte sur le pas de temps, sur les noms des capteurs, etc. • Rajout d’un nouveau site en « 1 clic » avec un besoin de très peu d’infos • Scripts génériques • Customisation de quelques heures à 1 semaine • Rajout de méta-infos, nommage d’éléments, etc… • Code générique : installation possible ailleurs • D’un site (site 3 & 4 dans slide « Schéma fonctionnel ») • De l’ensemble de l’architecture pour des besoins différents VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

14. Quelques chiffres (pour l’O3HP) • Données extraites des capteurs • Cyclique : toutes les 5 minutes à toutes les secondes  # 2 500 000 valeurs / jour • BDD thématique • 1 500 tables, > 1 000 000 000 enregistrements • Application Web et scripts d’insertion • > 30 000 lignes de code • Projet informatique • 2 ans de conception et développement • en moyenne : 1,2 H/J (3 ingénieurs à temps partiel) VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand

15. OHP - Perspectives verticales 0 m – 35000 m Station Gérard Mégie 4 km - 80 km temporary installations ANR CANOPEE 70 m - 20000 m 10 m -100 m 2 m -10 m CASTAGNOLI Gérard / ROTEREAU Armand -8 m to 6 m VVT 2014

16. Financement et soutien Références • Site Web O3HP : • https://o3hp.obs-hp.fr/index.php • Application Web O3HP : • https://o3hpbd.obs-hp.fr/db/index.php • Application Web COOPERATE (en développement): • https://o3hpbd-dev.obs-hp.fr/db/index.php Merci de votre attention VVT 2014 CASTAGNOLI Gérard / ROTEREAU Armand