AMDA Automated Multi Dataset Analysis un outil du CDPP cdpp-amda.cesr.fr

1. AMDA Automated Multi Dataset Analysis un outil du CDPP cdpp-amda.cesr.fr Vincent Génot, C. Jacquey, E. Budnik, R. Hitier, M. Bouchemit, M. Gangloff, E. Pallier

2. Evolution du CDPP • Créé en 1998 par l’INSU et le CNES • Missions: - Archivage à long terme des données obtenues par des expériences à partcipation française - Valorisation des données, SVA (Services à Valeur Ajoutée) - Projets d’interopérabilité, Observatoires Virtuels • Juin 2005 >: extension des objectifs, accrétion E. Budnik et C. Jacquey - Mise à disposition de données “fraiches” (THEMIS, CLUSTER,..) - Mise à disposition à des données complémentaires - Développement d’outils en ligne génériques et automatisés • Animation et accueil scientifique autour de ses services • présentation K. Bocchialini

3. Plan de l’exposé • motivation, génèse, objectifs du projet • le coeur d’AMDA : paramètres et tables d’événements • vers une insertion dans l’OV : connexion à des bases extérieures • la science avec AMDA

4. Motivation / génèse du projet • - Initialement pensé pour valoriser les données du CDPP • - Une première phase : réutilisation de l’existant, test d’intégration • - Idée de l’espace de travail qui centralise toute la production de l’utilisateur • - Construit autour d’une base + outil de visualisation développé pour la mission magnétosphérique CLUSTER (DD-Cluster, interface web) • Développement : • - Principalement 2 développeurs “dans les murs” (IDL, C, Fortran, javascript) • - 1ère version en quelques mois • Amélioration constante du prototype en relation avec les avis du Comité des Utilisateurs (CU) du CDPP • Nouvelles fonctionnalités • Intégration de standards (SPASE) • Ouverture vers les VO

5. Spécificités / contraintes de la discipline • 1/ • + Les données archivées sont des scalaires, des vecteurs, des tenseurs, des spectres, ... ordonnés par le temps • - Il n’existe pas un format de données standard adopté par tous • 2/ • + Il existe une multitude de bases de données spécialisées • Le travail scientifique requiert une confrontation des résultats de plusieurs instruments simultanément : études multi-échelles, en météorologie spatiale, héliophysique, planétologie comparée • Nécessité d’un outil intégré (gain de temps et d’énergie) • Nécessité d’un moyen de communiquer l’information (entre utilisateurs et entre bases)

6. AMDA : Objectives Ease manipulation of data from heterogeneous origins Local Remote User owned Plot Combine Search Mission Instrument Model End products : - simple browse - data download - generate and export time tables (and catalogues) - perform statistics - extract sub-databases

7. Débuter avec AMDA 1/ Activité 2/ Données 3/ Période temporelle 4/ Transformations

8. Le paramètre : • Un paramètre est une série temporelle : • champ magnétique ou électrique • moment particule • indice • ... • une combinaison •  valide sur un intervalle de temps •  à une résolution temporelle donnée •  utilisé pour : • - la représentation visuelle • - la recherche conditionnelle • - le téléchargement, ... 17/11/1994 31/12/2005 Sampling 4s L’organisation en fichiers dans l’archive est cachéée à l’utilisateur

9. Contruction d’un paramètre 1/2 Résolution temporelle clics Nom du paramètre Description

10. Contruction d’un paramètre 2/2 Base locale • Des paramètres de • - différentes missions • différents instruments • avec différentes résolution • peuvent être combinés Espace utilisateur nouveau paramètre dans l’espace de travail Le nouveau paramètre est maintenant un élément virtuel de la base de données. Il sera calculé à la volée seulement quand il sera demandé pour un tracé, une recherche conditionnelle, un téléchargement

11. Les tables d’événements 1/2 • Les tables d’événements (time tables, event lists) sont une collection de temps quand quelque chose se passe ou d’intervalles quand une condition est vérifiée • Elles sont produites et gérées “manuellement” par les scientifiques pour leur usage propre ou celui d’une communauté restreinte • AMDA augmente les potentialités de ce vecteur d’information en offrant un outil générique pour créer, gérer et communiquer ces objets • Les tables d’événements peuvent être utilisées pour : • - extraire une sous base de données, • - exécuter des traitement massifs ou interactifs, • - créer des catalogues, • - servir de référence à la communauté

12. Créer une table d’événements : 1- Recherche conditionelle T/T// > 1 clics Editer une condition avec des opérateurs/fonctions mathématiques Definir un intervalle de temps ou utiliser une autre table d’événements

13. Exemple: recherche des événements de courants de queue “encerclés” par CLUSTER champ magnétique champ magnétique X coordinate Test: • X1< -10 Re • BX1 * BX2 * BX3 * BX4 > 0 • min([BX1 BX2 BX3 BX4]) < 0 • max([BX1 BX2 BX3 BX4]) > 0 •position : dans la queue magnétosphérique • 2 satellites sont au dessus de la couche de courant et 2 autres en dessous cf exposé de C. Jacquey

14. Créer une table d’événements: 2- Inspection visuelle Les intervalles intéressants sont sélectionnés par clics et ajoutés à la table d’événements

15. The time table may be edited in the user workspace

16. Time Table format Tables may be exported in VOTable format

17. VOTable latest release: Version 1.1 - August 11, 2004 VO standard and as such supported by IVOA VOTable is designed as a flexible storage and exchange format for tabular data, with particular emphasis on astronomical tables.

18. Extension des tables d’événement : catalogue • Complex tables (catalogues) may be produced with: • multiple time tags • associated parameters : average, max, min • localisation information • user supplied classification indices

19. Extension des tables d’événement : catalogue Table d’événements Paramètres statistiques, classification, temps P2 + P3 + + + + + + + + + + + + + + + + + + + Visualisation graphique : + + + + + + + + + + + + + P1 P1

20. Tables d’événements 2/2 - La description complète d’une table d’événements peut être compliquée -sources de données : origine, résolution, modes, ... -critères de sélection : mathématiques / visuels -paramétrage des méthodes utilisées (filtre temporel, modèles) -... + Les tables d’événements peuvent être un vecteur d’échanges entre centres de données et entre utilisateurs  - collaboration entre l’archive CLUSTER (CAA), CDPP et QSAS, CL - 1ère réunion : 25 et 26 février 2008 - définition : time format (ISO), table format (VOTable) - mise en place d’outils de gestion des tables d’événements : - union, intersection, extension, shift, upload - réflexion sur les catalogues

21. Time table circulation in a multi-archive environment Magnetospheric data CDPP CDAWeb CAA HR archive 2 Service 2 Time table - - - - - - AMDA Service 1 QSAS Service 3 applying delay What were the input conditions ? Solar archive Ionosphere Thermosphere archive What are the consequences ?

22. Commande de données directe à l’archive CLUSTER (CAA) CAA : à terme, archive de toutes les données haute résolution de CLUSTER

23. Connexion à des bases externes 1. Lorsqu’une base est connectée à AMDA toutes les données de la base peuvent être visibles dans AMDA (FTP, WebService) 2. L’utilisateur définit le groupe de paramètres de la base externe qu’il veut analyser (Interface de construction d’arbre) 3. A la volée, les paramètres sont directement intégrés dans AMDA afin d’être manipulés comme des paramètres de la base locale L’utilisateur peut se construire facilement sa base de données personnelle à partir de bases existantes base 1 base utilisateur base 2

24. Interface de construction de l’arbre de données extérieures Arbre des données choisies par l’utilisateur Base externe • mise à jour quotidienne des données disponibles sur les bases distantes • - pas de notion de fichier pour l’utilisateur • - AMDA peut fonctionner sans base locale •  intégration dans les Observatoires Virtuels

25. Arbre de données extérieures Base locale • Extrait de la base externe • Les paramètres sont disponibles pour des tracés, la recherche conditionnelle, ... à la volée, ce qui implique : • le téléchargement des données (par bloc de 3j min) • la transformation de format • la création du paramètre AMDA

26. Bases accessibles à travers AMDA • Actuellement : • CDAWeb (multi-missions) • MAPSKP (Cassini: MAG/CAPS/RPWS/TRAJ, démonstrateur Europlanet) • Prochainement : • Themis (base miroir au CESR) • Cluster Active Archive (CAA) • SKR (Cassini: RPWS/HFR) • Venus Express (champ magnétique)

27. Connexion à des bases externes MAPSKP AMDA Constructeur de paramètres CDPP Système CDAWeb Base locale others Connecteur « maison » Connecteur standardisé = méthodes de requête (SOAP) + description des données (SPASE, IVOA)

28. Production scientifique avec AMDA • Analyses statistiques multi-missions • • Principe d’utilisation • Définition d’un critère sélectif sur les données • Critère mathématique • Critère visuel • Création de table d’événements • Itération avec combinaison possible de critères • Extraction des données et travail hors-ligne • • Exemples • Multi-mission study of plasma sheet conditions minutes before substorm onsets (Jacquey et al.) • The active plasma sheet: definition of 'events' and statistical analysis (Louarn et al.) • Statistical study of Alfvénic fluctuations in the Earth magnetosheath (Alexandrova et al.) • Statistical study of mirror mode fluctuations in the Earth magnetosheath (Génot et al.) • • Collaborations • Visites scientifiques au CDPP • Organisation d’ateliers : - Themis (novembre 2007) • - magnétogaine (courant 2008)

29. Total number of 5 min magnetosheath crossings Statistics of mirror mode events in the Earth’s magnetosheath Génot et al. 2008 shock F=1 magnetopause F=1 F=0 Relative number of mirror mode events F=0

30. EGU General AssemblyVienna, Austria, 15-20 April 2007 Statistical study of Alfvénic fluctuations in the Earth magnetosheath shock O. Alexandrova(1), E. Budnik(2), V. Génot(2), C. Lacombe(1), C. Jacquey(2), I. Dandouras(2), E. Lucek(3) (1)LESIA/CNRS, Observatoire de Paris, France (2)CESR/CNRS, Toulouse, France (3)Imperial College, London, UK magnetopause Condition = AB>1

31. ... other ways to make science with AMDA • 1/ Multi-mission study of plasma sheet conditions minutes before substorm onsets (Jacquey et al.) : • - 25 years of data : ISEE, IMP, IRM, POLAR, GEOTAIL, WIND, ACE, CLUSTER • combined approach: • automatic search = mathematical description of the temporal change in the AL index • semi automatic = visual inspection to classify cases in different catalogues • 2/ The active plasma sheet: definition of 'events' and statistical analysis (Louarn et al., 2006, ICS8) • - define conditions : a lower threshold for the low frequency magnetic fluctuations and a minimal duration for each events • produce time tables accordingly • download a wide (resampled) dataset and work offline

32. Actions dans le cadre de Europlanet / FP6 • Registry : • Description SPASE of several planetary plasma data (MAPSKP, VEX, MEX) • Building a registry • Building a search engine • Goals: demonstration and experimentation (standard versus user requirements, SPASE extensions, …) • Démonstrateur scientifique: • Based on AMDA • Using distant data (MAPSKP, VEX-MAG, HST) and local data • High level tools and functionalities • Goals: demonstration and experimentation

33. cdpp-amda.cesr.fr • AMDA est un outil au service de la communauté • vos commentaires, critiques et contributions sont les bienvenus ... • ... et même nécessaires ! - amda@cesr.fr - forum (lien “feedback” à partir de l’interface web) - twiki (contributions aux nouvelles fonctionnalités par ex.) - contact avec le CU (présidé par J.L. Pinçon) • permet de définir les priorités de développement scientifique en accord avec le CU • en interne, permet de définir les évolutions d’architecture nécessaire • Démonstration d’AMDA à la session poster • Si le réseau fonctionne • Si tout le monde n’est pas connecté en même temps !

34. ...

35. Application du démonstrateur sur le cas scientifique“Solar wind / saturn magnetosphere interaction and auroras” Request Prototype de ‘Registry’ Recherche de la localisation de la resource (MAPSKP, HST aurora, VEX, ACE) Base locale MAPSKP user Access, extraction of the targeted data (distant or local) Integrated analysis VEX-MAG Graz HST AMDA/Planéto

36. AMDA-NG • AMDA “refactoring” • Modularisation • Documentation • Fiabilisation • Fonctionnement “universel” (indépendent de la plate-forme, de l‘OS, du navigateur, …) • Mise en place de nouvelles fonctions • Fonctions temporelles • Time-Table Manager • Fonctions physiques • … • Développement des capacités d’interopérabilité d’AMDA • SPASE-based connector • IVOA-based connector • Time-Table exchange

37. Architecture d’AMDA

38. Contexte national • - Mission du CDPP : valoriser les données de missions satellites françaises ou à participation française dans le domaine de la physique des plasmas • - Pour dynamiser l’utilisation du centre : nécessité de dépasser le cadre de la “simple” archive • développement d’un outil au service de la communauté • Contexte international • - Les observatoires virtuels en physique spatiale sont balbutiants • Implication du CDPP dès l’origine dans la mise au point de standard (modèle de données SPASE) • Implication dans Europlanet •  “On peut se mettre dans la course”

39. An example of registry for space physics: VSPO http://vspo.gsfc.nasa.gov/websearch/dispatcher