1 / 53

Les standards de l’OV, supports de l’interopérabilité

Les standards de l’OV, supports de l’interopérabilité. thomas.boch at astro.unistra.fr. Thomas Boch [CDS]. Interopérabilité. “Capacité que possède un système à fonctionner avec d’autres systèmes” S’appuie sur la définition et le respect d’un ou plusieurs standards Exemples d’interopérabilité

zada
Download Presentation

Les standards de l’OV, supports de l’interopérabilité

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Les standards de l’OV,supports de l’interopérabilité thomas.boch at astro.unistra.fr Thomas Boch [CDS] T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  2. Interopérabilité • “Capacité que possède un système à fonctionner avec d’autres systèmes” • S’appuie sur la définition et le respect d’un ou plusieurs standards • Exemples d’interopérabilité • Interopérabilité ferroviaire • Standards : écartement des rails, signalisation, électrification • Interopérabilité électrique • 230V / 50Hz T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  3. Interopérabilité des clients de messagerie Simple Mail Transfer Protocol (RFC 821) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  4. Avant l’OV Slide courtesy of Pedro Osuna (ESAC) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  5. Utilisation des standards OV Slide courtesy of Pedro Osuna (ESAC) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  6. IVOA • Alliance des différents projets OV nationaux, qui a la responsabilité de discuter et d’édicter les standards de l’OV • Réparti en working groups : • Data Access Layer • Semantics • Data Models • Grid & Web Services • VOEvent • VOTable • Registry • Applications • VO Query Language T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  7. IVOA (suite) • Discussions par mailing-lists • Archives consultables : http://ivoa.net/forum/ • 2 réunions “Interop” par an (mi-mai et octobre/novembre) • Prochaine réunion : Garching, 9-13 novembre 2009 • http://ivoa.net/ T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  8. Use case : recherche d’images Liste d’URLsde services images (SIAP) Client OV Registry OV Images FITS Liste (en VOTable)des images disponibles Service SIAP ESO Service SIAP VO-Paris Service SIAP SDSS Service SIAP … Services SIAP T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  9. FITS • Flexible Image Transport System • LE standard de données en astronomie • Métadonnées et données regroupées dans un même fichier • Largement utilisé dans l’OV (images, tables, spectres) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  10. VOTable • Standard d’échange des données tabulaires • http://ivoa.net/Documents/latest/VOT.html • Le premier standard de l’OV • Utilisé par de nombreux autres standards OV • Conteneur flexible, compatible avec les tables FITS • Formalisme XML contraint par un XML schema • Un fichier VOTable est constitué de : • Métadonnées, décrivant les données (type, unité, etc) • Données (différents formats possibles) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  11. Modèle de données de VOTable • VOTable = hierarchy of Metadata + associated TableData, arranged as a set of Tables • Metadata = Parameters + Infos + Descriptions + Links + Fields + Groups • Table = list of Fields + TableData • TableData = stream of Rows • Row = list of Cells • Cell = Primitiveor variable-length list of Primitives or multidimensional array of Primitives • Primitive = integer, character, float, floatComplex, etc T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  12. Structure d’undocument VOTable T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  13. Elément <TABLE> • Contient : • tag <DESCRIPTION> • Collection de : • <FIELD> : description d’une colonne • <PARAM> : description d’une valeur constante • <GROUP> : associe de manière logique des FIELDs ou PARAMs connectés • <DATA> : ensemble de lignes de données. Contient les valeurs des FIELD définis auparavant T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  14. Elément <FIELD> • Décrit une colonne d’une table • Peut contenir des tags <DESCRIPTION>, <LINK> et <VALUES> (domaine de définition d’une colonne) • Attributs : • ID : identifie le champ. Requis si le champ doit être référencé par ailleurs • name • datatype : est-ce un entier, un flottant, une chaine de caractères ? • arraysize : nombre d’éléments du tableau • width et precision : information sur la précision et le format de la donnée T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  15. Elément <FIELD> (suite) • unit : unité dans laquelle est exprimée la quantité décrite • ucd : Unified Content Descriptor. Marqueur sémantique décrivant la quantité physique (eg: pos.eq.ra) • utype : pointeur vers un modèle de données externe (eg: ) • ref : référence vers un autre élement du document Exemple: <GROUP ID="J2000" utype="stc:AstroCoords"> <PARAM utype="stc:AstroCoords.coord_system_id" value="UTC-ICRS-TOPO” … /> … </GROUP> <FIELD name="RA" ID="col1" ucd="pos.eq.ra;meta.main" ref="J2000" … /> T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  16. Elément <DATA> • Un seul élément <DATA> par <TABLE> • 3 sérialisations possibles des données : • TABLEDATA : table XML • FITS <DATA><FITS extnum="2"> <STREAM encoding="gzip” href="ftp://archive.cacr.caltech.edu/myfile.fit.gz"/> </FITS></DATA> • BINARY T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  17. Exemple de VOTable Définition système de cordonnées Métadonnées Données T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  18. Registry • Pages jaunes, annuaire de l’OV • http://www.ivoa.net/cgi-bin/twiki/bin/view/IVOA/IvoaResReg • Décrit les ressources disponibles au sein de l’OV • Permet : • De localiser • D’avoir des informations • D’interroger toute ressource OV disponible T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  19. Caractéristiques du registry IVOA • Architecture distribuée • Interrogeable de différentes manières • Types de ressources est extensible • Ressources identifiées par un identifiant unique: • ivo://org.astrogrid/dsa/myCatalogue protocole Clé de la ressource Instance responsable(“authority”) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  20. Types de ressources publiables T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  21. Registries en production T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  22. Différents types de registres • Publishing Registry : • un registry publiant uniquement les ressources XML qu’il gère (eg: le registry CDS gère les ressource relatives à VizieR et Simbad) • est “harvesté” par les full registries • n’a pas d’interface de recherche • Full Registry : • contient l’ensemble des ressources • Propose une interface de recherche et de harvesting T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  23. Harvesting • Réplication de ressources d’un registry à un autre • Basé sur le protocole OAI • Open Archive Initiative : permet l’échange de métadonnées entre différents fournisseurs de services/données (origine : centres documentaires, bibliothèques) • http://www.openarchives.org/ T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  24. Interrogation d’un registry • Plusieurs possibilités : • Par mot-clé • Sous-ensemble d’ADQL • Xquery (optionnel) • Interrogation possible via Web service SOAP • La plupart des implémentations proposent un formulaire Web d’interrogation, mais on accède généralement aux registries de façon transparente via un client VO (Topcat, Aladin, VODesktop, etc) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  25. Les standards d’accès aux données • Définis au sein du working group DAL (Data Access Layer) • Accès via HTTP • Cone Search : protocole très simple d’accès aux données tabulaires • Standards S*AP : processus de requête en 2 temps : • Récupération d’une liste décrivant données disponibles correspondant aux paramètres désirés (eg: liste des images pour M81) • Choix et récupération d’une ou plusieurs données • TAP : protocole évolué d’accès aux tables T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  26. Cone Search • Protocole simple d’accès aux catalogues astronomiques comportant des positions • Paramètres en entrée : • ‘RA’ (en degrés décimaux) • ‘DEC’ (en degrés décimaux) • ‘SR’ (rayon de recherche en degrés) • En sortie : VOTable contenant au moins 3 champs : • 1 avec ucd=“POS_EQ_RA_MAIN” (asc. droite) • 1 avec ucd=“POS_EQ_DEC_MAIN” (declinaison) • 1 avec ucd=“ID_MAIN” (identifiant principal) • Exemple :http://simbad.u-strasbg.fr/simbad/sim-cone? T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  27. Protocoles S*AP • SIAP (images), SSAP (spectres), SLAP (lignes atomiques et moléculaires) • Requête en 2 temps : • Etape 1 : on récupère un VOTable contenant une liste d’items (métadonnées + URL) correspondants aux paramètres demandés • Etape 2 : récupération des items désirée • Standardisation • Des paramètres de la requête • Des champs dans le VOTable résultat T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  28. SIAP • Simple Image Access Protocol • http://www.ivoa.net/Documents/latest/SIA.html • Paramètres de la requête : • Obligatoires : POS (position sur le ciel) et SIZE (taille de l’image désirée/rayon de recherche) • FORMAT (image/fits, image/jpeg, …) • Autres paramètres spécifiques au service (FORMAT=METADATA) • VOTable résultat : • Champs obligatoires • Nom de l’image (ucd=“VOX:Image_Title”) • URL d’accès à l’image décrite (ucd=“VOX:Image_AccessReference”) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  29. SIAP (suite) • Ascension droite et déclinaison du centre de l’image (ucd=“POS_EQ_RA_MAIN”, ucd=“POS_EQ_DEC_MAIN” • Format de l’image (ucd=“VOX:Image_Format”) • Paramètre WCS : • NAXES • NAXIS • Image scale • Champs facultatifs : date de l’observation, bande spectrale, paramètres WCS complémentaires • Démo : accès au service SIAP SDSS DR7 depuis Aladin T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  30. SSAP • Simple Spectral Access Protocol • http://www.ivoa.net/Documents/latest/SSA.html • Paramètres de la requête : • POS, SIZE : similaires aux params SIAP • TIME : requête sur un intervalle temporel • BAND : requête sur un intervalle de longueurs d’onde • Résolution spatiale, résolution spectrale • VOTable résultat : • Pointeur (URL) pour charger le spectre • infos sur l’identification du dataset • infos sur le curator • … T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  31. SSAP (suite) • Amélioration par rapport à SIA : • Requêtes non positionnelles sont possibles (eg : liste des spectres entre 500 et 5000nm) • S’appuie sur un véritable data model • Métadonnées exprimables dans le VOTable résultat très riches • Références au data model Spectrum se font via les attributs utype du Votable résultat • Est utilisé pour l’accès aux spectres théoriques • Exemple de requête : http://archive.stsci.edu/ssap/search2.php?id=HUT&amp;&FORMAT=METADATA T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  32. SLAP • Simple Line Access Protocol • http://www.ivoa.net/Documents/SLAP/20090714/ • S’appuie sur le data model Atomic and Molecular Line (http://www.ivoa.net/cgi-bin/twiki/bin/view/IVOA/SpectralLineLists ) • Requête minimale : • WAVELENGTH=<intervalle de longueurs d’onde> • Paramètres supplémentaires : • CHEMICAL_ELEMENT, INITIAL_ENERGY_LEVEL, FINAL_ENERGY_LEVEL, TEMPERATURE, EINSTEIN_A, PROCESS_TYPE, PROCESS_NAME T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  33. SLAP (suite) • Résultat • VOTable contenant la liste des lignes atomiques et moléculaires correspondant aux paramètres d’entrée • Au minimum : nom et longueur d’onde de chaque ligne T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  34. T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  35. TAP • Table Access Protocol • Protocole évolué d’accès à des collections de tables astronomiques • En discussion au niveau IVOA • Mécanisme de découverte de structure des tables exposées (description des champs, liens entre les tables, clés primaires, etc) • Permet à un client d’effectuer des recherches sophistiquées : • Non limitées à la position (contraintes possibles sur n’importe quel champ) • Jointures sur différentes tables T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  36. TAP (suite) • Requêtes synchrones ou asynchrones (utile pour requêtes longues) • Possibilité d’upload pour requêtes multi-positions (par liste) • Pas encore d’implémentations en production • 2 languages de requêtes • Parameter based Query Langage (le plus simple) • ADQL (Astronomical Data Query Language : SQL avec extensions spécifiques à l’astronomie) --> le plus complet T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  37. Requête Parameter-Based • FROM=TAP_SCHEMA.tables&POS=180.0,1.0&SIZE=1.0 • Demande la liste des tables ayant des données à une position donnée • FROM=fp_psc&POS=180.0,0&SIZE=0.2&WHERE=j_m,/10.0 • Demande la liste des objets de la table fp_psc à une position donnée et ayant la magnitude j_m < 10 T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  38. Requêtes ADQL • Source : documentation AstroGrid • Standard ADQL : http://www.ivoa.net/Documents/cover/ADQL-20081030.html T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  39. Data Models • Le working group Data Model a la charge de modéliser les métadonnées permettant la description de données observées ou simulées. • Ces modèles de données sont ensuite repris et utilisés par les autres standards (protocoles DAL, registry, etc) • Exemples de Data Models : • STC , Space Time Coordinates • Décrit les coordonnées spatiales et temporelles • Spectrum Data Model T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  40. STC • STC est repris dans VOTable pour préciser le système de coordonnées utilisé T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  41. Spectrum Data Model • Repris partiellement dans SSAP T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  42. Métadonnées, UCDs, Utypes, … • Les métadonnées : • Décrivent le contenu des pixels/tables/spectres • Sont utilisés pour localiser/rechercher des ensembles de données • Sont généralement beacoup moins volumineuses que les données T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  43. T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  44. Caractérisation d’une quantité • Vélocité héliocentrique radiale = 1234.56km/s • Cette quantité est constituée : • d’un UCD (spect.dopplerVeloc;pos.heliocentric) • d’une valeur (1234.56) • avec un type de données (float) • et un format (%7.2f) • d’une unité (km/s) • Tous ces élements peuvent être renseignés dans un <FIELD> ou un <PARAM T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  45. UCDs • Description sémantique des quantités • Vocabulaire controlé : un document définit la liste des mots possibles • eg : ceci est une ascension droite :ucd=“pos.eq.ra” • Utilisés dans : • VOTable (FIELD, PARAM) • Description des tables dans le Registry • Elément PARAM dans VOEvent • Applications (les filtres dans Aladin par exemple) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  46. UCDs (suite) • Standard • http://ivoa.net/Documents/latest/UCD.html • http://ivoa.net/Documents/latest/UCDlist.html • Outils • http://cdsweb.u-strasbg.fr/UCD/ • Le premier mot comporte l’essentiel du sens : • phot.mag;em.opt.V T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  47. Unités • Pas encore un standard de l’OV (en cours de discussion) • Progrès dans la description des unités • http://ivoa.net/cgi-bin/twiki/bin/view/IVOA/UnitsDesc • Suit les recommendations de l’IAU • Service en ligne • http://vizier.u-strasbg.fr/cgi-bin/Unit • http://vizier.u-strasbg.fr/cgi-bin/Unit?%3F • Bibliothèque de conversion • http://cdsweb.u-strasbg.fr/cdsdevcorner/units.gml T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  48. UTypes • Utypes : pointeurs vers des modèles de données spécifiques • utype=“stc:AstroCoords.TimeInstant.ISOTime” • utype=“stc:AstroCoordSystem.CoordFrame.CoordRefPos.Position2D.Value2.C1” T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  49. Métadonnées dans le Registry • Description des ressources : • Curation • Subject • Coverage (spatial, spectral) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

  50. Arbre de métadonnées T. Boch - Journée OV - Bordeaux - 24 Septembre 2009

More Related