530 likes | 719 Views
Les standards de l’OV, supports de l’interopérabilité. thomas.boch at astro.unistra.fr. Thomas Boch [CDS]. Interopérabilité. “Capacité que possède un système à fonctionner avec d’autres systèmes” S’appuie sur la définition et le respect d’un ou plusieurs standards Exemples d’interopérabilité
E N D
Les standards de l’OV,supports de l’interopérabilité thomas.boch at astro.unistra.fr Thomas Boch [CDS] T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Interopérabilité • “Capacité que possède un système à fonctionner avec d’autres systèmes” • S’appuie sur la définition et le respect d’un ou plusieurs standards • Exemples d’interopérabilité • Interopérabilité ferroviaire • Standards : écartement des rails, signalisation, électrification • Interopérabilité électrique • 230V / 50Hz T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Interopérabilité des clients de messagerie Simple Mail Transfer Protocol (RFC 821) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Avant l’OV Slide courtesy of Pedro Osuna (ESAC) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Utilisation des standards OV Slide courtesy of Pedro Osuna (ESAC) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
IVOA • Alliance des différents projets OV nationaux, qui a la responsabilité de discuter et d’édicter les standards de l’OV • Réparti en working groups : • Data Access Layer • Semantics • Data Models • Grid & Web Services • VOEvent • VOTable • Registry • Applications • VO Query Language T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
IVOA (suite) • Discussions par mailing-lists • Archives consultables : http://ivoa.net/forum/ • 2 réunions “Interop” par an (mi-mai et octobre/novembre) • Prochaine réunion : Garching, 9-13 novembre 2009 • http://ivoa.net/ T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Use case : recherche d’images Liste d’URLsde services images (SIAP) Client OV Registry OV Images FITS Liste (en VOTable)des images disponibles Service SIAP ESO Service SIAP VO-Paris Service SIAP SDSS Service SIAP … Services SIAP T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
FITS • Flexible Image Transport System • LE standard de données en astronomie • Métadonnées et données regroupées dans un même fichier • Largement utilisé dans l’OV (images, tables, spectres) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
VOTable • Standard d’échange des données tabulaires • http://ivoa.net/Documents/latest/VOT.html • Le premier standard de l’OV • Utilisé par de nombreux autres standards OV • Conteneur flexible, compatible avec les tables FITS • Formalisme XML contraint par un XML schema • Un fichier VOTable est constitué de : • Métadonnées, décrivant les données (type, unité, etc) • Données (différents formats possibles) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Modèle de données de VOTable • VOTable = hierarchy of Metadata + associated TableData, arranged as a set of Tables • Metadata = Parameters + Infos + Descriptions + Links + Fields + Groups • Table = list of Fields + TableData • TableData = stream of Rows • Row = list of Cells • Cell = Primitiveor variable-length list of Primitives or multidimensional array of Primitives • Primitive = integer, character, float, floatComplex, etc T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Structure d’undocument VOTable T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Elément <TABLE> • Contient : • tag <DESCRIPTION> • Collection de : • <FIELD> : description d’une colonne • <PARAM> : description d’une valeur constante • <GROUP> : associe de manière logique des FIELDs ou PARAMs connectés • <DATA> : ensemble de lignes de données. Contient les valeurs des FIELD définis auparavant T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Elément <FIELD> • Décrit une colonne d’une table • Peut contenir des tags <DESCRIPTION>, <LINK> et <VALUES> (domaine de définition d’une colonne) • Attributs : • ID : identifie le champ. Requis si le champ doit être référencé par ailleurs • name • datatype : est-ce un entier, un flottant, une chaine de caractères ? • arraysize : nombre d’éléments du tableau • width et precision : information sur la précision et le format de la donnée T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Elément <FIELD> (suite) • unit : unité dans laquelle est exprimée la quantité décrite • ucd : Unified Content Descriptor. Marqueur sémantique décrivant la quantité physique (eg: pos.eq.ra) • utype : pointeur vers un modèle de données externe (eg: ) • ref : référence vers un autre élement du document Exemple: <GROUP ID="J2000" utype="stc:AstroCoords"> <PARAM utype="stc:AstroCoords.coord_system_id" value="UTC-ICRS-TOPO” … /> … </GROUP> <FIELD name="RA" ID="col1" ucd="pos.eq.ra;meta.main" ref="J2000" … /> T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Elément <DATA> • Un seul élément <DATA> par <TABLE> • 3 sérialisations possibles des données : • TABLEDATA : table XML • FITS <DATA><FITS extnum="2"> <STREAM encoding="gzip” href="ftp://archive.cacr.caltech.edu/myfile.fit.gz"/> </FITS></DATA> • BINARY T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Exemple de VOTable Définition système de cordonnées Métadonnées Données T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Registry • Pages jaunes, annuaire de l’OV • http://www.ivoa.net/cgi-bin/twiki/bin/view/IVOA/IvoaResReg • Décrit les ressources disponibles au sein de l’OV • Permet : • De localiser • D’avoir des informations • D’interroger toute ressource OV disponible T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Caractéristiques du registry IVOA • Architecture distribuée • Interrogeable de différentes manières • Types de ressources est extensible • Ressources identifiées par un identifiant unique: • ivo://org.astrogrid/dsa/myCatalogue protocole Clé de la ressource Instance responsable(“authority”) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Types de ressources publiables T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Registries en production T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Différents types de registres • Publishing Registry : • un registry publiant uniquement les ressources XML qu’il gère (eg: le registry CDS gère les ressource relatives à VizieR et Simbad) • est “harvesté” par les full registries • n’a pas d’interface de recherche • Full Registry : • contient l’ensemble des ressources • Propose une interface de recherche et de harvesting T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Harvesting • Réplication de ressources d’un registry à un autre • Basé sur le protocole OAI • Open Archive Initiative : permet l’échange de métadonnées entre différents fournisseurs de services/données (origine : centres documentaires, bibliothèques) • http://www.openarchives.org/ T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Interrogation d’un registry • Plusieurs possibilités : • Par mot-clé • Sous-ensemble d’ADQL • Xquery (optionnel) • Interrogation possible via Web service SOAP • La plupart des implémentations proposent un formulaire Web d’interrogation, mais on accède généralement aux registries de façon transparente via un client VO (Topcat, Aladin, VODesktop, etc) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Les standards d’accès aux données • Définis au sein du working group DAL (Data Access Layer) • Accès via HTTP • Cone Search : protocole très simple d’accès aux données tabulaires • Standards S*AP : processus de requête en 2 temps : • Récupération d’une liste décrivant données disponibles correspondant aux paramètres désirés (eg: liste des images pour M81) • Choix et récupération d’une ou plusieurs données • TAP : protocole évolué d’accès aux tables T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Cone Search • Protocole simple d’accès aux catalogues astronomiques comportant des positions • Paramètres en entrée : • ‘RA’ (en degrés décimaux) • ‘DEC’ (en degrés décimaux) • ‘SR’ (rayon de recherche en degrés) • En sortie : VOTable contenant au moins 3 champs : • 1 avec ucd=“POS_EQ_RA_MAIN” (asc. droite) • 1 avec ucd=“POS_EQ_DEC_MAIN” (declinaison) • 1 avec ucd=“ID_MAIN” (identifiant principal) • Exemple :http://simbad.u-strasbg.fr/simbad/sim-cone? T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Protocoles S*AP • SIAP (images), SSAP (spectres), SLAP (lignes atomiques et moléculaires) • Requête en 2 temps : • Etape 1 : on récupère un VOTable contenant une liste d’items (métadonnées + URL) correspondants aux paramètres demandés • Etape 2 : récupération des items désirée • Standardisation • Des paramètres de la requête • Des champs dans le VOTable résultat T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
SIAP • Simple Image Access Protocol • http://www.ivoa.net/Documents/latest/SIA.html • Paramètres de la requête : • Obligatoires : POS (position sur le ciel) et SIZE (taille de l’image désirée/rayon de recherche) • FORMAT (image/fits, image/jpeg, …) • Autres paramètres spécifiques au service (FORMAT=METADATA) • VOTable résultat : • Champs obligatoires • Nom de l’image (ucd=“VOX:Image_Title”) • URL d’accès à l’image décrite (ucd=“VOX:Image_AccessReference”) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
SIAP (suite) • Ascension droite et déclinaison du centre de l’image (ucd=“POS_EQ_RA_MAIN”, ucd=“POS_EQ_DEC_MAIN” • Format de l’image (ucd=“VOX:Image_Format”) • Paramètre WCS : • NAXES • NAXIS • Image scale • Champs facultatifs : date de l’observation, bande spectrale, paramètres WCS complémentaires • Démo : accès au service SIAP SDSS DR7 depuis Aladin T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
SSAP • Simple Spectral Access Protocol • http://www.ivoa.net/Documents/latest/SSA.html • Paramètres de la requête : • POS, SIZE : similaires aux params SIAP • TIME : requête sur un intervalle temporel • BAND : requête sur un intervalle de longueurs d’onde • Résolution spatiale, résolution spectrale • VOTable résultat : • Pointeur (URL) pour charger le spectre • infos sur l’identification du dataset • infos sur le curator • … T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
SSAP (suite) • Amélioration par rapport à SIA : • Requêtes non positionnelles sont possibles (eg : liste des spectres entre 500 et 5000nm) • S’appuie sur un véritable data model • Métadonnées exprimables dans le VOTable résultat très riches • Références au data model Spectrum se font via les attributs utype du Votable résultat • Est utilisé pour l’accès aux spectres théoriques • Exemple de requête : http://archive.stsci.edu/ssap/search2.php?id=HUT&&FORMAT=METADATA T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
SLAP • Simple Line Access Protocol • http://www.ivoa.net/Documents/SLAP/20090714/ • S’appuie sur le data model Atomic and Molecular Line (http://www.ivoa.net/cgi-bin/twiki/bin/view/IVOA/SpectralLineLists ) • Requête minimale : • WAVELENGTH=<intervalle de longueurs d’onde> • Paramètres supplémentaires : • CHEMICAL_ELEMENT, INITIAL_ENERGY_LEVEL, FINAL_ENERGY_LEVEL, TEMPERATURE, EINSTEIN_A, PROCESS_TYPE, PROCESS_NAME T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
SLAP (suite) • Résultat • VOTable contenant la liste des lignes atomiques et moléculaires correspondant aux paramètres d’entrée • Au minimum : nom et longueur d’onde de chaque ligne T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
TAP • Table Access Protocol • Protocole évolué d’accès à des collections de tables astronomiques • En discussion au niveau IVOA • Mécanisme de découverte de structure des tables exposées (description des champs, liens entre les tables, clés primaires, etc) • Permet à un client d’effectuer des recherches sophistiquées : • Non limitées à la position (contraintes possibles sur n’importe quel champ) • Jointures sur différentes tables T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
TAP (suite) • Requêtes synchrones ou asynchrones (utile pour requêtes longues) • Possibilité d’upload pour requêtes multi-positions (par liste) • Pas encore d’implémentations en production • 2 languages de requêtes • Parameter based Query Langage (le plus simple) • ADQL (Astronomical Data Query Language : SQL avec extensions spécifiques à l’astronomie) --> le plus complet T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Requête Parameter-Based • FROM=TAP_SCHEMA.tables&POS=180.0,1.0&SIZE=1.0 • Demande la liste des tables ayant des données à une position donnée • FROM=fp_psc&POS=180.0,0&SIZE=0.2&WHERE=j_m,/10.0 • Demande la liste des objets de la table fp_psc à une position donnée et ayant la magnitude j_m < 10 T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Requêtes ADQL • Source : documentation AstroGrid • Standard ADQL : http://www.ivoa.net/Documents/cover/ADQL-20081030.html T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Data Models • Le working group Data Model a la charge de modéliser les métadonnées permettant la description de données observées ou simulées. • Ces modèles de données sont ensuite repris et utilisés par les autres standards (protocoles DAL, registry, etc) • Exemples de Data Models : • STC , Space Time Coordinates • Décrit les coordonnées spatiales et temporelles • Spectrum Data Model T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
STC • STC est repris dans VOTable pour préciser le système de coordonnées utilisé T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Spectrum Data Model • Repris partiellement dans SSAP T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Métadonnées, UCDs, Utypes, … • Les métadonnées : • Décrivent le contenu des pixels/tables/spectres • Sont utilisés pour localiser/rechercher des ensembles de données • Sont généralement beacoup moins volumineuses que les données T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Caractérisation d’une quantité • Vélocité héliocentrique radiale = 1234.56km/s • Cette quantité est constituée : • d’un UCD (spect.dopplerVeloc;pos.heliocentric) • d’une valeur (1234.56) • avec un type de données (float) • et un format (%7.2f) • d’une unité (km/s) • Tous ces élements peuvent être renseignés dans un <FIELD> ou un <PARAM T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
UCDs • Description sémantique des quantités • Vocabulaire controlé : un document définit la liste des mots possibles • eg : ceci est une ascension droite :ucd=“pos.eq.ra” • Utilisés dans : • VOTable (FIELD, PARAM) • Description des tables dans le Registry • Elément PARAM dans VOEvent • Applications (les filtres dans Aladin par exemple) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
UCDs (suite) • Standard • http://ivoa.net/Documents/latest/UCD.html • http://ivoa.net/Documents/latest/UCDlist.html • Outils • http://cdsweb.u-strasbg.fr/UCD/ • Le premier mot comporte l’essentiel du sens : • phot.mag;em.opt.V T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Unités • Pas encore un standard de l’OV (en cours de discussion) • Progrès dans la description des unités • http://ivoa.net/cgi-bin/twiki/bin/view/IVOA/UnitsDesc • Suit les recommendations de l’IAU • Service en ligne • http://vizier.u-strasbg.fr/cgi-bin/Unit • http://vizier.u-strasbg.fr/cgi-bin/Unit?%3F • Bibliothèque de conversion • http://cdsweb.u-strasbg.fr/cdsdevcorner/units.gml T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
UTypes • Utypes : pointeurs vers des modèles de données spécifiques • utype=“stc:AstroCoords.TimeInstant.ISOTime” • utype=“stc:AstroCoordSystem.CoordFrame.CoordRefPos.Position2D.Value2.C1” T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Métadonnées dans le Registry • Description des ressources : • Curation • Subject • Coverage (spatial, spectral) T. Boch - Journée OV - Bordeaux - 24 Septembre 2009
Arbre de métadonnées T. Boch - Journée OV - Bordeaux - 24 Septembre 2009