Image Processing and Scientific Workflows in the VO context

1. Image Processing and Scientific Workflowsin the VO context Observatoire de Strasbourg (CDS) : A. Schaaff, J.J. Claudon Observatoire de la Cote d’Azur : E. Slezak Action Spécifique Observatoires Virtuels France E. Slezak – IAU 26th GA – SPS 3b session VIII

2. VO Science Cases(from the AstroGrid Top Ten Science Drivers) • Physical processes within the solar corona ; • Comparaisons between solar and stellar flares ; • Brown Dwarf selections ; • Supernova galaxy environments ; • Detection of low surface brightness galaxies ; • Deep extragalactic field surveys ; • Locating clusters of galaxies at a range of redshift ; • Discovery of high redshift quasars. Added-value of federated information E. Slezak – IAU 26th GA – SPS 3b session VIII

3. Some Relevant Queries • Analysis of catalogues – cross-matches between catalogues (multiple or lack of counterparts) ;  spectral energy distribution, photometric redshifts – departures from homogeneity, hierarchical relationships ; – matched filters related to a given regularity in some properties ; – comparaisons to models and access to databases (images, spectra). •Analysis of multispectral images from various detectors – optimal detection for objects with a more or less well-known shape ; – variable background, overlapping objects, with a hierarchy of features – noise characteristics, sampling, resolution, magnitude limit, consistency between measures in different bands, mosaics. > mixed queries < e.g. QSO host galaxies & BH masses E. Slezak – IAU 26th GA – SPS 3b session VIII

4. but one has to cope with reality ... • The description levels of the data quality and of their calibration vary a lot across the databases ; • Merging such heterogeneous data is tedious ; • The quantity of pixels increases exponentially ; • Any multi-source multi- data set is intrinsically complex ; > dedicated algorithms and processing methods are required < > which can operate on (distributed) large data sets < > user-tunable analysis pipelines must be available < E. Slezak – IAU 26th GA – SPS 3b session VIII

5. Objectives : – defining use cases of general interest (images, spectra, simulations) ; – identifying the simplest workflow structure allowing portability ; – suggesting and evaluate solutions for designing and exploiting such workflows (eg. WebCom-G, AstroGrid, AIDA) Workflow- our definition : sequence of tasks executed within a controlled context by an archictecture taking into account VO standards The OV-France workflow WG. Action Spécifique Observatoires Virtuels France Observatoires de Strasbourg, de Paris, de Lyon, de la Côte d’Azur, Laboratoire d’Astrophysique de Marseille http://www.france-ov.org/twiki/bin/view/GROUPEStravail/Workflow start : 2005 E. Slezak – IAU 26th GA – SPS 3b session VIII

6. 1)Dimensionality reduction • select or build variables carrying relevant information • choice of a noise model – (non-) linear global techniques vs. hidden low-D sub-spaces identification – 2)Data segmentation • model selection (cf. sparse representation) • choice of the metrics ; PDFs estimation – (un-)supervised methods, w/ or w/out hierarchical scheme, fuzzy/hard partitioning – Multivariate Image Analysis • multidimensional natural data are complex • (non-gaussianity, inherent sparsity, hidden correlations) 3)Primitives extraction and classification E. Slezak – IAU 26th GA – SPS 3b session VIII

7. 1) Objectives combine in an optimal way all the data into a single model preserveall the information from the initial data set enhance the quality of the final output (denoising, spatial and/or spectral super-resolution) 2) Strategy • a group of 2D images of the same field ; • a set of spectra ; • a tridimensional data cube. x 3) Tactic eg. co-addition : chi2 image vs. probabilistic approach • • posterior marginal : P(X Y) P(X,Y, , ) d d Multisource Data Fusion E. Slezak – IAU 26th GA – SPS 3b session VIII

8. Data Analysis Systems > capitalisation of the knowledge about the use of programs < > available for users not specialised in the domain < request on the data (goal)  result (objective) 1) Use of a library of programs a unique way to configure and execute programs graphical construction of a fixed sequence of algorithms AIDA Application Computational ressources : GRID5000, EGEE 2) Knowledge-based program supervision system(eg. PEGASE engine /INRIA) automate the configuration of programs using operators and rules E. Slezak – IAU 26th GA – SPS 3b session VIII

9. A basic request for a simple workflow • goals :detect and measure connex objects in a single mono-band image(SExtractor). • underlying model : separated diffuse sources in emission over a slowly variable ideal background. • chosen methods : – estimate a background map ; – extract sources by a thresholding segmentation ; – elliptical modeling of the shape of each domain ; – construction of an azimuthal brightness profile ; – computation of compactness and flux indicators. E. Slezak – IAU 26th GA – SPS 3b session VIII

10. Astron. Image proc. Distrib. Architecture chaining (FORTRAN) programs just by a few click-an-drops easy integration procedure • file describing I/Os • • a configuration file • > action plan < scheduling on the grid will be soon available E. Slezak – IAU 26th GA – SPS 3b session VIII

11. Use within the CDS-Aladin VO portal • a multicolour image with superimposed contours • E. Slezak – IAU 26th GA – SPS 3b session VIII

12. Some Future Developments • Multiband, multisensor, multimodes image fusion ;  ANRSpace Fusion / LSIIT Strasbourg. • Extraction and mesurements of fuzzy superimposed objects ;  a webservice is under construction at OCA. • Classification and data mining on massive multidimensional data sets. – a library of modules from algorithms common to various use cases – – fruitful exchanges with the Astrogrid and STIC communities – > OV : transfer of data vs. transfer of codes > Grid : load monitoring, submit whole or part of the workflow > AIDA : ergonomy, monitoring & log file, partial run E. Slezak – IAU 26th GA – SPS 3b session VIII

13. E. Slezak – IAU 26th GA – SPS 3b session VIII

14. Added-Value of Federated Information crab nebula multiwavelength composite image credit : Chandra X-Ray Observatory E. Slezak – IAU 26th GA – SPS 3b session VIII

15. Le groupe de travail Workflow créé dans le cadre de l’AS OV A. Schaaff1, F. Le Petit2, P. Prugniel3, E. Slézak4, C. Surace5 1Observatoire de Strasbourg, 2Observatoire de Paris, 3Observatoire de Lyon, 4Observatoire de la Côte d’Azur,5Laboratoire d’Astrophysique de Marseille Initié en 2005 dans le cadre de l’Action Spécifique « Observatoire Virtuel », le groupe de travail Workflow a pour but de produire des cas d’utilisation dans plusieurs domaines (image, spectre, simulation, etc.) et de les confronter avec des outils, en particulier avec ceux du VO. Le développement de collaborations avec la communauté STIC (liens avec les grilles e.g. EGEE, ...) est également un objectif essentiel. La dernière réunion plénière (16 juin 2006) était organisée à l’IAP, réunissant plus de 30 participants. • Le groupe de travail Workflow se consacre à : • la mise en place de cas d’utilisation et à la formalisation de la connaissance sous-jacente • la recherche d’une structure minimale pour la définition d’un workflow afin de tendre vers la portabilité entre outils (de conception et  d'exécution) en se basant sur les standards existants. • l’utilisation optimale des algorithmes de traitement de données et la construction de chaînes de traitements adaptées à la résolution de problèmes spécifiques. Notre définition d’un Workflow : enchaînement de tâches réalisé dans un contexte maîtrisé (à divers niveaux : intelligence dans le choix des algorithmes, contrôle de flux, …), basé sur l’étude de « Cas d’utilisation », dans une architecture prenant en compte les standards du VO. • Un exemple de requête simple en imagerie monobande… • opérations : détection et évaluation d’objets connexes dans une image mono-bande • modèle sous-jacent : tâches diffuses disjointes en émission sur un fond lentement variable sans défauts. • méthode adoptée : – cartographie du fond ; • – seuillage par segmentation ; • – ajustement d’une ellipse de forme ; • – évaluation du profil azimutal de brillance ; • – calcul de mesures de forme et de flux. Les cas d’utilisation sont utiles pour juger de la pertinence respective des différents modèles envisageables pour un workflow et des conditions de leur construction avec les outils disponibles ou en développement (ex. : AstroGrid, AÏDA, WebCom-G, …). Ces outils tendent à rendre presque transparente l’exécution (machine locale, cluster, grille) et l’utilisation des fonctionnalités VO (Web Services, GRID, VOSpace, …). …et sa solution avec l’outil AÏDA… Expérimentation de l’utilisation de workflows dans Aladin, un portail du VO … un pas vers la pérennisation des connaissances en  traitement d'images des spécialistes de la communauté. Extraction d’une sous image d’un catalogue en ligne à partir de son identification astronomique avec WebComG • Objectifs prioritaires du groupe de travail en 2006/2007 : • Etendre la définition des cas d’utilisation à d’autres domaines • Définir les différentes  parties (briques) communes aux cas d'utilisations (spectres,  imagerie...) et tendre vers une bibliothèque de modules. • Poursuivre les échanges avec la communauté STIC et AstroGrid • Promouvoir le travail réalisé lors des réunions Interop de l’IVOA E. Slezak – IAU 26th GA – SPS 3b session VIII Informations, dates des réunions, compte-rendu, présentations, liens vers les outils,… http://www.france-ov.org/twiki/bin/view/GROUPEStravail/Workflow