Introduction de données MTR-THEMIS dépouillées dans le catalogue BASS2000

1. Introduction de données MTR-THEMIS dépouillées dans le catalogue BASS2000 Nadège Meunier Atelier MTR, 17 janvier 2006, Tarbes

2. Plan • Objectifs et historique • Etapes à suivre • Spécificités traitement de routine (homogénéité du dépouillement) • Exemple du DPSM • Niveaux de traitement • Automatisations • Informations sur les données • Calendrier

3. Objectifs et historique • Objectifs (Attirer le maximum d’utilisateurs) • Traiter le maximum de données • Rendre disponible le maximum d’informations permettant à l’utilisateur de juger le résultat • Avoir 1 (ou 2 maxi) modes de traitement standard, pas plus : les utilisateurs doivent pouvoir savoir comment les données ont été dépouillées • Historique (du point de vue de BASS2000) • Automne 2003 : Cahier des charges présentées au CS-BASS2000 automne 2003 (proposition de niveaux de traitement pour les modes MTR et DPSM) • 2004 : développement du logiciel intégration nécessaires et tables (MTR+DPSM), nouvelles pages de requête • Fin 2004 – début 2005 : développement interface lancement du code DPSM ; tests robustesse du code P. Mein et itération avec lui • Printemps 2004 : Echanges avec Alberto et Arturo pour le dépouillement MTR • Mi-2005 : début du dépouillement DPSM en routine (continue…) Comme pour les données brutes : fits hors ligne ; jpeg attrayants en ligne ; délai d’1 an après les observations pour la diffusion des fits

5. Etapes de la mise en place du dépouillement à BASS2000 • Définition des niveaux de dépouillement (hors-ligne et en ligne), organisation du dépouillement • Besoins d’informations sur les données • Choix du code de traitement • Figer les choix !!! (conditions, niveaux hors ligne et en ligne) • Développement d’un code interface BASS2000 (gestion des fichiers, automatisations diverses, formatage, fichiers annexes) • Tests (robustesse) sur jeu de données « limité » • Sélection de données ? Traitement par run complet ? • Dépouillement + vérification (manuelle !) • Sauvegarde, intégration dans le catalogue

6. Niveaux de données • Brutes (MTR, DPSM) • « Spectres propres »=calibrés, recentrés, autres ? (MTR) ; i.e. juste avant calcul paramètre de Stokes • Paramètres de Stokes (MTR, DPSM), sans moyenner le long de la fente • Cartes de B//, V//, I (MTR, DPSM) éventuellement à différentes positions dans la raie • Cartes de vecteur B (MTR) • Extrapolation : lien vers FROMAGE uniquement (mention de l’existence d’une extrapolation) Fichiers hors ligne FITS Fichiers en ligne JPEG (sélection) PROCHIST

7. Homogénéité du dépouillement • Pas de dépouillement par l’observateur • mais voir prop. V. Bommier : lien vers pages personnelles, ou stockage à bass2000 qui peut héberger des pages • Attention au dépouillement partagé BASS2000 / THEMIS • Accord avant acceptation de données dans le catalogue (code final, définition des sorties, formatage, …) • Il faut travailler ensemble • Attention à l’évolution du code au cours du temps

8. Dépouillement DPSM • Visite P. Mein octobre 2004 • Objectif : dépouillement par BASS2000, intégration dans le catalogue, avec le moins d’interventions manuelles possibles + homogénéité • Choix des options de dépouillement • Un seul mode standard (mais variation du code /année) • Profils de Stokes (I, Q, U, V) sur 17 points dans la raie • Cartes B//, V//, I : positionnement bissecteur à 2Δλ, 4Δλ, somme et différence bleu-rouge à 3Δλ (selon la longueur d’onde) • 2 niveaux sauvegardés : avant et après recentrage λ • Informations complémentaires (cospatialité) • Choix des images en ligne : variable selon λ, année (liée à qualité des données de facto)

9. Le code de base • Fonctionnement du code de P. Mein • Un fichier sequence.par : une ligne par séquence et λ • Fichiers de paramètres (modifiables manuellement) • Lancement d’un routine idl / appel du code fortran • Fichiers sorties format « maison » • Test intensif du code à BASS2000 sur données 2004 puis 2003 • Objectif : • Identification des principaux problèmes • Identification des limitations • Modification du code fortran par P. Mein pour les résoudre automatiquement quand c’est possible • Modification du code idl (appel du code fortran) pour éviter les interruptions (exemple : gestion mauvais naxis3) • Remarque : Vérification manuelle du sens des balayages et du signe B avec MDI (dû à problème de formatage) ; trop difficile, trop long dans certains cas donc à la charge des utilisateurs !

10. Interfaces BASS2000 • Réalisation d’un module pour automatiser le traitement (gestion des fichiers) • Fabrication automatique des fichiers de lancement sequence.par (1 par journée) à partir du listing d’un répertoire et de la lecture des entêtes (choix des calibrations) ; 2 versions (2004 et 2000-2003) • Lancement possible sur le DLT complet • Formatage des fichiers en sortie • Ajout de mots-clés spécifiques au dépouillement (pour catalogue ou information) • Unités standards (m/s, gauss) • Création des jpeg, fits • Création des fichiers html (imagettes quicklook) et historique du traitement (fichiers de paramètre, sorties importantes) : en ligne ; fichiers fits : hors ligne

12. Bilan dépouillement DPSM • Vérifications manuelle, itérations avec Pierre • Années dépouillées : 3 ans • 2004 : 6 runs, 296 (280) séquences ; 130 ok (sans compter run Chambe, pas reçu) 44% • 2003 : 4 runs, 170 (155) séquences ; 17 ok pour les 2 raies & 33 ok 1 raie seulement (inclus mauvais seeing et nuages non incluses dans le catalogue)22% • 2002 : 5 runs, 169 (153) séquences ; 48 ok ; 31% • Principaux problèmes • Scans exotiques (protubérances, mauvais mots-clés de balayage) • Mauvais nom de fichiers • Mauvaises données (niveau I faible / DC, problème de mot-clé configuration polar) • Calibration, géométrie • Interruptions du code • Futur : • il reste à traiter 2000, 2001, 2005

13. Niveaux de traitement • FITS (défini dans le cahier des charges) : • Spectres « propres » • Profils de Stokes • Cartes B//, V//, I • Cartes vecteur B etc. • JPEG en ligne • extrait des profils de Stokes ? À définir (cf DPSM) • Cartes B//, V//, I • Cartes vecteur B • Autre ? • PROCHIST en ligne • jpeg flat field • Info co-spatialité • Autre ?

14. Mais pas si simple ? • Selon le type d’observation, niveau de traitement final différent ? • Effet Zeeman : spectres propres, paramètres de Stokes, cartes de V//, V//, I, vecteur B • Effet Hanle : spectres propres, paramètres de Stokes (sans moyenner / fente ?) • Comment faire la différence a priori ? Suggestions bienvenues … • Dans un domaine spectral : plusieurs raies en général. Quel traitement ? • Toujours une raie ou plusieurs quand c’est possible ? • Choix automatique possible ? • Examen manuel par run ? Liste de raies … • Archivage de ces longueurs d’onde ? Garder la longueur d’onde du domaine spectral pour la requête : est-ce suffisant ? • Besoin de la demande de temps du PI pour passer moins de temps à faire ces choix ?

15. Automatisations • Autant de choses que possibles doivent être automatisé • Tout ce qui reste manuel : doit être limité et en début de run, si possible pour un run ou un grand nombre de séquences en même temps • Liste (non exhaustive) montrée à Nice en mai 2005 + message juin • Que reste-t-il à automatiser dans le code d’Alberto? • L’automatisation inclus : • sélection des fichiers de calibration • prise en compte d’infos absentes du header pour les données < 2004 • C’est différent d’utiliser un code à BASS2000 et par un autre utilisateur

16. Automatisations nécessaires (non exhaustif !) • Détection mauvaises images (sauts) • Détections mauvaises images dans les flats fields • Détection des mauvais darks • Elimination des bords noirs / optimisation • Détection et correction mauvais naxis3 (trop grands, trop petits) • Recherche auto des flats + darks, adaptation à diverses procédures observationnelles (pas pris en compte dans le daily report) • Extraction des paramètres de Stokes avec correction crosstalks Demande historique configuration instrumentales : position des lames polarimètre, voie haute / basse pour la période 1999-2003 • Détection mauvaises lignes • Taille pixel (spatial, spectral) • Fabrication / mise à jour info html (visu) + historique traitement • Formatage spécifique (ajout de mots-clés, modif PHYSPARA) • Correction des franges ? • Niveau de traitement : correction grandissement / focus ? • Choix des positions de continus et raies pour les calculs de courbures de raies et de recentrage : manuel ? • Choix des raies pour le calcul des cartes B//, V// • Niveau de traitement variable selon l’observation ?

17. Discussions mai / Nice • Niveau de dépouillement • automatisations • définition jpeg en ligne • Diffusion de code • Informations pour le traitement

18. Informations sur les données • Manque d’information sur les conditions d’observation • Configuration, position des lames polarimètre (<2004) • Conditions atmosphériques et techniques (sélection de séquence, élimination de séquences complètement mauvaises) • Manque d’information sur les calibrations (type co-spatialité, que sont les fichiers c3) • Les rapports quotidien ne contienne pas les informations nécessaires (et rapport de mission jamais envoyé à BASS2000) • Autres ?

19. Calendrier • Choix du code développé à THEMIS : bien avancé, utilisé en quicklook au télescope • Echanges THEMIS – BASS2000 nécessaires : • Automatisations • Figer les choix en terme de fichiers de sortie • PUIS • Développement des interfaces possible à BASS2000 • dérivé de l’interface DPSM • Ajout des spécificités • Tests de robustesse • Mise en route du dépouillement avant fin 2006? • données 2004+ dans un premier temps • Données anciennes si infos disponibles