1 / 25

Réunion ESRF/Soleil Archivage des « données machine »

Réunion ESRF/Soleil Archivage des « données machine ». Plan de la présentation. La base de donnée historique ( HDB ) Les outils d’archivage Démo ? Choisir un SGBD Les «  SnapShots  » Un nouvel item: l’archivage intermédiaire Rendez vous à Grenoble… .

taya
Download Presentation

Réunion ESRF/Soleil Archivage des « données machine »

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Réunion ESRF/Soleil Archivage des « données machine »

  2. Plan de la présentation • La base de donnée historique (HDB) • Les outils d’archivage • Démo ? • Choisir un SGBD • Les « SnapShots » • Un nouvel item: l’archivage intermédiaire • Rendez vous à Grenoble… 

  3. La base de donnée historique (HDB) • Nouvelles… • Test sous Windows : OK • Migration et tests sous Linux : OK • Scripts d’initialisation de la base testés • Procédures stockées réalisées & testées (exemple : créations de tables, …)

  4. Les outils d’archivage • L’API d’accès à HDB • Routines de connection • Routines d’insertion (écriture) • Routines d’extraction (lecture) • Support de l’API par les Devices déjà créés • Device « Dhdb » • Device « Hdbtc » • Device « Extractor »

  5. Les outils d’archivages • L’outil de pilotage (HdbManager) • On ne choisit plus de cible !! • Sélection multiple • Correction de Bugs : Problème de PATH vers le fichier XML • Évolutions : • Interface • Gestion et archivage des erreurs…

  6. Database IHM HdbManager Devices Dbt DataColector Hdbtc Dhdb Extractor DeviceMouse DeviceMultimètre Démo ??

  7. Choisir un SGBD • 2 alternatives : • 1 impératif : • L’avancée des projets

  8. Choisir un SGBD • 1 approche : • Choix d’Oracle pour base de travail. • Support de la solution PostGreSQL dans les outils liés à l’archivage.

  9. OS supportés: Linux Payant ? : NON OS supportés: Linux Windows Solaris Payant ? : OUI Choisir un SGBD • Tour d’horizon :

  10. Possible jusqu’à quasiment l’instant du crash Choisir un SGBD • Aspect Sécurité : récupération de données en cas de crash

  11. Support Oracle très efficace Choisir un SGBD • Aspect Support : Recours extérieur en cas de problème

  12. C’est pas encore ça !! Ça se trouve … Choisir un SGBD • Aspect Compétences : « Les spécialistes courent les rues !!! »

  13. C’est un pléonasme !! Choisir un SGBD • Aspect Stabilité : « Capacité à ne jamais se retrouver dans les »

  14. Structures orientées objet Procédures stockées (attention aux langages supportés) Triggers, contraintes Choisir un SGBD • Aspect Techniques :

  15. Respect de la casse Pas de type number générique Création de type : Syntaxe Complexe Architecture : Non maîtrisée à ce jour Performances : Non maîtrisée à ce jour Choisir un SGBD • Aspect Techniques :

  16. Choisir un SGBD • Conclusion: HDB HDB

  17. Les « SnapShots » • Intérêt • Fonctionnement • La table « SnapShot » • Questions

  18. Les « SnapShots » • Intérêt • Enregistrer les valeurs d’une collection d’attribut, à un instant t donné. • Garder une trace de l’état de la machine (à un instant t donné) • Réutilisation au niveau des expériences

  19. Les « SnapShots » • Fonctionnement Attributs de la Machine SnapShots Manager (User) SnapShots Collector HDB DSnap

  20. Les « SnapShots » • La table « SnapShot » Solutions envisagées : • 1 attribut  1 table • si statique : gaspillage • si dynamique : perte de temps • 1 attribut  1 champs • Impossible pour Oracle • 1 type d’attributs  1 champs • Solution choisie

  21. Les « SnapShots » • La table « Context » : • Champs stockant des types simples • ID : identifiant désignant le contexte • name : nom du contexte • author : auteur du snapshot • description : description du snapshot

  22. Les « SnapShots » • La table « SnapShot » : • Champs stockant des vecteurs d’objets • id : • time : • context : • sc_r_num_val : scalar, read, number • sc_r_str_val : scalar, read, string • sc_rw_num_val : scalar, read/write, number • sc_rw_str_val : scalar, read/write, string • sp_r_num_val : spectrum, read, number • sp_r_str_val : spectrum, read, string • sp_rw_num_val : spectrum, read/write, number

  23. Les « SnapShots » • La table « SnapShot » : • Exemple d’objets : tsp_rw_num • id : number • read_value : vecteur de nombre • write_value : vecteur de nombre

  24. Un nouvel item: l’archivage intermédiaire • Caractéristiques : • Localisation : Salle de contrôle • Fréquence maximale : 10 Hertz • Durée de stockage : entre 1 et 10 heures • Destinée des donnée : • Effacement • Transfert vers la HDB

  25. Rendez vous à Grenoble…… • Dates : • 13 et 14 Mai 2003 • But : • Mise en place d’une base test « HDB » • Installation des outils liés à l’archivage • Tester les outils et la structure d’archivage

More Related