1 / 12

Accounting régional

Accounting régional. Status actuel. Base de données node56 : 22GiB de données 16 sites 3.7TiB disponibles… Tous sites sur la base de données node56 Y compris BRGM et UNIV-LILLE Sauf GRIF : 37 GiB … Sauf CC : publication directe et trop volumineuse pour appel ( cf GRIF ?).

ethan-garner
Download Presentation

Accounting régional

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Accounting régional

  2. Status actuel • Base de données node56 : • 22GiB de données • 16 sites • 3.7TiB disponibles… • Tous sites sur la base de données node56 • Y compris BRGM et UNIV-LILLE • Sauf GRIF : 37 GiB… • Sauf CC : publication directe et trop volumineuse pour appel (cf GRIF ?)

  3. Administratif • Wiki: • Procédure de migration et avancement : https://francegrid.in2p3.fr/index.php?title=NGI%2BActiveMQ%2Baccounting • Mailing list de support et discussion : accounting-l@france-grilles.fr • Mailing list operations : operations-l@FRANCE-GRILLES.FR

  4. Administratif bis • Gestion/implémentation technique : pour l’instant, F.Schaer + Z.Georgette • Corvées administratives : Cécile Barbier • Volontaires bienvenus

  5. Architecture … IRFU Node56 (mysql) GOC ActiveMQ

  6. Intégration/Modification de site • Prise de contact avec accounting-l@france-grilles.fr • Configuration précoce du site: pas de perte de données induite • Création de la base de données (node56) • Ouverture du firewall vers chaque IP de CE • Création et restriction des accès MySQL • Déploiement d’un publisher (compte « cron_publisher » ayant un accès restreint à toutes les bases) en pratique : ~15 minutes requises pour glaner les données, et déployer les changements. + Le temps nécessaire aux échanges de mails/passwords/config.

  7. Rappel : apel-parser • Crontab qui va • chercher les logs • Du batch system (sge/torque/lsf) • Du gatekeeper (logs « dgas ») • Chercher la puissance du CE publiée dans le GIIS/site BDII • publier les données brutes dans une BDD • ATTENTION : trop de fichiers dans /var/spool/pbs/server_priv/accountingET les sous répertoires crashent le parser ! Ménage (bi)annuel requis !

  8. Rappel : apel-publisher • Crontab qui va • Chercher des données brutes dans une base de données • « Mixer » ces données pour sortir un enregistrement par job • Envoyer cet enregistrement au GOC et le stocker dans la même base de données

  9. Travail restant • Validation des sauvegardes • Incrémentales journalières • 1 Full dump par semaine • 2 semaines d’historique • Mise à jour de la déclaration CNIL

  10. Travail restant • Ménage automatisé: exemple de GRIF • Table LcgRecords + index : 19.2 GiB • Données temporaires pour 6 mois • Table Blah + index : 9.6 GiB • Table EventRecords + index : 6.1 GiB • Temps requis pour publisher : > 7H (augmentation rapide) • Query_time: 26530 • Rows_sent: 504 Rows_examined: 1 143 300 724 !!! • Menage REQUIS !! • Temps requis pour nettoyage d’une seule table avec index : >5H

  11. Travail restant • Monitoring des I/O disque • Répartition dans le temps des accès des sites (crontabapel-parser) • Création d’une base/table régionale de résumés • Pour un portail régional • Pour des statistiques régionales • Mise à disposition d’informations apel-publisher • MAIS : • en attente du nouveau schéma d’accounting • En attente d’un éventuel portail régional « tout fait et imminent» • Intégration du CC

  12. Conclusion • Pour le moment • Un admin SQL + 1 backup officiel • Déploiements firewall/quattor nécessitent une action des admins IRFU (irfugrid_administration@cea.fr) • Certaines actions « au ralenti » • Seulement 8H par jour (dans l’idéal) à multiplier par le nombre de participants. • Veille technologique • Des changements dans l’accounting EMI/gLite sont à venir à moyen terme.

More Related