240 likes | 387 Views
ALICE. L’environnement logiciel ALICE & EDG (LCG) « Physics Data Challenge » 2004 Ressources et outils. World Interfaces & Environnement de calcul distribué. anything. Utilisateur Simulation, Reconstruction, Calibration, Analyse. Système GUI Persistent ES Libs Utilitaires.
E N D
ALICE L’environnement logiciel ALICE & EDG (LCG) « Physics Data Challenge » 2004 Ressources et outils ALICE/Yves Schutz
World Interfaces & Environnement de calcul distribué anything Utilisateur Simulation, Reconstruction, Calibration, Analyse Système GUI Persistent ES Libs Utilitaires C++ C++ L’environnementlogiciel ROOT AliRoot Super! Je n’ai qu’à apprendre le C++ • HEP use cases: • Simulation & Reconstruction • Mélange d’événements • Analyse ALICE/Yves Schutz
L’environnement logiciel • AliRoot • C++: 400kLOC + 225kLOC (générés) + macros: 77kLOC • FORTRAN: 13kLOC (ALICE) + 914kLOC (paquets externes) • SAV Linux (toute version!), HP-UX, DEC Unix, Solaris, MacOSX, Intel Itanium • Marche également avec compilateur icc de Intel • Deux paquets à installer (ROOT+AliRoot) + MC’s • Édition de lien moins de 1 second (libs partagées) • Téléchargement et “make” (makefile non-récursif) • AliEn • 25kLOC PERL5 (ALICE) • ~2MLOC en majorité PERL5 (open source) • Installé dans 50 sites par les physiciens • >50 utilisateurs développent AliRoot partie détecteurs • 30% développés par une équipe regroupée au CERN ALICE/Yves Schutz
L’environnement logiciel@CC • THRONG_DIR offline Max 4 Go; aujourd’hui 81% Root (HEAD) alien (install) AliEn_ packages GEANT3 (HEAD) AliRoot (HEAD) AliEn (HEAD) 256Mo 140Mo 2.1Go 10.1Ko 223Mo AliRoot (versions) Root (versions) Développements ~400Mo/version Production ALICE/Yves Schutz
L’environnement logiciel@CC • GROUP_DIR: • 1 partition 8Go, dont aujourd’hui 70% utilisés • Attribution par utilisateurs + tempo schutz … tempo ALICE/Yves Schutz
MS@CC • cchpssalice:/hpss/in2p3.fr/group/alice • Production ALICE : ppr/sim/année-No/VersionAliRoot/Run/événement/*.root • Production individuelle ppr xx Catalogue AliEn yy ~4 To Utilisa teurs ? Cahier ALICE/Yves Schutz
AliEn@CC • Communication avec AliEn@CERN • Worker dédié: ccwalj01 • Quelques ports ouverts vers alien.cern.ch • Mais sens unique: on perd une fonctionnalité de AliEn (télécommande) • Vers une machine dédiée ALICE • AliEn en mode batch n’est pas une solution efficace • Perte du token afs • Pas de cronjob • Logon autorisé (limité dans le temps) ccwalj01 • Ouverture ports 9000/1/2/3 pour monitoring (MonALISA) ALICE/Yves Schutz
Physics Data Challenges ALICE/Yves Schutz
Productions • 32 sites configurés (CC & SUBATECH) • 5 sites fournissent du stockage de masse (CC) • 12 productions différentes • 22773 tâches validées (très faibles contributions du CC), 2428 échecs (10%) • Jusqu’à 450 tâches en parallèle • 0.5 opérateurs ALICE/Yves Schutz
OSU/OSC LBL/NERSC Dubna Houston Birmingham NIKHEF RAL Saclay GSI Nantes CERN Padova Merida IRB Bologna Lyon Torino Bari Cagliari Yerevan Catania Kolkata, India Capetown, ZA ALICE & GRID ALICE/Yves Schutz
Interface Site Server EDG Site AliEn CE EDG UI EDG CE AliEn SE EDG SE WN AliEn Communication avec EDG Les CE’s de EDG sont vus comme un seul CE de AliEn et les SE’s de EDG comme un seul SE de AliEn. • UI de EDG tourne sur un site interface ainsi que la suite client de AliEn - ClusterMonitor, CE, SE • Cette interface prend (“pulls”) une tâche à partir du serveur, génère les requètes JDL et soumet la tâche au RB de EDG. • La tâche active AliEn dans le WN pour communiquer avec le serveur AliEn EDG RB Soumission Status report: outbound connectivity AliEn fait partie de l’environnement ALICE (pas de daemons dans WN) ALICE/Yves Schutz
Communication avec EDG EDG Site • Sorties générées par le CE de EDG sont sauvegardées sur un SE de EDG. L’ information est transmise à AliEn par le fichier .Brokerinfo • Les fichiers sont enregistrés dans le catalogue de EDG • Les fichiers sont également enregistrés dans le catalogue de ALiEn (EDG LFN == AliEn PFN) • L’accès aux fichiers se fait en 2 étapes par le catalogue de AliEn et le catalogue de EDG EDG CE EDG SE PFN WN AliEn EDG RC LFN Data Catalogue EDG://<RC>/<LFN> ALICE/Yves Schutz
Stratégie de PDC3 AliEn job control Data transfer • Production de RAW • Transfert de RAW vers CERN • Reconstruction de RAW • Analyse CERN Tier2 Tier1 Tier1 Tier2 ALICE/Yves Schutz
Estimation des ressources PDC3 • Simulation • 105 Pb-Pb + 107 p-p • Production distribuée, réplication des données au CERN • Reconstruction et analyse • 5106 Pb-Pb + 107 p-p • Reconstruction au CERN et ailleurs selon les ressources disponibles • CERN est la source des données • Ressources (CPU et Stockage) • 2004 Q1: 1354 KSI2K et 165 TB • 2004 Q2: 1400 KSI2K et 301 TB • Cf. document présenté au PEB • Bande passante • Simulation en 2004 Q1 • ~90 TB seront envoyés au CERN en 2 mois (~10 jours en utilisant 10% de la bande passante du CERN. ALICE/Yves Schutz
Profil des ressources ALICE/Yves Schutz
Ressources disponibles • 200TB nécessaires après PDC3 pendant 2004 • Les ressources disponibles sont estimées en supposant leur utilisation simultanée par les 4 expériences. ALICE/Yves Schutz
Ressources disponibles LCG ALICE/Yves Schutz
ALICE PDC3 & LCG • Tout la production sera sous contrôle de AliEn, l’analyse se fera avec Root/Proof/AliEn. • LCG-1 sera un des CE de AliEn, AliEn intègrera indifféremment les ressources LCG et non-LCG. • Si LCG-1 fonctionne, il aspirera la plupart des tâches. • Sinon, AliEn privilégiera les autres ressources. • Dans tous les cas de figure LCG-1 sera utilisé autant que possible. • ALICE ne prendra aucune décision: les performances du système imposeront les choix. ALICE/Yves Schutz
ADC ALICE/Yves Schutz
Analyse distribuée @ GRID • Asynchrone • Pseudo interactif • Exécution des tâches (transparente à l’utilisateur) • Faisable avec AliEn + ROOT • Interactif • Système synchrone • Résultats disponibles instantanément • Il faut: • Une nouvelle fonctionnalité (AliEn + PROOF) • Grande disponibilité des ressources Utilisateur fournit le script d’analyse .... et désire traiter toutes les données labelées <X> du run <Y> .... .... et les données sont distribuées ALICE/Yves Schutz
Analyse distribuée: AliEn+Root • AliEnfs: le stockage distribué est vu comme un seul système de fichiers à la unix • Un job par fichier est créé • Les résultats sont regroupés dans des conteneurs ROOT ******************************************* * * * W E L C O M E to R O O T * * * * Version 3.03/09 3 December 2002 * * * * You are welcome to visit our Web site * * http://root.cern.ch * * * ******************************************* Compiled for linux with thread support. CINT/ROOT C/C++ Interpreter version 5.15.61, Oct 6 2002 Type ? for help. Commands must be C++ statements. Enclose multiple statements between { }. root [0]newanalysis->Submit(); ? Query for Input Data Analysis Macro MSS MSS CE CE MSS CE MSS MSS CE CE merged Trees +Histograms ALICE/Yves Schutz
PROOF SLAVE SERVERS PROOF USER SESSION 8.8GB, 128 files 1 node: 325 s 32 nodes in parallel: 12 s ClassicPROOF 32 nodes: dual Itanium II 1 GHz CPU’s, 2 GB RAM, 2x75 GB 15K SCSI disk, 1 Fast Eth, 1 GB Eth nic (not used) Each node has one copy of the data set (4 files, total of 277 MB), 32 nodes: 8.8 Gbyte in 128 files, 9 million events ALICE/Yves Schutz
AliEn + ROOT ? provides: Analysis Macro Input Files Query for Input Data new TAliEnAnalysis Object USER List of Input Data + Locations produces Job Splitting IO Object 1 for Site A IO Object 1 for Site BI IO Object 1 for Site C Job Submission IO Object 2 for Site A Job Object 1 for Site B Job Object 1 for Site A Job Object 2 for Site A Job Object 1 for Site C Execution Histogram Merging Tree Chaining ALICE/Yves Schutz Results:
Conclusions • Augmenter taille THRONG_DIR +2Go • GROUP_DIR: on fait avec 8Go • Reconduire les ressources utilisées hors PDC • Une machine dédiée ALICE simplifierait la vie de tout le monde • Resources nécessaires pour PDC3: • Production organisée Q1 2004 • Analyse Q1-Q2 2004 • CPU • Disques • HPSS • Réseau autant que le CC a annoncé pour ALICE au travers de LCG ou non ALICE/Yves Schutz