1 / 43

Le calcul et l’informatique à l’IN2P3 et au DAPNIA Prospectives, La colle sur Loup 2004

Le calcul et l’informatique à l’IN2P3 et au DAPNIA Prospectives, La colle sur Loup 2004. L’informatique des laboratoires de l’IN2P3 et du Dapnia Le calcul pour les astroparticules Le calcul pour le LHC. Fairouz O-Malek.

manny
Download Presentation

Le calcul et l’informatique à l’IN2P3 et au DAPNIA Prospectives, La colle sur Loup 2004

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Le calcul et l’informatique à l’IN2P3 et au DAPNIA Prospectives, La colle sur Loup 2004 • L’informatique des laboratoires de l’IN2P3 et du Dapnia • Le calcul pour les astroparticules • Le calcul pour le LHC Fairouz O-Malek Contributions:B. Boutherin (sécurité), J. Delabrouille (Astro-particules), F. Etienne (Coordination, IN2P3), F. Hernandez (CC-IN2P3 et LCG), P. Micout (Dapnia), G. Wormser (EGEE)

  2. Organisation de l’Informatique et du calcul F. Le Diberder (IN2P3) F. Etienne (IN2P3) J-P. Génin (CEA/DSM) J. Le Foll (DAPNIA) Calcul LHC: LCG BaBar D0 Resp. Calcul exp. Resp. Calcul exp. Théorie Resp. Calcul exp. Resp. Calcul exp. Comité des utilisateurs Responsables Informatique des labos Gestion des ressources CC-IN2P3 D. Linglin Informatique labo IN2P3 Informatique labo IN2P3 Utilisateurs IN2P3/Dapnia

  3. L’informatique des laboratoires de l’IN2P3 et du Dapnia • Le calcul pour les astroparticules • Le calcul pour le LHC

  4. 233 Informaticiens à l’IN2P3(juin 2004) Informaticiens = 6% effectifs Informaticiens = 15% ITA Développeurs= Offline+Online ASR=administrateurs systèmes et réseaux

  5. Ver Virus La sécurité informatique Buffer overflow • Enjeux de la sécurité informatique à l’IN2P3 • Continuité du service • Risque juridique • Vol de ressources • Image de marque • Menace : liée au nombre de machines visibles sur Internet (3000) • Vulnérabilité : 500 avis de sécurité par an SQL injection Code pénal • Juridique : mettre en place une structure pour pour dégager la responsabilité de l’IN2P3 en cas de plainte. • Actions mises en place • Filtrage en entrée, cloisonnement des réseaux, • chiffrement des communications (SSH), • surveillance réseau.

  6. Le CC-IN2P3 • Chiffres • 54 personnes(07/10/04) dontCDDs: 25 (46%) , Permanents: 29 (54%) financements des CDDs:Sur convention: 13 personnes (EPT) CNRS: 4 personnes (2 EPT) EGEE (Grille de calcul): 7 personnes -- bientôt 10 RUGBI (Grille bio): 1 personne • Budget (2004)

  7. Le CC-IN2P3 • Chiffres (suite) • CPU: 1,2 MSI2K Linux (environ 700 machines biprocesseurs) • disque ~ 100 TO • bande ~ 700 TO • 2500 comptes • ~40 expériences (+groupes bio) • Évolution • D’un centre de ressources vers un centre de services • Mise en place de solutions élaborées adaptées aux expériences y compris des services autres que le calcul et le stockage (hébergement web, visio-conférence, webcast,…)

  8. Le CC-IN2P3 Les ressources demandées sont au delà des capacités du Centre de calcul !!!! 10 expériences consomment 85% des ressources du CC-IN2P3 Gestion des ressources: un comité IN2P3 qui se réunit 1 fois par trimestre pour régler et corriger les répartitions calcul par expérience: http://cc.in2p3.fr/rubrique.php3?id_rubrique=144

  9. Le CC-IN2P3 • Croissance • 100% par an de la puissance CPU et de la capacité de stockage sur bande (à budget constant) • Légèrement moins en stockage disque • DAPNIA: depuis 1993 Une convention triennale le lie à l’IN2P3 pour l’utilisation des moyens de calcul centraux.

  10. LCG: ~70% LCG: 20% Le CC-IN2P3

  11. Le CC-IN2P3 • Les expériences LHC deviennent prioritaires • Budget et ressources humaines actuellement disponibles ne permettront pas de satisfaire les besoins à venir • Rôle prépondérant du CC-IN2P3 pour la composante française de ces expériences en tant que centre de services connecté à la grille • Travail Collaboratif: Dans un modèle de calcul global, le travail en étroite collaboration entre le représentant expert de chaque expérience au CC-IN2P3 est fondamental • Success Stories: Babar et D0 • En cours de mise en place: LCG • Le CC souhaite que la composante française de chaque expérience tienne compte des besoins en ressources humaines correspondantes

  12. L’informatique des laboratoires de l’IN2P3 et du Dapnia • Le calcul pour les astroparticules • Le calcul pour le LHC

  13. 2005 2011 2014 2008 AMS Antares Archeops Auger Edelweiss GLAST HESS LISA NEMO Planck SNLS VIRGO préparation acquisition analyse Expériences astroparticule

  14. Besoins spécifiques à l'Astroparticule • Augmentation du stockage disque (données modestes mais beaucoup d'accès) • Besoin de bande passante spécifiquement pour la visualisation • Besoin de manipuler des dizaines de GO en mémoire (ou des centaines) • Questions ouvertes • Pic dans les besoins de disque et de CPU en même temps que LHC (2007) pour les expériences HESS, Planck, VIRGO, GLAST • Rôle du CC pour l'organisation / la distribution des données astroparticule ? (implication pour les moyens humains au CC et dans les labos) • Evaluation des besoins • Dépend fortement du taux d'implication du CC (de 0% à 100% des moyens) • Dépend fortement du rôle du CC (e.g. service pour la composante française de l'expérience, pour toute l'expérience ou pour toute la communauté scientifique ?) • Dépend des méthodes de traitement encore en cours de développement • Dépend de la qualité ultime des données (ex. Planck, problème de "trivial" à "insoluble")

  15. Préliminaire

  16. Préliminaire

  17. % • Le calcul astroparticule est en augmentation au centre (en %) • (Remarque : ~16% demandé, ~38% consommé les 4 premiers mois de 2004 !) • Ceci correspond à un besoin réel et traduit l'investissement croissant des équipes IN2P3 dans le traitement des données des expériences astroparticule et cosmologie • La montée en puissance des activités VIRGO, Planck, LISA va encore augmenter considérablement les besoins d'ici quelques années

  18. Estimation des demandes pour les 5 ans à venir Stockage : ~ 3-6 PO Disque : ~ 700 TO MHr 1GHz : ~ 70 MHr/an …soit ~ 8000 CPU à 1 GHz… (1500 machines actuelles) PLANCK: Une machine dédiée au calcul parallèle disposant de 500 processeurs et d’un réseau haute performance est actuellement envisagée (1 M€) Préliminaire

  19. L’informatique des laboratoires de l’IN2P3 et du Dapnia • Le calcul pour les astroparticules • Le calcul pour le LHC

  20. LHC Computing Grid Project – LCG

  21. LHC Computing Grid Project – LCG • 40 million de collisions par seconde • Après filtrage, ~100 collisions d’intérêt physique par seconde • 1-10 Megabytes de données digitisées pour chaque collision  taux stockage: 0.1-1 GigaBytes/sec • ~ 1010 collisions enregistrées par an •  quelques PetaBytes/an CMS LHCb ATLAS ALICE

  22. La communauté du CERN Europe: 267 instituts 4603 utilisateurs Hors Europe: 208 instituts 1632 utilisateurs

  23. Le LHC Computing GRID- LCG • Objectif: fournir L’INFRASTRUCTURE de calcul pour LHC • 4 expériences , 1 seule infrastructure • 20% des ressources seront présentes au CERN (80% du temps du LEP, 50% BABAR,..) • Quatre zones d’activités • Applications area (POOL, GEANT4, outils logiciels,..) • Fabric management • Grid technology area • Grid deployment area • Deux phases • R&D : 2001-2005 (Contribution volontaires des états membres) • Déploiement 2006-2008

  24. Tier-2 Tier-1 MSU IC IFCA UB Cambridge Budapest Prague Taipei TRIUMF Legnaro CSCS IFIC Rome CIEMAT USC Krakow NIKHEF RAL Petits centres IN2P3 FNAL CNAF FZK Postes de travail PIC ICEPP BNL LHC: 140 sites actuellement connectés sur la grille de calcul mondiale 3 différentes technologie (protocoles) de grille: LCG-2, GRID3, NorduGrid Mais d’autres grilles HEP existent et sont performantes: SAM-GRID (D0)

  25. LCG-2 Compagnie générale de géologie 2 sitesFrançais Actuellement 80 sites

  26. Grid 3 Current Grid3 Status(http://www.ivdgl.org/grid2003) • 30 sites, multi-VO

  27. NorduGrid & Co. Resources • 7 countries: • Sites for ATLAS: 22 • Dedicated: 3, the rest is shared • CPUs for ATLAS: ~3280 • Effectively available: ~800 • Storage Elements for ATLAS: 10 • Capacity: ~14 TB, all shared 30 sites

  28. 2004 2005 LCG-2 et les générations futures du logiciel (Middleware) LCG-2 Nouvelle Génération prototype produit en développement Service principal • LCG-2 est le service principal pour 2004 pour les data challenges • Le logiciel (middleware) LCG-2 va être mantenu et développé jusqu’à ce que la nouvelle génération aura été éprouvée (et aura fait preuve de stabilité et d’efficacité)

  29. Tier-1 MSU IC IFCA UB Cambridge Budapest Prague Taipei TRIUMF Legnaro CSCS IFIC Rome CIEMAT USC Krakow NIKHEF Petits centres Postes de travail portables RAL IN2P3 Budget global 2005-2008: 200M€ Tier-0+Tier-1 CERN: ~90 M€ FNAL Le modèle de computing du LHC • Tier-0 – Le lieu de l’accélérateur • Données brutes • Reconstruction des données : ESD • Stockage données brutes et ESD • Distribution données brutes et ESD aux Tier-1 • Tier-1 – • Management du stockage de mass services de la grille indispensables • Retraitement données brutes ESD • Support National et régional CNAF FZK PIC ICEPP BNL Tier-2 • Tier-2 – • stockage disque • Simulation • Travail d’analyse du physicien

  30. Estimations préparées pour la Task Force du MoU, Juin 2004, Guy Wormser

  31. 80 M€ - 12 M€ LCG-POB, Août 2004, Les Robertson

  32. Data Challenges • Un effort de production à grande échelle pour les expériences LHC dans le cadre du projet LCG • Tests et validation des modèles de calcul (computing models) • Production des données nécessaires de simulation • Test de la production dans le cadre de l’architecture du logiciel de l’expérience • Test des logiciels de la grille de calcul • Test des services fournis par LCG-2 • Toutes les expériences ont utilisé LCG-2 en tout ou en partie de leur production

  33. Brookhaven CERN INFN 1 Espagne UK

  34. 186 M Produced Events 3-5 106/day LCG restarted LCG paused LCG in action 1.8 106/day DIRAC alone Phase 1 finie • 186 M events et 61 TBytes • Total CPU: 424 CPU an sur 43 sites LCG-2 et 20 sites DIRAC • Jusqu’à 5600 jobs en compétition sur LCG-2

  35. Partage DIRAC-LCG May: 89%:11% 11% of DC’04 Jul: 77%:23% 22% of DC’04 424 CPU · Years Jun: 80%:20% 25% of DC’04 Aug: 27%:73% 42% of DC’04 5 à 6 fois plus que possible au CERN seul

  36. EGEE : Enabling Grids for EsciencE • But • Créer une infrastructure de qualité de la Grille Européenne (HEP + Bio + Météo + …) • Status • Plus grande collaboration ”développement de la grille dans le monde” • Budget: €100 millions /4 ans • Moyens • Soutenir les efforts actuels et plannifiés des programmes GRID nationaux et régionaux (e.g. LCG) • Travailler étroitement avec les développements de la grille dans l’Industrie et collaborer avec les recherches hors Europe (US) applications EGEE Geant network

  37. La complémentarité EGEE-LCG • EGEE est un projet MultiSciences Européen • LCG est un projet de la Physique des Particules au niveau mondial • EGEE et LCG utilisent la même INFRASTRUCTURE constituée par des noeuds répartis à travers le monde (80 aujourd’hui) et d’un logiciel (actuellement LCG-2). La grande majorité de ces ressources et d'utilisateurs appartient à la communauté HEP. • Le développement du middleware (logiciel intermédiaire) est assuré par EGEE , qui délivrera LCG-3=EGEE-1 au printemps 2005. • EGEE exploitera l'infrastructure qui sera utilisée par  LCG.

  38. Autres Tier-1 Le projet LCG-France http://grid.in2p3.fr/lcg/ 01/06/2004 Projet LCG • responsable scientifique: F.OM (LPSC) • responsable technique: F. Hernandez (CC-IN2P3) • comité de pilotage (incluant resp. LCG/CERN) • comité direction SC2, POB, GDB, GDA, … Resp. calcul expériences ALICE: Y. Schutz ATLAS: A. Rozanov CMS: C. Charlot LHCb: A. Tsaregorodtsev Equipe LCG Tier-1 Services Grid, Exploitation & Support CC-IN2P3 Direction Groupe Applications LHC Tier-2 ? Subatech Tier-2 LPCClermontFerrand Tier-2 Labo IN2P3/DAPNIALAL … Financements locaux > 80% Data-Challenges ALICE Nœuds EGEE

  39. LCG: ~70% LCG: 20% Le Centre Tier-1 Français hébergé au CC-IN2P3 • Au démarrage du LHC, il devra fournir: • CPU: ~12M SpectInt2000 (équivalent 6000 machines biprocesseurs) • Stockage disque et stockage permanent: ~ 6 PétaOctets • Connectivité réseau (RENATER) avec le Tier-0 (CERN) de 10 Gbps • Service et Support à la communauté d'utilisateurs de LCG, 24h/24 et 365 jours/an

  40. Demandes budgétaires et de ressources humaines Tier-1 Budget 2005-2008 requis : 26 M€ Budget requis au-delà de 2008

  41. Conclusions • La sécurité est un domaine critique, important, sérieux et il faudra s’attendre à des limitations des modes de travail • L’augmentation des ressources du centre de calcul CC-IN2P3 par la loi de Moore (1.6) ne semble pas satisfaire les expériences LHC (et peut-être aussi les Astro) • A la demande de LCG-France, le DG du CNRS semble avoir été réceptif à la nécessité d’augmenter les ressources en calcul des expériences LHC Comment tout ceci s’intègre-t-il au CNRS dans le cadre de la mise en place des TGE ??    

More Related