Analisi in CMS: stato e prospettive del supporto italiano

1. Analisi in CMS:stato e prospettive del supporto italiano

2. Preparazione delle Analisi di Fisica (1) • Physics TDR Vol. 1 (completato Feb 06) • Procedure di Allineamento e Calibrazione • Physics Tools • Physics TDR Vol. 2 (completamento Giu 06) • Canali di Fisica Computing-Software-Analysis CMS-INFN TEAM

3. CMS Physics Notes 2006, con autori INFN(pubbliche e con referee interno) • Totale di 27 Physics Notes nel 2006, vedi http://tenchini.home.cern.ch/tenchini/CMS_Note_Italiche_Anno_2006.html Physics tools Physics Channels Computing-Software-Analysis CMS-INFN TEAM

4. Preparazione delle Analisi di Fisica(2) • CSA2006 (Novembre 06) • Test della catena completa di ricostruzione ed Analisi Dati • Physics TDR Addenda (Inizio 2007) • Studi dettagliati dell’High Level Trigger • Test finale Calibrazioni e Allineamenti • Programma di fisica per < 1 fb-1 Computing-Software-Analysis CMS-INFN TEAM

5. Analisi di CMS (Italia) Commissioning of detectors Identification of Physics channels Physics Analyses of First data Calibration / Alignment Analysis Object Data (AOD) Reconstruction software (RECO Data) Software Algorithms Analysis Job submission (CRAB), etc. End User Support & Interfaces Management Tools Software tools & Middleware Dataset discovery (DBS), etc. Dataset definition & Location Grid Integration Performances tests Infrastructure Services: Tier1 & Tier2s (and Tier0) Resources: Tier1 & Tier2s (and Tier0)

6. L’analizzatore “vede” questo…(e non vorrebbe vederlo…) Ambiente CMS+Grid Quali Dataset ci sono? (CMS specific) CRAB: creazione, partizionamento e sottomissione (via BOSS) dei job Il risultato ritorna allo user! Dove stanno i files del Dataset? (GRID) Dove mandare i job? (GRID) Il job trova i files via il local file system (GRID) Il job va sul CE scelto dal RB (GRID node col sw CMS) I files vengono LETTI e SCRITTI (GRID) Il job esegue

7. CMS Distributed GRID Analyses Up to ≥100.000 jobs/month(peak ≥10.000/day) Submitted from Destination of jobs

8. Ma l’analizzatore non vede … • L’infrastruttura dei servizi e risorse Grid • I tools software e middleware sviluppati e mantenuti da Grid e CMS • Il monitoring delle configurazioni e dei servizi (CE, SE, UI, DataBases, tools di trasferimento, sistemi di autorizzazione, Information System, …) • Il debugging quotidiano • I workarounds per ovviare alle failures (quotidiane o eccezionali) • Spesso operati in “urgency mode” • La difficolta’ di allocare le risorse “prompt” alle richieste della Fisica • Su un Sistema distribuito e complesso (e fragile) • La necessita’ di coordinare/contrattare l’uso delle risorse condivise con gli altri esperimenti (tempi e quantita’) Grid funziona se non si vede che c’e’!

9. CMS, Grid e cio’ che sta “in mezzo” • Cosa fa CMS • Tutto quello che e’ CMS specific • Software di ricostruzione • Definizione e catalogazione dei Datasets (trigger driven) • Framework di ricostruzione ed analisi • Definizione dei contenuti delle classi (objects) fisiche (parametri) e loro contenuto nei data format (cosa si puo’ fare con gli AOD e cosa no, cosa si puo’ fare coi RECO e cosa no…etc.) • Cosa fa Grid • Tutti (o quasi) i servizi di base • Locazione dei files e loro protocollo di accesso • Computing Elements, Storage Elements, User Interfaces • Resource Broker, Information System, Operating system, local scheduler, etc. • Ma questo non basta, occorre • Tutto quello che interfaccia i servizi di Grid con il software di CMS e consente quindi di localizzare, gestire e produrre i dati • Repliche dei dati in modo consistente per CMS (Datasets o file-blocks) • Job tracking CMS-specific e job production, preparation and submission • La interfaccia di accesso del Fisico di CMS • Environment e User services • CMS Software distribution and installation

10. Quali sono i tools che servono… • Transfer file • File (Datasets) Replication • Dashboard • Resource Broker • File access local protocols (disk resident or tape resident, or even on cached disks) • Local job schedulers • Information System • Authorization, authentication, accounting • Roles and authorities • Transparent data accesses by end nodes • Databases replication processes and distribution (partial or global, sink or unsink) • Software installation and propagation (versioning included) • Etc.

11. Quali sono le risorse e l’infrastruttura • User Interfaces • Tier0 • Tier1 • Tier2 • CPU e Farm (CEs) • Dischi e MSS (SEs) • LAN e WAN • DataBase services • User management • OS e File Systems • Etc

12. Chi fa cosa (nomi espliciti solo delle persone ex-Grid, ex-LCG o ex-Grid-IT, ex-Tier1-INFN) PRS Groups, Detectors commissioning, DAQ, calibration/alignment, … Physics Analyses of First data Lead contribution Reconstruction software, AOD definition, fast simulation (FAMOS), generators, software management, geometry, architecture, … [S.Argiro’] Software Algorithms Lead contribution Analysis job submission, DBS, DLS/FLS, Job tracking, Grid integration, Dataset validation, Dataset transfer, monitoring, User interface, performances tests, management, … [F. Fanzago, M. Corvo, M. Verlato, G. Don Vito, C.Kavka, A. Sciaba’, J. Andreeva, S. Fantinel] Software tools & Middleware Lead contribution Infrastructure Tier1 resources (35% of CNAF-CMS, <12% of CMS), 2+1+1 Tier2s INFN resources (<10% of CMS, yet to be funded), Tier1 services, Tier2s services, NO INFN contribution to Tier0 Services, …[D. Bonacorsi] Lead contribution +

13. Cosa esiste di funzionate Identificati i canali di Fisica di interesse “italiano” Procedure per le calibrazioni/allinementiStrategie e plans per il commissioningOrganizzazione (Italiana) di Comput/Softw/Physics Physics Analyses of First data Software di ricostruzione nel nuovo framework (CMSSW)Prototipo della definizione degli AOD (ed accesso) Software Algorithms CRAB (job submission sulla Grid, WLCG = EGEE + OSG); Prototipo di DBS; Prototipo di DLS con il Grid LFC; Prototipo di ProdAgent (produzione delle simulazioni); Dataset Transfer (PhEDEx); Configurazione delle UIs; Job real-time tracking; Test of Grid integration and performances; etc. Software tools & Middleware Coordinamento e attivita’ consolidata dei Tier2+Tier1 INFN per CMS riconosciuto ed apprezzatoRisorse del Tier1 e Tier2 usate da TUTTA CMS via GridServizi Grid e CMS-specific consolidati Infrastructure

14. Cosa manca (di fondamentale), del tutto o in parte Physics Analyses of First data Un’infinita’ di “piccoli”tools per il commisioningGli strumenti “provati” per produrre ed accedere alle calibrazioni/allineamenti (locale o distribuito via Grid) Software di supporto alla definizione dei TriggerSoftware e tools per la gestione della ricostruzione al Tier0 e ri-ricostruzione ai Tier1Consolidamento dei contenuti dei data-format (RAW, RECO, AOD, skimmed data) Software Algorithms Supporto agli UtentiTests di integrazione CMS-Grid (performances & functionalities)DataBases replication tools Management Tools (resources and services)Dataset validation and distributionProduction (simulation & reco) support and tools Software tools & Middleware Risorse che garantiscano le necessita” di CMS (Italia e non) nei Tier2 e Tier1Servizi comuni certi per CMS (+ servizi specifici)Tier0 efficace per L’INFN Infrastructure

15. Cosa ci servirebbe … • Software tools e Middleware integration • Supporto per CRAB e il Data-Management-System distribuito, piu’ i tools di distribuzione, produzione, re-processing • SVILUPPO, GESTIONE e USER SUPPORT in Italia e al CERN ! • Urge personale per “servizio” • Software • Ricostruzione, simulazione ed Analisi (personale sulla Filter Farm) • Tier1 • Personale dedicato a CMS >2 persone (in sinergia con la gestione del Tier1) • Direzione Tecnica empowered • Hardware delivered nei tempi stabiliti agli Esperimenti (Gare e Commissioning) • Personale sistemistico commisurato all’impresa (17 nuovi posti? Stabili? Quando?) • Tier2 • Risorse Hardware nei 2+1+1 Tier2-CMS da oggi, e planning concordato • Tier0 • NON c’e’ coinvolgimento dell’INFN in persone! (Ricostruzione e trigger streams tagging) • Filter Farm • Nel software di configurazione del trigger l’INFN e’ quasi-assente!

16. Conclusioni • Occorrono Persone dedicate a CMS con skills specifici, non facili da trovare: • 4-5 persone, di cui ~ meta’ al CERN (in aggiunta a quelle attuali) • Per fare …le attivita’ che sono sotto dimensionate • Cosa serve per analizzare i dati? • L’infrastruttura di risorse e servizi (Tier1 e Tier2), con i tools e gli user che la sanno usare • Cosa esiste oggi? • I tools e il software CMS (prototipali ma funzionanti), integrati nella infrastruttura di Grid mantenuta, ma molto fragile • Cosa manca? • Alcuni tools di base ed essenziali • Performances e scalabilita’ • Supporto agli utenti e alle attivita’ (SERVIZI) • Chi deve farlo?: CMS (Italia) in primis, Grid projects, INFN e … CERN! • In che tempi? • I Dati reali di CMS ci sono gia’! (Cosmic Challenge) • WLCG Service Challenge 4 (SC4) e CMS Computing, Software and Analysis 2006 (CSA06) sono entro il 2006

17. Chiosa • Vogliamo essere leading nell’analisi di CMS (e possiamo farlo!) • La competizione scientifica (anche interna a CMS) sara’ forte (US & Italy) • Abbiamo bisogno di forte supporto, nelle RISORSE del Computing, da ora e nei prossimi 12 mesi • CMS Italia si e’ organizzata per questo (o almeno lo sta facendo) • Computing_Software_Analysis Project CMS-INFN: un solo Team • Non piu’ detector construction, ma Experiment running

18. Additional slides

19. Analisi CMS in Italia e Physics Tools di interesse Computing-Software-Analysis CMS-INFN TEAM

20. Analisi CMS in Italia e Physics Tools di interesse Mu e b-tag tau jet/eflw MET FAMS Computing-Software-Analysis CMS-INFN TEAM

21. Preparazione alla Fisica di CMS • Aver definito il P-TDR vol. 1 vuole anche dire che: • abbiamo un programma di ricostruzione con perfomance piu' che soddisfacente per tracce, fotoni, jet, mu ed elettroni, vertici primari e secondari • abbiamo una simulazione Monte Carlo dettagliata del detector, pronta ad essere rifinita coi primi dati veri, e abbiamo prodotto 100 milioni di eventi nel 2005 • abbiamo una utilissima fast simulation, veloce ma abbastanza accurata e abbiamo dimostrato che puo' essere usata per molti canali di fisica

22. Continua la preparazione alla Fisica di CMS • Per ottenere risultati della Fisica dobbiamo ancora fare: • MTCC che ci consentira' di integrare per la prima volta: rivelatori, acquisizione dell'elettronica di front-end, prima version del Sw di Event Filter. Primi tests delle procedure di allineamento includendo allineamento HW • Test-beam di ECAL e ECAL+HCAL che consentiranno di stressare ancora una volta le componenti Sw +  studi della risposta combinata ECAL+HCAL. Questo consentira' anche di fare confronti tra dati e Geant4. • CSA 06 che consentira' di testare tutta la catena simulazione, ricontruzione, allineamento e calibrazione nonche' tutte le procedure di deployment dei DB che devono essere utilizzate dai vari rivelatori. Il test consentira' di fare un studio completo del workflow e dataflow dei dati T0-T1-T2… Questo include anche una prima versione del software di Tier0. • Studi di HLT che consentiranno di fare studi dettagliati delle perfomances degli algorithmi di ricostruzione in termini di CPU. • Studi di ottimizzazione in termini di CPU e spazio disco per le varie strutture di dati (data formats) • Studi del work-flow e data flow Daq-T0 etc. …

23. Tier2 CMS Italia 2006

24. Tier1-CNAF CMS CMS Sharing (~35%) Optimistically

25. Costi Tier2 Tetto indicativo dai referee per CMS :~4.9 MEuro)

26. Tier2s CMS Italy CPU Dischi