140 likes | 314 Views
INFN-BOLOGNA-T3 L. Rinaldi. I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito INFN-BOLOGNA-T3 Attività di Analisi e Produzione Attività di Ricerca Tecnologica Richieste e supporto. Light explosion in datacenter By P. Ricci.
E N D
INFN-BOLOGNA-T3 L. Rinaldi • I siti Tier-3 nel modello di calcolo di Atlas • Configurazione del sito INFN-BOLOGNA-T3 • Attività di Analisi e Produzione • Attività di Ricerca Tecnologica • Richieste e supporto Light explosion in datacenter By P. Ricci
I siti Tier-3 nel modello di calcolo di Atlas Tier-0 Tier-1 Tier-1 Cloud Tier-1 Cloud Tier-2 Tier-2 Tier-2D Tier-2 Tier-2 Cloud Tier-3 Tier-3 Tier-3 • T0T1 Datiprimari (RAW, ESD, AOD) T0 T2 Calibration stream • Trasferimenti tra le cloud • Tier1 Tier1: Datiriprocessati (ESD, AOD, dESD per l’analisi) • Tier 1/2 Tier2/3: Output analisiutentesu storage area locale • Trasferimentinella cloud • Tier1 Tier2: distribuzionenei Tier2 deidati per l’analisi e cancellazionedal Tier1 • Tier1 Tier2/3: simulazioniMonte Carlo • Tier1/2 Tier2/3: Output analisiutentesu storage area locale INFN-BOLOGNA-T3 L. Rinaldi
I siti Tier-3 nel modello di calcolo di Atlas • Tier-0 (CERN) • Archivio dei RAW data ricevuti dal detector e distribuzione ai Tier1 • PromptReconstruction delle calibration e express streams e dei physicsstreams • Distribuzione output ricostruzione (ESD, AOD,TAG) ai Tier-1 • Tier-2 • Simulazione Monte Carlo • Archivio di una frazione di AOD e TAG data • Archivio dati utenti • Analisi utente e di gruppo e sviluppo di codice • Calibrazione e allineamento per sub-detectors di interesse locale • Tier-1 • Accesso a lungo termine e archivio su tape di un subset di RAW data • Copia dei RAW data di un altro Tier-1 • Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 • Archivio su disco di tutti gli AOD e TAG data e di una frazione di ESD data • Archivio dati simulati prodotti nei Tier-2 • Simulazione Monte Carlo • Analisi di gruppo • Tier-3 • Analisi locale e sviluppo di codice • Archivio dati utenti • (produzione e simulazione) INFN-BOLOGNA-T3 L. Rinaldi
Configurazione del sito INFN-BOLOGNA-T3 Sito co-locato al Tier1 del CNAF Stessa infrastruttura (elettricità, cooling, … ) Stessa rete (connessione esterna 20Gb) Sito utilizzato da Atlas, CMS e LHCb condivisione di ComputingElement, StorageElement, servizi grid Storage partizionato per esperimento, WorkerNodes condivisi Storage: 150 TB su sistema StoRM/GPFS File System Farm: 39 WorkerNodes 8-core di ultima generazione con batch system LSF INFN-BOLOGNA-T3 L. Rinaldi
Attività di produzione e analisi (GRID) AtlasSiteStatusBoard Status delle code di analisi dei T3 italiani Code testate con software HammerCloud (invio costante di jobs di tipo analisi) La coda viene esclusa automaticamente se ci sono 3 fallimenti consecutivi in un’ora Monitor costante. In caso di problemi, vengono inviate alert-email INFN-BOLOGNA-T3 L. Rinaldi
Attività di produzione e analisi (GRID) WCT (K sec) Mancano jobslocal (bsub)!! Da Ottobre: modifica share 30-70 tra produzione e analisi INFN-BOLOGNA-T3 L. Rinaldi
Attività di produzione e analisi (GRID) Share di utilizzo delle risorse (tempo di running dei jobs) fra i tier-3 della cloud italiana T3-BO è il più performante in Italia (media giugno-novembre) Share di tutti i siti della cloud italiana BO-T3 detiene il 3% (T1+T2s = 93%) INFN-BOLOGNA-T3 L. Rinaldi
Traffico dati e utilizzo del disco TRAFFICO IN USCITA TRAFFICO IN ENTRATA Occupazione spazio disco INFN-BOLOGNA-T3 L. Rinaldi
Attività di analisi (LOCAL) Numero di jobsin locale (Include jobs CMS) Job eff.CPT/WCT e utilizzo delle risorse locali (WCT) INFN-BOLOGNA-T3 L. Rinaldi
Attività di Ricerca Tecnologica • Abstract per conferenza CHEP2012: • Exploiting the WNoDeS framework to support local communities at the CNAF Computing Center • WNoDeS: piattaforma per instanziazionedimacchinevirtuali, sviluppato al CNAF • Ottimizzazione e test con diverse modalitàdiaccessoaidatida VM • Sviluppo e test diapplicazionisuWNoDeS Virtual Interactive Pool (VIP) interface (CMS) • Test di PROOF-on-Demand supiattaformeWNoDeS (creazionedinamicadi farm virtuali per applicazionidicalcoloparalleloottimizzate per l’analisidati) INFN-BOLOGNA-T3 L. Rinaldi
Attività di Ricerca Tecnologica Macchine reali Macchine virtuali Test HammerCloud (standard analisi su MC) su due code con nodi reali e virtuali, Accesso ai dati senza copia sul nodo locale, file system montato sul nodo Macchine virtuali mediamente 10% meno performanti, in programma test per ridurre il gap Calo delle performance delle VM compensato da maggiore flessibilità nell’uso delle risorse (es. T1 + T3 maggior numero di VM a disposizione degli utenti) INFN-BOLOGNA-T3 L. Rinaldi
Richieste e Supporto • Per richieste (installazioni) e segnalazioni di problemi sulle macchine • Contattare grid-prod@bo.infn.it • Per problemi specifici atlas/grid/panda/DQ2 • Usare le liste atlas-bo-t3@lists.infn.it (locale) • atl-usercalc@lists.infn.it (atlas-IT) • Lavori in corso: • Priorità nelle code: • riservate 4 slot per jobs interattivi (bsub) • abilitazione del ruolo atlas/it (automatico quando si inizializza il proxy) • incrementare priorità dei job “italiani” e limitazione sui jobs altri utenti • Monitoring (mancano le statistiche di utilizzo grid vs locale per singoli exp) • Migrazione progressiva ad ambiente virtuale (da concordare con CNAF e altri esperimenti) • Grazie a tutti gli utenti per le continue interazioni, fondamentale per configurare il sito in base alle esigenze degli utenti INFN-BOLOGNA-T3 L. Rinaldi
Back Up INFN-BOLOGNA-T3 L. Rinaldi