1 / 14

INFN-BOLOGNA-T3 L. Rinaldi

INFN-BOLOGNA-T3 L. Rinaldi. I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito INFN-BOLOGNA-T3 Attività di Analisi e Produzione Attività di Ricerca Tecnologica Richieste e supporto. Light explosion in datacenter By P. Ricci.

Download Presentation

INFN-BOLOGNA-T3 L. Rinaldi

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. INFN-BOLOGNA-T3 L. Rinaldi • I siti Tier-3 nel modello di calcolo di Atlas • Configurazione del sito INFN-BOLOGNA-T3 • Attività di Analisi e Produzione • Attività di Ricerca Tecnologica • Richieste e supporto Light explosion in datacenter By P. Ricci

  2. I siti Tier-3 nel modello di calcolo di Atlas Tier-0 Tier-1 Tier-1 Cloud Tier-1 Cloud Tier-2 Tier-2 Tier-2D Tier-2 Tier-2 Cloud Tier-3 Tier-3 Tier-3 • T0T1 Datiprimari (RAW, ESD, AOD) T0  T2 Calibration stream • Trasferimenti tra le cloud • Tier1  Tier1: Datiriprocessati (ESD, AOD, dESD per l’analisi) • Tier 1/2  Tier2/3: Output analisiutentesu storage area locale • Trasferimentinella cloud • Tier1  Tier2: distribuzionenei Tier2 deidati per l’analisi e cancellazionedal Tier1 • Tier1  Tier2/3: simulazioniMonte Carlo • Tier1/2  Tier2/3: Output analisiutentesu storage area locale INFN-BOLOGNA-T3 L. Rinaldi

  3. I siti Tier-3 nel modello di calcolo di Atlas • Tier-0 (CERN)‏ • Archivio dei RAW data ricevuti dal detector e distribuzione ai Tier1 • PromptReconstruction delle calibration e express streams e dei physicsstreams • Distribuzione output ricostruzione (ESD, AOD,TAG) ai Tier-1 • Tier-2 • Simulazione Monte Carlo • Archivio di una frazione di AOD e TAG data • Archivio dati utenti • Analisi utente e di gruppo e sviluppo di codice • Calibrazione e allineamento per sub-detectors di interesse locale • Tier-1 • Accesso a lungo termine e archivio su tape di un subset di RAW data • Copia dei RAW data di un altro Tier-1 • Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 • Archivio su disco di tutti gli AOD e TAG data e di una frazione di ESD data • Archivio dati simulati prodotti nei Tier-2 • Simulazione Monte Carlo • Analisi di gruppo • Tier-3 • Analisi locale e sviluppo di codice • Archivio dati utenti • (produzione e simulazione) INFN-BOLOGNA-T3 L. Rinaldi

  4. Configurazione del sito INFN-BOLOGNA-T3 Sito co-locato al Tier1 del CNAF Stessa infrastruttura (elettricità, cooling, … ) Stessa rete (connessione esterna 20Gb) Sito utilizzato da Atlas, CMS e LHCb condivisione di ComputingElement, StorageElement, servizi grid Storage partizionato per esperimento, WorkerNodes condivisi Storage: 150 TB su sistema StoRM/GPFS File System Farm: 39 WorkerNodes 8-core di ultima generazione con batch system LSF INFN-BOLOGNA-T3 L. Rinaldi

  5. Attività di produzione e analisi (GRID) AtlasSiteStatusBoard Status delle code di analisi dei T3 italiani Code testate con software HammerCloud (invio costante di jobs di tipo analisi) La coda viene esclusa automaticamente se ci sono 3 fallimenti consecutivi in un’ora Monitor costante. In caso di problemi, vengono inviate alert-email INFN-BOLOGNA-T3 L. Rinaldi

  6. Attività di produzione e analisi (GRID) WCT (K sec) Mancano jobslocal (bsub)!! Da Ottobre: modifica share 30-70 tra produzione e analisi INFN-BOLOGNA-T3 L. Rinaldi

  7. Attività di produzione e analisi (GRID) Share di utilizzo delle risorse (tempo di running dei jobs) fra i tier-3 della cloud italiana T3-BO è il più performante in Italia (media giugno-novembre) Share di tutti i siti della cloud italiana BO-T3 detiene il 3% (T1+T2s = 93%) INFN-BOLOGNA-T3 L. Rinaldi

  8. Traffico dati e utilizzo del disco TRAFFICO IN USCITA TRAFFICO IN ENTRATA Occupazione spazio disco INFN-BOLOGNA-T3 L. Rinaldi

  9. Attività di analisi (LOCAL) Numero di jobsin locale (Include jobs CMS) Job eff.CPT/WCT e utilizzo delle risorse locali (WCT) INFN-BOLOGNA-T3 L. Rinaldi

  10. Attività di Ricerca Tecnologica • Abstract per conferenza CHEP2012: • Exploiting the WNoDeS framework to support local communities at the CNAF Computing Center • WNoDeS: piattaforma per instanziazionedimacchinevirtuali, sviluppato al CNAF • Ottimizzazione e test con diverse modalitàdiaccessoaidatida VM • Sviluppo e test diapplicazionisuWNoDeS Virtual Interactive Pool (VIP) interface (CMS) • Test di PROOF-on-Demand supiattaformeWNoDeS (creazionedinamicadi farm virtuali per applicazionidicalcoloparalleloottimizzate per l’analisidati) INFN-BOLOGNA-T3 L. Rinaldi

  11. Attività di Ricerca Tecnologica Macchine reali Macchine virtuali Test HammerCloud (standard analisi su MC) su due code con nodi reali e virtuali, Accesso ai dati senza copia sul nodo locale, file system montato sul nodo Macchine virtuali mediamente 10% meno performanti, in programma test per ridurre il gap Calo delle performance delle VM compensato da maggiore flessibilità nell’uso delle risorse (es. T1 + T3  maggior numero di VM a disposizione degli utenti) INFN-BOLOGNA-T3 L. Rinaldi

  12. Richieste e Supporto • Per richieste (installazioni) e segnalazioni di problemi sulle macchine • Contattare grid-prod@bo.infn.it • Per problemi specifici atlas/grid/panda/DQ2 • Usare le liste atlas-bo-t3@lists.infn.it (locale) • atl-usercalc@lists.infn.it (atlas-IT) • Lavori in corso: • Priorità nelle code: • riservate 4 slot per jobs interattivi (bsub) • abilitazione del ruolo atlas/it (automatico quando si inizializza il proxy) • incrementare priorità dei job “italiani” e limitazione sui jobs altri utenti • Monitoring (mancano le statistiche di utilizzo grid vs locale per singoli exp) • Migrazione progressiva ad ambiente virtuale (da concordare con CNAF e altri esperimenti) • Grazie a tutti gli utenti per le continue interazioni, fondamentale per configurare il sito in base alle esigenze degli utenti INFN-BOLOGNA-T3 L. Rinaldi

  13. INFN-BOLOGNA-T3 L. Rinaldi

  14. Back Up INFN-BOLOGNA-T3 L. Rinaldi

More Related