360 likes | 465 Views
Riunione PON SCoPE - 29 marzo 2007. L’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europea L’organizzazione del progetto in work packages Il prototipo presso il Dipartimento di Scienze Fisiche. L. Merola. L’esperienza dell’INFN per l’infrastruttura GRID
E N D
Riunione PON SCoPE - 29 marzo 2007 • L’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europea • L’organizzazione del progetto in work packages • Il prototipo presso il Dipartimento di Scienze Fisiche L. Merola
L’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europea • L’organizzazione del progetto in work packages • Il prototipo presso il Dipartimento di Scienze Fisiche
Progetti nazionali: - INFN-GRID[dal 2000] - Grid.IT, finanziato dal MIUR/FIRB [2002-2005] - BioinfoGrid, LIBI, LITBIO, Cyclops Progetti europei: • - DataGrid (EDG) [V PQ UE [2001-2004] • - DataTAG [V PQ UE 2002-2003] • - LHC Computing Grid (LCG), progetto CERN [dal 2002] • - EGEE[VI PQ UE 2004-2006] • - EGEE-II[VI PQ UE 2006-2008] • - EELA, EUChinaGrid, EuIndiaGrid, EUMedGrid, • OMII, ETICS,CoreGRID, GRIDCC [VI PQ UE] • VII PQ UE (EGEE-III, NMR, OGF, …) • Da testbed a infrastruttura Grid di produzione verso la • costituzione di Italian Grid Infrastructure Association e di • una European Grid Initiative.
INFN Comm. Scient. Naz. LCG I progetti INFN sulle Grid sono gestiti da un INFN Executive Board (presieduto da M. Mazzucato; L.M. ne è componente)
EGEE 40 nazioni 200 siti > 100 VO 37 k CPU 7 PB storage
INFN PON FIRB
Middleware INFNGRID Piena compatibilità con il m/w EGEE (gLite/LCG) con release e aggiornamenti frequenti e controllati centralmente. • Servizi “core” (presenti in ciascun sito) • Repository pacchetti del middleware (YAIM - INFNGRID 3.0.0 - Scientific Linux CERN 3.x - Istallazione e aggiornamenti automatici via PXE – Framework Globus 2.x) • Servizi di computing (Computing Element gestione dei Worker Node – Servizi Globus: globus-gatekeeper, globus-gridftp, GRIS – Batch system: PBS, Torque, LSF) • Servizi di storage (Storage Element gestione dello storage – Servizi Globus: globus-gridftp, GRIS) • User Interface (sottomissione di job, visualizzazione stato di un job, cancellazione di un job, recupero dell'output di un job, via remota SSH o web GENIUS)
Servizi “collective” (gestiti centralmente) • Servizi di autenticazione/autorizzazione (VOMS - Virtual Organization Membership Service) • Servizi di allocazione dei job (Resource Broker – allocazione job via matchmaking con le risorse) • Servizi informativi (GRIS Grid Resource Information Service Information Index • Cataloghi di file / repliche (LFC LCG File Catalog localizzazione dei dati, copia dei dati, gestione e replica dei dati, gestione dei meta-dati, MySQL) • User interface
Servizi aggiuntivi di supporto e gestione dell’infrastruttura • Certification Authority (Certificati personali e server di una Registration Authority locale) • Servizi di Monitoring (GridIce monitoring delle risorse, SAM Service Availability Monitoring monitoring dei servizi) • Servizi di Accounting (DGAS - Distributed Grid Accounting: le informazioni sono raccolte in un database Home Location Register) • Servizi di Ticketing per la risoluzione di problemi (Gestione dei trouble ticket)
LFC SAM Grid Service Center II MS TS VOMS GRID UI UI RB SE DGAS Grid Site YAIM CE WN
No jobs Running/Waiting jobs
DISSEMINATION Il laboratorio GILDA Il portale GENIUS
CERN Tier 0 desktop Tier 3-4 (Dip. e Institute) CPU Server CPU Server CPU Server CPU Server desktop desktop Data Server Data Server Data Server Tier 1 (“Regional” naz. and internaz. Center) Tier 2 (“Regional” Centers) Tier-2 Esp.Atlas: RM1, NA desktop CPU Server Esempio di applicazione Scienze del Microcosmo – Fisica delle Alte Energie Hierarchical model Esperimento ATLAS
~PB/s Event Builder 10 GB/s Event Filter 320 MB/s Tier0 ~ 150 MB/s ~10 Tier1 ~50 Mb/s Tier2 ~3-4/T1 Tier3 Il modello generale di calcolo per l’offline e l’analisi dati di un esperimento di Fisica delle Alte Energie (es. Esp.ATLAS, CMS, ALICE, LHC-b) è quello gerarchico multi-Tier. • Tier-0 (CERN) • Archivio dei RAW data ricevuti dall’EF e distribuzione ai Tier1 • Prompt Reconstruction • Distribuzione output ricostruzione (ESD,AOD,TAG) ai Tier-1 • Tier-1 (10) • Accesso a lungo termine e archivio di un subset di RAW data • Copia dei RAW data di un altro Tier-1 • Reprocessing della ricostruzione dei propri RAW data con parametri • di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 • Archivio dati simulati MC prodotti nei Tier-2 • Tier-2 • Simulazione Monte Carlo • Analisidei dati
Esempio di uso del Tier-2 di Napoli in termini di CPU time e Wall Time ATLAS Altre VO
L’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europea • L’organizzazione del progetto in work packages • Il prototipo presso il Dipartimento di Scienze Fisiche
Resp. Scientifico G. MARRUCCI Resp. Amministr. E. CESARO Comitato Direttivo G. MARRUCCI V. BARONE G. FRANCESCHETTI N. MAZZOCCA L. MEROLA A. MURLI G. RUSSO F. SALVATORE G. VENTRE Aree scientifiche Middleware A&B (30 prof. + ric.) Scienze del Microcosmo e del Macrocosmo (19 prof. + ric.) Scienze dei Materiali e dell’Ambiente (37 prof. + ric.) Scienze della Vita (42 prof. + ric.) Work Packages WP1 PROGETTAZIONE, REALIZZAZIONE E TEST DELL'INFRASTRUTTURA DI CALCOLO E GRID ( 1 contr. ) WP2 IMPLEMENTAZIONE DEL MIDDLEWARE DI BASE DELLA PIATTAFORMA GRID ( 3 contr. ) WP3 REALIZZAZIONE E GESTIONE DELLA VO E DELLE RISORSE E SUPPORTO AGLI UTENTI ( 2 contr. ) WP6 DIFFUSIONE DEI RISULTATI E TRAINING AGLI UTENTI ( 0 contr. ) WP4 PROGETTAZIONE E SVILUPPO DI MIDDLEWARE APPLICATIVO E SVILUPPO DELLE APPLICAZIONI SCIENTIFICHE ( 34 contr. ) WP5 INTEGRAZIONE DELLA GRID SCOPE NELL'INFRASTRUTTURA NAZIONALE ED INTERNAZIONALE ( 1 contr. )
L’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europea • L’organizzazione del progetto in work packages • Il prototipo presso il Dipartimento di Scienze Fisiche
PON S.CO.P.E. CAMPUS GRID MSA DSF INFN Fibra ottica DiChi DMA GARR C.S.I. Centro PON S.CO.P.E. Cabina elettrica G.E. 1 MW Liv.1 ed G Tier2–ATLAS Prototipo SCoPE Dipartimento di Scienze Fisiche INFN Edificio G
9 marzo 2007 14 marzo 2007
Risorse di calcolo e di storage previste nel PON Da integrare nell’infrastruttura grid nazionale ed internazionale (Grid.It, INFN-Grid, EGEE) Scientific Linux 3.x, 4.x LCG/EGEE m/w
Sala Tier-2 ATLAS Prototipo SCoPE Sala infrastruttura Principale Campus Grid
UPS INFN 60 kVA Rack-2 TIER-2 ATLAS Rack UNIV. FED II Rack-1 TIER-2 ATLAS LOCALE TIER-2 ATLAS SIST. ANTINCENDIO 8 biproc. dual core 17 biproc. Monitoraggio ambientale (T, HV, UPS) PC1 7 biproc. dual core Servers servizi PC2 switch SW Monitoring (servers, storage) SE + 9 TB SE + 25 TB HW Monitoring (Operating Systems) PC3 switch switch CISCO 3750 1 Gb/s 1 Gb/s GRID Monitoring (infrastruttura, servizi) PC4 Unità di raffreddamento Unità di raffreddamento Unità di raffreddamento UPS INFN 400 kVA Backup system PRESENTER 42” GRUPPO ELETTRO GENO UniNA CHILLER Locali o spazi esterni Locali PON SCoPE 1 Gb/s Campus Grid Network Tier-2 ATLAS e Prototipo SCoPE
S C O P E A T L A S PC monitoring Servers per servizi Computing element Storage element Worker Nodes Unità di raffreddamento
Siti Campus Grid N x1 Gbps GARR 10 Gbps 2.5 Gbps Pon UniNA Tier 2 Campus Grid 1 Gbps 1 Gbps 10 Gbps 2 x1Gbps 1 Gbps 100/200 Mbps 1 Gbps 1 Gbps 1 Gbps LAN INFN MAN UNINA Le Connessioni di Rete
PONSCoPE INFRASTRUTTURA e SERVIZIGRID Man power a regime nel Centro SCoPE Man power allo startup del Prototipo SCOPE Registration Authority Federico II wp2 wp2/wp3 • N. 4 persone intercambiabili • e specializzate a 2 a 2: • 2 per VOMS e LFC • 2 per RB e II CPU1 YAIM Repository pacchetti e profili di GRID • N. 4 persone intercambiabili • e specializzate a 2 a 2: • 2 per VOMS e LFC • 2 per RB e II CPU2-CPU2’ VOMS CPU3-CPU3’ RB - II CPU4 LFC N. 2 persone CPU5 CE CPU6 WN CPU7 SE CPU8 UI N. 4 persone N. 2 persone CPU10 SAM CPU11 GENIUS CPU12 Ticketing N. 2 persone CPU9 GridICE Totale man power startup prototipo: n. 8 persone Totale man power a regime: n. 10 persone COLLECTIVE CORE
Tempistica e Conclusioni Obiettivi Intermedi (OR) OR1: Specifiche generali OR2: Modellizzazione OR3: Logistica e sistemi OR4: Middleware di base OR5: Attivazione del sistema OR6: Middleware applicativo OR7: Sviluppo algoritmi e prime applicazioni OR8: Sviluppo Applicazioni Integrate OR9: Potenziamento di reti di collaborazione scientifica OR10: Diffusione dei risultati I Fase:Costruzione dell’Edificio e realizzazione degli Impianti. Realizzazione della GRID (e della VO) d’Ateneo integrando le preesistenze e costruendo i servizi Grid collective e core. Uso delle APPLICAZIONI II Fase:Acquisizione e messa in produzione delle risorse di calcolo/storage. Integrazione delle infrastrutture GRID dei 4 PON. Uso delle APPLICAZIONI III Fase:Operatività a regime del Centro ScoPE . Integrazione nella GRID nazionale ed europea LCG/EGEE Uso delle APPLICAZIONI