480 likes | 700 Views
ITALIAN NATIONAL AGENCY. FOR NEW TECNOLOGY, ENERGY. AND THE ENVIRONMENT. Silvio Migliori Responsabile Scientifico Andrea Quintiliani Responsabile Amministrativo ENEA-Dipartimento Tecnologie Fisiche e Nuovi Materiali (FIM). Il Progetto CRESCO ed ENEA-GRID. Contenuto
E N D
ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT
Silvio MiglioriResponsabile Scientifico Andrea Quintiliani Responsabile Amministrativo ENEA-Dipartimento Tecnologie Fisiche e Nuovi Materiali (FIM) Il Progetto CRESCO ed ENEA-GRID Contenuto • L’Infrastruttura ENEA-GRID • Il progetto CRESCO: i risultati scientifici ed i “Laboratori Virtuali” • Una infrastruttura Nazionale ICT a supporto dello sviluppo del sistema “Paese”
Ringraziamenti (1) • Ministero della Ricerca e dell’Università (MUR) • Direzione dell’ENEA • Capo Dipartimento Ing. Sandro Taglienti • Comitato Scientifico: J. Dongarra, A. Mathis, D. Ferrari • Macrostruttura di progetto : Andrea Quintiliani, Vittorio Rosato, Sandro Bologna • Collaboratori direttamente coinvolti : Giovanni Bracco, Salvatore Podda, Samuele Pierattini, Pietro D’Angelo, Daniele Remoli, Pasquale Cuomo, Francesco Beone, Antonio Perozziello, Carlo Pinto, Gazziano Furini,Cristina Baracca, Giorgio Mencuccini, Erminia Mattei, Gloria Tabili, Nadia Mencucci, CaterinaVinci, Dante Giammattei, Alessandro De Stefano,Vincenzo Colaci,, Matteo De Rosa • Il personale dell’Unità FIM-INFOGER coordinata da Roberto Guadagni
Ringraziamenti (2) • Il personale del Centro ENEA di Portici e il Direttore Ezio Terzini • I ricercatori assegnisti di ricerca del progetto CRESCO • Università, Consorzi e Società Partner di progetto • Tutti i Ricercatori ENEA ed i rispettivi responsabili coinvolti (circa 60 ricercatori dei Centri di Portici, Trisaia, Brindisi) • Il personale delle unità dell’Ufficio di Presidenza coordinate da Susanna Del Bufalo, Elisabetta Pasta e Diana Savelli • Il personale della ditta Computer Var e IBM per la realizzazione dell’infrastruttura
TELEMICROSCOPY & GRID - BASED COMPUTINGREMOTE ACCESS FOR DATA ACQUISITION AND ANALYSIS By-Mark Ellisman DATA ACQUISITION DATA ANALYSIS ADV.-COMP.-GRAPHICS NETWORK Cell Centered Data Base “CCDB” COMP.-RESOURCES MULTI-SCALE-DATA-BASES IMAGING-INSTRUMENTS
Application User Collective Resource Software catalogs Computers Connectivity Fabric Colleagues & 3D Data archives ENEA-GRID • Nasce nel 1998 con 6 cluster geografici “ Quadrics Ape100” • Principali finalità • Fornire ai ricercatori ENEA un ambiente unificato per l’utilizzo delle risorse informatiche eterogenee distribuite nei diversi centri di calcolo o Dipartimenti; • Realizzare un’infrastruttura che avesse la possibilità di distribuire i livelli di gestione e sviluppo conservandone l’unicità architetturale e di utilizzo; • Integrarsi con le principali infrastrutture ICT nazionali ed internazionali ENEA-GRID www.afs.enea.it/project/eneagrid Sensor nets
ENEA-GRID from the user point of view • Main feature: • Access from any kind of connection • Sharing data in world wide areas (geographical file system AFS) • Access to the data from any kind of digital device client • Running any kind of programs • Access to National and International GRIDS Computers Computers Computers Computers Computers Data archives ENEA-GRID Sensor nets Sensor nets Software catalogs EU… Trisaia Brindisi Portici ( Roma-1 Roma-2 Bologna
ENEA-GRID from application point of view • Potentiality: • Running all Software Model for any kind of computer architecture • Only one installation for each software for all geographical computers • All authorized users can have access the software from local site • Any application can share the data in the common geographical file system • All sensors can share the data easily using the geographical file systems Software Model 1 Computers Computers Computers Computers Rules Software Model 2 ENEA-GRID Software Model 3 Software Model .. Sensor nets Sensor nets Software catalogs EU… Trisaia Brindisi Portici ( Roma-1 Roma-2 Bologna
User programs and commercial codes LSF multi-cluster as integrator AIX SGI … ENEA GRID WEB ICA Application Portal (ICA-Protocol) Graphical User Interface Quality of service Monitoring, Automatic recovery Accaunting XTERM LSF AFS Geographical cross platform& File System Linux Alpha SUN Win Linux HP
WEB WEB WEB WEB WEB WEB ICA ICA ICA ICA ICA ICA User programs & commercial code User programs & commercial code User programs & commercial code User programs & commercial code User programs & commercial code Graphic User Interface Graphic User Interface Graphic User Interface Graphic User Interface Graphic User Interface Graphic User Interface LSF multi-cluster as integrator LSF multi-cluster as integrator LSF multi-cluster as integrator LSF multi-cluster as integrator LSF multi-cluster as integrator Load Leveler Load Leveler Load Leveler Load Leveler Load Leveler Load Leveler Telnet Telnet Telnet Telnet Telnet Telnet LSF LSF LSF LSF LSF LSF Cluster 3° (Frascati) Cluster 1° ( Bologna) Cluster 4° (Trisaia ) Cluster 2° (Casaccia) AFS Geographical cross platform& File System AFS Geographical cross platform& File System AFS Geographical cross platform& File System & File System AFS Geographical cross platform& File System Cluster 6° ( Brindisi) Cluster 5° ( Portici) A Simple view of ENEA GRID ENEA GRID
I centri computazionali di ENEA-GRID L'ENEA, Ente per le Nuove tecnologie, l’Energia e l’Ambiente • Le principali presenze nel territorio nazionale sono rappresentate da 12 centri di ricerca di cui 6 sono corredati di infrastrutture per il calcolo scientifico e grafica 3D: • Bologna • Casaccia(Roma Nord) • Frascati • Trisaia (MT) • Portici (NA) • Brindisi • L’intera infrastruttura è progettata, sviluppata e gestita dal Dipartimento Fisica dei Materiali (FIM) Centro di Brindisi
Connessioni delle LAN ENEA alla rete GARR L’ENEA gestisce in proprio le reti locali (LAN) su tutti I centri mentre la connettività fra i centri (WAN) è garantita dal “Consortium GARR” di cui l’ENEA è socio ENEA & GARR 9 PoP, da 18 a 1000 Mbps Centri ENEA-GRID Brindisi (150 Mbps) Bologna (30 Mbps) Casaccia (100 Mbps) Frascati (135 Mbps) Portici (2000 Mbps) New Fibra Spenta CRESCO-SCOPE Trisaia (18 Mbps)
Centri computazionali ENEA-GRID Ispra Saluggia BOLOGNA 30 S.Teresa #CPU/Core CASACCIA 140 400 Manfredonia FRASCATI 2750 90 PORTICI BRINDISI 45 TRISAIA
OS #CPU/Core Gflops AIX >300 3000 Frascati(258), Bologna(24), Portici(18),Brindisi(2) Linux x86 32/64 >3000 25000 Frascati(140), Casaccia(54), Portici(2700),Trisaia(20), Brindisi(84) Linux IA64 (Altix) 64 300 Casaccia IRIX 26 40 Frascati(8), Casaccia(4), Portici(1),Trisaia(8), Brindisi(1), Bologna(5) Solaris 8 10 Trisaia(4), Casaccia(2), Bologna(2) Windows 32/64 46 100 Frascati(4), Portici(34),Trisaia(4), Brindisi(4) Mac OS X 14 60 Frascati(1), Trisaia(13) RISORSE COMPUTAZIONALI ENEA-GRID I centri di calcolo e suppercalcolo di Portici (NA) , Brindisi e Trisaia (MT) sono stati potenziati con i progetti PON TELEGRID (Avv. MIUR 68)CRESCO (Avv. MUR 1575)
CRESCO in the Top500 List June 2008 Italy (06/2008) Jack Dongarra 2002
GEANT 2 0 0 9 pace.bologna.enea.it dafne.casaccia.enea.it sp5-1.frascati.enea.it Portici Kleos.portici.enea.it infocal.trisia.enea.it Gateway to EGEE & GRISU Brindisi ercules.brindisi.enea.it Accesso WEB Accesso Client Accesso Diretto www.afs.enea.it/project/eneagrid www.cresco.enea.it
PI2S2 La ENEA-GRID interopera con altre GRID EFDA EGEE • ENEA ha sviluppato la soluzione “shared proxy” • Conserva l’autonomia architetturale interna • Consente implementazioni multipiattaforma • In produzione in EGEE • In produzione per la rete GRISU • Richiesto da EFDA per l’accesso ad EGEE GARR GARR Altri Enti e realtà
ENEA-GRID & GRISU & IGI IGI Italian GRID Infrastructure Ispra Saluggia INFN-GRID BOLOGNA ENEA-GRID S.Teresa CASACCIA Manfredonia FRASCATI PORTICI BRINDISI TRISAIA GRISU SPACI
ENEA-GRID: Interoperabilità GARR GARR PI2S2 L'interoperabiltà con gLite: realizzata col metodo SPAGO (Shared Proxy Approach for Grid Objects): una o piu' macchine proxy gLite che condividono lo spazio disco con i worker node ENEA-GRID ENEA-GRID G. Bracco, IES08, Napoli, May 27-29 2008
Il progetto CRESCO (PON 1575)
Il Progetto CRESCOCentro computazionale di RicErca sui Sistemi COmplessi Linee di attività progettuali LA1 Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing LA2 Sviluppo di tecnologie e modelli computazionali per la descrizione di sistemi complessi di origine biologica e di materiali innovativi LA3 Sviluppo di modelli di simulazione ed analisi delle Reti Tecnologiche complesse e delle loro interdipendenze (energetiche, telecomunicazioni, trasporti,…)
N° 7 Scientific Relations • Session 1 • Impact of a two-way grid refinement at the Strait of Gibraltar on the thermohaline circulation of the Mediterranean Sea • Porting the MIT-Global Circulation Model on the Cell section of the CRESCO System • Session 2 • Parallel implementations of Genetic Algorithms for parameters estimate of metabolic pathways • Materials for hydrogen storage: ab-initio Molecular Dynamics study in the ENEA-GRID environment • Session 3 • Numerical Simulation of Turbulent Combustion on CRESCO Platform • ENEA-GRID and gLite Interoperability: robustness of SPAGO approach • New ENEA-GRID Integrated Support Services for CRESCO
N° 16 Poster CRESCO • Software tools for monitoring ENEA GRID with CRESCO cluster integration. • Parallel programming in Matlab environment on CRESCO cluster, interactive and batch mode. • Parallel implementations of the genetic algorithm for parameters estimate of metabolic pathways. • OpenFOAM and Fluent features in CFD simulations on CRESCO High Power Computing system. • Laser scanner technologies and 3D models integration: analysis and methodological approach. • Web Crawling on ENEA GRID infrastructure to perform Web Archive. • A new metric to describe the efficiency of data communication networks. • Applications of imaging analysis to tokamak fusion plasma by enea- grid technologies
Poster CRESCO • CUDA based implementation of parallelized Pollard’s Rho algorithm for ECDLP • Numerical and Statistical tools for images analysis based on the database from Frascati Tokamak Upgrade. • Interdependencies among critical infrastructures. • CRESCO HPC system integrated into ENEA grid environment • Analysing a large Telecommunications Network on failure/repair sequences by NS2 simulation on a computational grid. • Visualization of 3D laser scanner data from an archeological site using openscenegraph in ENEA-Grid environment. • Models and tools for the evaluation of service availability of interconnected networks. • MAGO Monitoring all Grid Objects
Stand CRESCO • Accesso sistema CRESCO/ENEA-GRID • Visualizzazione 3D dati scientifici • Descrizioni generali attività ENEA-GRID
Il Progetto CRESCOCentro computazionale di RicErca sui Sistemi COmplessi • Potenziamento delle funzioni tradizionali dell’ENEA • la ricerca – sarà fornito supporto (di tipo sia capacity che capability), attraverso l’utilizzo dell’infrastruttura di calcolo, ad attività di ricerca già in corso di svolgimento nell’Ente nell’ambito delle linee programmatiche esistenti; tali attività potranno anche avere una focalizzazione di natura industriale; • la formazione – potranno essere potenziate le attività di formazione, in collaborazione con alcune sedi universitarie, al fine di supportare la diffusione delle metodologie sviluppate all’interno del Polo Multidisciplinare negli ambiti tematici oggetto di studio e ricerca, con positive ricadute anche nella creazione di percorsi formativi adatti al successivo reclutamento di personale; • il trasferimento tecnologico – verranno istituiti percorsi ed attivati idonei strumenti per favorire l’applicazione industriale delle tecnologie sviluppate, anche ricorrendo alla collaborazione di idonei partner (“industrial-exploitation partner”).
Macrostruttura del progetto Prof. Jack Dongarra Prof. Domenico Ferrari Prof. Agostino Mathis Direttore dipartimento FIM
Partner di progetto • Università di Salerno • Università di Catania • Università di Lecce • Università di Palermo • Università Campus Biomedico • Università del Piemonte Orientale • Università di Roma “Tor Vergata” • Università di Roma “La Sapienza” • Consorzio Interuniversitario ECONA • Consorzio Interuniversitario CASPUR • Consorzio CRIAI • Consorzio CETMA • Centro di ricerca CERI • Parco Scientifico e Tecnologico della Sicilia • Soc. Ylichron (spin-off ENEA)
IB IB FC FC Sezione 1 (Grande Memoria) 42 Nodi SMP IBM x3850-M2 con 4 Xeon Quad-Core Tigerton E7330 (32/64 GByte RAM 2.4GHz/ 1066MHz/6MB L2) per un totale di 672 core Intel Tigerton Sezione 3 (Speciale) 4 Nodi blades IBM QS21 con 2 Cell BE Processors 3.2 Ghz each. 6 Nodi IBM x3755, 8 Core AMD 8222 con una scheda FPGA VIRTEX5 4 Nodi IBM x 3755, 8 core AMD 8222 con schede NVIDIAQuadro FX 4500 X2 4 Nodi windows8 core 16 Byte RAM Sezione 2 (Alto Parallelismo) 256 Nodi blades IBM HS21 con 2 Xeon Quad-Core Clovertown E5345 (2.33GHz/1333MHz/8MB L2), 16 GB RAM per un totale di 2048 core Intel Clovertown • 35 Nodi di Servizio • Server di : • Front-end • insallazione • AFS • … Doppia Intercconnessione a 1 Gbit 1 Rete a 1 Gbit di gestione 4x10 Gbits 2000 Mbits Struttura a blocchi del sistema HPC CRESCO Sistema backup 300 TByte IBM Tape Library TS3500 con 4 drive SERVER BACKUP 3 NodiIBM 3650 Interconnessione InfiniBand 4XDDR SERVER GPFS 4 NodiIBM 3650 Sistema Dischi ad alta velocità 2 GByte/s 160 TByteIBM/DDN 9550 SCPE Fibra Spenta Portici LAN GARR (WAN)
Rete INFINBAND CRESCO SM (ACTIVE) SM (standby SFS-7000D (D) SFS-7000D (e) SFS 7000D (2) (2) (4) (2) (2) (4) (2) (4) (4) (4) (2) SFS 7000D (4) SFS-7024-288P SFS7000D (4) (4) 4 X FRONT END GRAFICI SFS7012-144-P 4 X FRONT END GRAFICI (4) (4) 4X FRONT END 4X FRONT END BACK-UP 42 X 3850M2 10 X 3755 4X HS21 4 QS21 SECTION 1 SECTION 3 SECTION 4 252 X HS21 SECTION 2 (4) (2) 2X GPFS NODE 2X GPFS NODE 2X GPFS NODE FC FC STORAGE IBM DCS 9550 InfiniBand 4x DDR 20 Gb/s G. Bracco, IES08, Napoli, May 27-29 2008
Sezione 2 & DDN Sezione 1 & 3 Sala controllo Particolari HPC CRESCO Corridoio Caldo Sezioni 1 &2 RETI: IB/GB Sistema backup
ENEA-GRID & CRESCO Il supercalcolatore CRESCO è integrato in ENEA-GRID
Le potenzialità computazionali ENEA-GRID & CRESCO Un sistema eterogeneo con più di 3000 CPU/core
ENEA Li Università e altri Enti di ricerca Imprese ENEA-GRID & i Laboratori Virtuali ENEA-GRID Schema concettuale dei Laboratori Virtuali supportati dall’infrastruttura ENEA-GRID potenziata dal sistema HPC del progetto CRESCO
Esempio di utilizzo industriale di FLUENT sulla GRID-ENEA Sicurezza ENEA Sicurezza industriale Utente presso la sede industriale Opzioni di sottomissione Opzioni Fluent:
Attività CFD sul GRID ENEA (1) Aviogroup: test di un’applicazione industriale Fase 2 Fase 3 Fase 1 Test per la simulazione distacco I- II stadio VEGA (Tipo di calcolo HPC)
Attività CFD sul GRID ENEA (2) Un set di 3 analisi CFD è stato dedicato al calcolo del carico radiativo sulla base del 1° stadio del Vega in diverse condizioni di volo. E’ stato adottato un approccio bi-fase (fase gassosa + particelle solide di allumina) con il modello radiativo.
Attività CFD sul GRID ENEA(3) E’ stata realizzata un’analisi CFD per valutare l’interazione meccanica tra le particelle di allumina e la parte di sommergenza dell’ugello all’interno del motore del 3° stadio del lanciatore Vega.
Sperimentazione in corso sul GRID-ENEA con PMI e Consorzi CETMA Simulazione flussi di aria nei vagoni ferroviari (Tipo di calcolo HPC)
Sperimentazione in corso sul GRID ENEA con PMI e Consorzi CETMA Simulazioni particolari di un CATAMARANO (Tipo di calcolo HPC)
Centro di Progettazione, Design & Tecnologie dei Materiali CFD case study 2: hydro-dynamics analyses of Fast Ship T-Foil system T-Foil Detail of T-foil mesh 3D Model: trimaran + T-foil Mesh: 15 Millions of cells with dimensions ranging from 1 mm to 550 mm Need of HPC: ENEA GRID The analyses were carried out using 16 CPUs on ENEA GRID with a total running time of 70 h. Results: pressure contour (Pa): flap 0° , cruising speed 31.5 knots
Modello concettuale per il sistema produttivo • Richieste delle imprese • Sicurezza dei dati • Qualità del servizio • Strumenti Competitivi • Proprietà Intellettuale • Gestione Licenze Canale dedicato industria B Canale dedicato industria C Canale dedicato industria A GRISU INTEROPERABILTA’ (IGI) EGEE INFN_GRID • Sistema GRID • Potenziare leCompetenze • Sviluppare l’offerta di servizi • Garantire l’Interoperabilità • Infrastrutture H/S & HPC • Connettività adeguata
CRESCO per la FUSIONE EUROPEA IB Sistema per lo sviluppo e test dei codici per la fusione termonucleare controllata per ITER (Finaziamento EFDA) 1 Tflops di picco Cresco 25 Tflops di picco
ENEA GRID and experimental facilities DNA Sequence system ( ABI Prism 3700) Trisaia DB_2 ENEA GRID DB_1 Controlled Nuclear Fusion: FTU Frascati Tokamak Upgrade Video Acquisition DB_3 Electron Microscope (Brindisi) 300 KeV (sept. 2004) WEB ICA SSH CPUS
Grazie per l'attenzione ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT