1 / 38

Introduzione

Progetto S.Co.P.E. – WP4 Progettazione e sviluppo di middleware applicativo e sviluppo delle applicazioni. Introduzione. Almerico Murli. Workshop del 21 Febbraio 2008. Obiettivi del progetto S.Co.P.E.

conan-dickerson
Download Presentation

Introduzione

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Progetto S.Co.P.E. – WP4 Progettazione e sviluppo di middleware applicativo e sviluppo delle applicazioni Introduzione Almerico Murli Workshop del 21 Febbraio 2008

  2. Obiettivi del progetto S.Co.P.E. • Realizzazione di un Sistema di Calcolo ad Alte Prestazioni, orientato ad applicazioni scientifiche multidisciplinari, che operi secondo il paradigma GRID, dedicato alla modellistica computazionale … per ricerche nelle aree applicative di interesse del progetto (Scienze del Microcosmo e del Macrocosmo, Scienze della Vita, Scienze dei Materiali e dell'Ambiente, …) • …sviluppare simulazioni computazionali relative alle applicazioni in tali settori,… realizzando codici innovativi, … al fine di fornire un significativo avanzamento della conoscenza nei vari settori Computational Science

  3. Applicazioni Middleware • L’ obiettivo principale del WP4 è: Infrastruttura S.Co.P.E. Sviluppare applicazioni che possono sfruttare efficientemente l’infrastruttura S.Co.P.E. anche attraverso la definizione di un opportuno middleware

  4. Architettura del progetto S.Co.P.E. WP 4 WP 2/3 WP 1

  5. Le applicazioni e la griglia Per classificare le applicazioni rispetto all’ambiente di esecuzione è necessario rispondere alla domanda: I.Foster, C. Kesselmann “What types of applications will grids be used for?”

  6. Classi di applicazioni per GRID • High performance computing (HPC) o supercomputing: applicazioni che utilizzano la griglia per trattare problemi su larga scala. Tali applicazioni sono caratterizzate da: • un insieme elevato di task “fortemente” collegati, • necessità di molte risorse (CPU, Memoria, ecc…) • necessità di ottenere un risultato in un tempo fissato , realtime(molti calcoli nel più breve tempo possibile – pochi minuti) • Esempi: • Chimica computazionale ab initio, • inquinamento elettromagnetico • …

  7. Classi di applicazioni per GRID • High-throughput computing (HTC): applicazioni che utilizzano la griglia per trattare problemi su larga scala. Tali applicazioni sono caratterizzate da: • un insieme elevato di task “scarsamente” collegati o addirittura indipendenti • necessità di molte risorse (CPU, Memoria, ecc…) • necessità di ottenere un risultato che richiede un elevato numero di esecuzioni in un tempo non necessariamente fissato(la massima quantità di calcoli in un tempo non necessariamente breve – anche alcuni mesi) • Esempi: • Fisica delle alte energie, • studi parametrici, • …

  8. Classi di applicazioni per GRID • Data intensive computing: applicazioni che interagiscono con grosse quantità di dati. Tali applicazioni sono caratterizzate da: • enormi flussi di dati memorizzati su risorse geograficamente distribuite • necessità di risorse di storage elevate • necessità di accedere ai dati in maniera rapida ed efficiente • Esempi: • Fisica delle alte energie, • Astronomia, • Bioinformatica, • …

  9. Classi di applicazioni per GRID • On demand computing: “Paghi quello che usi” • Utilizzazione di risorse della griglia (hardware, software, sensori, ecc…), per breve tempo e all’occorrenza • Collaborative computing: • Tale utilizzo si concretizza con la realizzazione del “Laboratorio Virtuale” • tale utilizzo della griglia “emula” l’attuale accesso • alle informazioni via Web

  10. Classificazione delle applicazioni Scienze della vita (G. Paolella) Astrofisica (L. Milano) Scienze dei materiali (V. Barone) Fisica subnucleare (L. Merola) Astrofisica (G .Longo) Elettrom. e Telecom. (G. Franceschetti) Scienze dei materiali (D. Ninno) Elettrotecnica (G. Rubinacci) Scienze dei materiali (A. Coniglio) Scienze soc. e stat. (C. Lauro) High performance computing High-throughput computing Data Intensive computing On demand computing Collaborative computing Ingegneria chimica (P. Maffettone) Misure elet. e elettron. (L. Angrisani) Matematica Numerica (A.Murli)

  11. Il middleware LCG/gLite, nato in ambito CERN/INFN è, naturalmente, particolarmente adatto ad applicazioni data-intensive computing e high-throughput computing tipiche di alcuni campi della Fisica MA • carente relativamente alle applicazioni di high performance computing, verso le quali gran parte della comunità scientifica del progetto mostra interesse.

  12. Necessità di adeguare il middleware per applicazioni di supercomputing • Introduzione di strumenti per la realizzazione di applicazioni parallele multi-sito, ad es: • PACX-MPI, • MPICH-G2, • … • Strumenti per il mantenimento di prestazioni e la gestione dei guasti su macchine parallele multi-sito • …

  13. L’interoperabilità • Lo IEEE definisce l’interoperabilità come: “The capability to communicate, execute programs, or transfer data among various functional units in a manner that requires the user to have little or no knowledge of the unique characteristics of those units” Capacità di macchine diverse con sistemi HW/SW diversi di interagiregrazie a specifiche e procedure generali e standard Institute of Electrical and Electronics Engineers. IEEE Standard Computer Dictionary: A Compilation of IEEE Standard Computer Glossaries. New York, NY: 2004

  14. “Interoperation” vs. “Interoperability” • Interoperation “Just make it work together” • Whatever it takes, could be ad-hoc, undocumented, fragile • Low hanging fruit, future interoperability Charlie Catlett (Director, NSF TeraGrid) and Satoshi Matsuoka (Sub Project Director, NAREGI Project) “From Interoperation to Interoperability” - GGF16 “Grid Interoperations Now” Capacità di macchine diverse con sistemi HW/SW diversi di interagiresulla base di soluzioni ad-hoc e non standard

  15. Interop{eration, erability} “Perfect Interoperability is the enemy of Interoperation” CIOÈ Charlie Catlett (Director, NSF TeraGrid) “Multi-Grid Interoperation Planning and Exploration of Production Interoperation Opportunities”, Multi-Grid Interoperation Planning Meeting, 2005 “Il meglio è nemico del bene”

  16. Proposte di arricchimento del middleware per l’interoperabilitá • Introduzione di meccanismi per l’interoperabilità tra middleware differenti: • GRelC (Grid Relational Catalog Project) • http://grelc.unile.it/home.php • GridWay Metascheduler • http://www.gridway.org/doku.php • …

  17. Costruzione del Middleware applicativo Attività svolte • Si è provveduto a formare un gruppo di lavoro, costituito dai referenti delle applicazioni e da referenti dei WP 2, 3 e 4 per: • Censire le applicazioni di interesse della comunità scientifica della Federico II • Definire il middleware applicativo • Individuare le modalità di integrazione delle applicazioni nell’infrastruttura GRID SCoPE

  18. Componenti gruppo di lavoro • Dipartimento di Scienze Fisiche: • P. Coraggio, F. Conventi, M. Biglietti, P. Doria, F. Trani, L. Milano, G. Longo, G. D’Angelo, A. Coniglio, M. Pica Ciamarra • Dipartimento di Ingegneria Chimica: • P.L. Maffettone, G. D'Avino, S. Crescitelli, A. Brasiello • Dipartimento di Matematica e Statistica: • R. Miele • Dipartimento di Elettronica e Telecomunicazioni: • R. Guida, P. Imperatore, A. Capozzoli, P. Vinetti • Dipartimento di Informatica e Sistemistica: • F. Moscato • Dipartimento di Biochimica e Biotecnologie Mediche: • G. Busiello, M. Petrillo

  19. Componenti gruppo di lavoro • Dipartimento di Chimica: • O. Crescenzi, M. Pesole, C. Garzillo, P. Caruso • Dipartimento di Matematica ed Applicazioni: • G. Laccetti, D. Romano • Misure Elettriche ed Elettroniche: • L. Angrisani, A. Napolitano, R. Schiano Lo Moriello • Dipartimento di Ingegneria Elettrica: • G. Rubinacci, A. Chiarello, D. Assante • ICTP-CNR: • L. Carracciuolo • CSI: • G. Barone, S. Pardi

  20. Costruzione del middlewaredi riferimento del progetto SCoPE Applicazioni ? Grid Services + LCG/gLite

  21. Astrofisica Applicazioni Astrofisica Medium Level GSL Grid Services Low Level LCG/gLite

  22. Fisica Subnucleare Applicazioni Astrofisica Fisica subnucleare EGEE VO ATLAS Toolkit Medium Level GSL Grid Services Low Level LCG/gLite

  23. Matematica Numerica Applicazioni Astrofisica Fisica Matematica Numerica Fisica subnucleare EGEE VO ATLAS Toolkit Medium Level PETSc MPI BLAS LAPACK GSL Grid Services Low Level LCG/gLite

  24. Elettromagnetismo e telecomunicazioni Applicazioni Astrofisica Fisica Matematica Numerica Fisica subnucleare Elettromagnetismo telecomunicazioni EGEE VO ATLAS Toolkit Medium Level PETSc IDL MPI MPI BLAS LAPACK GSL Grid Services Low Level LCG/gLite

  25. Scienze dei materiali e dell’ambiente Applicazioni Astrofisica Fisica Matematica Numerica Scienze dei materiali e dell’ambiente Fisica subnucleare Elettromagnetismo telecomunicazioni EGEE VO ATLAS Toolkit Medium Level Espresso GAUSSIAN GROMACS PETSc IDL MPI MPI BLAS BLAS LAPACK LAPACK FFTW ScaLAPACK GSL Grid Services Low Level LCG/gLite

  26. Ingegneria Chimica Applicazioni Astrofisica Fisica Matematica Numerica Scienze dei materiali e dell’ambiente Fisica subnucleare Ingegneria Chimica Elettromagnetismo telecomunicazioni EGEE VO ATLAS Toolkit Medium Level Espresso GAUSSIAN GROMACS PETSc IDL GROMACS PARDISO MUMPS MPI MPI BLAS BLAS LAPACK LAPACK FFTW GSL ScaLAPACK ScaLAPACK BLACS Grid Services Low Level LCG/gLite

  27. Misure Elettriche ed Elettroniche Astrofisica Fisica Matematica Numerica Scienze dei materiali e dell’ambiente Misure elettriche ed elettroniche Ingegneria Chimica Fisica subnucleare Elettromagnetismo telecomunicazioni EGEE VO ATLAS Toolkit Medium Level Espresso GAUSSIAN GROMACS PETSc IDL MATLAB PARDISO MUMPS MPI BLAS LAPACK FFTW FFTW FFTW GSL ScaLAPACK BLACS Grid Services Low Level LCG/gLite

  28. Elettrotecnica Fisica Astrofisica Matematica Numerica Scienze dei materiali e dell’ambiente Elettrotecnica Misure elettriche ed elettroniche Ingegneria Chimica Fisica subnucleare Elettromagnetismo telecomunicazioni EGEE VO ATLAS Toolkit Medium Level Espresso GAUSSIAN GROMACS PETSc IDL MATLAB PARDISO MUMPS IMSL MPI BLAS LAPACK FFTW GSL ScaLAPACK BLACS Grid Services Low Level LCG/gLite

  29. Scienze della vita Scienze della vita Fisica Astrofisica Matematica Numerica Scienze dei materiali e dell’ambiente Elettrotecnica Misure elettriche ed elettroniche Ingegneria Chimica Fisica subnucleare Elettromagnetismo telecomunicazioni EGEE VO ATLAS Toolkit Medium Level Espresso GAUSSIAN GROMACS PETSc IDL MATLAB PARDISO MUMPS IMSL BLAST MPI BLAS LAPACK FFTW GSL ScaLAPACK BLACS Grid Services Low Level LCG/gLite

  30. EGEE VO ATLAS Toolkit Espresso GAUSSIAN GROMACS MATLAB PETSc IDL Medium Level PARDISO MUMPS IMSL BLAST MPI BLAS LAPACK FFTW GSL ScaLAPACK BLACS Grid Services Low Level LCG/gLite Composizione attuale del middleware Per consentire a tutte le applicazioni di utilizzare l’infrastruttura di progetto è necessario rendere fruibile alla VO scope l’insieme del middleware applicativo

  31. Costruzione del toolkit relativo al middleware applicativo • Definizione della composizione del toolkit della VO SCOPE mediante censimento delle librerie utilizzate dalle applicazioni • Individuazione delle procedure di costruzione, installazione e validazione del toolkit (in collaborazione con WP 2 e 3 e “gruppo operativo per l’interoperabilità”) • Diffusione del toolkit sulle infrastrutture degli altri PON

  32. Prospettive di progetto • Completare il “porting” delle applicazioni censite sull’infrastruttura SCoPE e in modo che possano usufruire anche delle infrastrutture degli altri 3 PON • Integrare le applicazioni e il middleware con i meccanismi necessari a renderle grid-awarecioè capaci di “adattarsi” alla struttura dinamica delle griglie computazionali. • Realizzare il “laboratorio virtuale”

  33. Conferenza Nazionale Italian e-Science 2008 IES08 27-29 maggio 2008 Universita’ degli di Studi di Napoli Federico II Aula Magna, Complesso Universitario Monte S. Angelo, via Cintia, Napoli Convegno sui progetti Avviso 1575/2004

  34. Il termine “e-Science” caratterizza la ricerca scientifica che utilizza risorse di calcolo ad alte prestazioni geograficamente distribuite e grandi quantità di dati. Con tale termine ci si riferisce anche alla ricerca scientifica su larga scala condotta attraverso collaborazioni distribuite via Internet. In tal senso un esempio significativo e’ costituito dalla fisica delle particelle, che utilizza una infrastruttura di e-Science per accedere ad adeguate risorse di calcolo per l’analisi dei risultati e di immagazzinamento dei dati prodotti dall’esperimento LHC del CERN. Altri esempi riguardano, la scienza dei materiali, la chimica computazionale, l’astrofisica, le scienze della terra, le scienze sociali, le scienze della vita , etc. La grid rappresenta quindi l’infrastruttura indispensabile per la realizzazione di una tale visione della scienza. Scopo del convegno è condividere i risultati ottenuti dai 4 progetti cofinanziati nell’ambito dell’Avviso 1575/2004 con le altre realtà italiane in varie aree dell’e-Science, quali lo sviluppo di nuovi frameworks applicativi di e-Science, tecnologie grid per l’e-Learning, la possibilita’ di accesso trasparente ad archivi digitali, grid computing, etc. Verranno presentati i risultati dei progetti finanziati dal PON su queste aree, nonché i progressi nel campo delle tecnologie grid per l’e-Science al fine di contribuire all’integrazione dei progetti stessi in un unico sistema virtuale per il sud Italia, con strette relazioni con i progetti nazionali ed europei. La conferenza costituirà, da una parte un forum per i progetti cofinanziati nell’ambito del programma e per la comunità italiana di e-Science con il fine di mostrare i risultati ottenuti, e dall’altra rappresenta un’ occasione in cui gli esperti delle comunità scientifiche di e-Science italiane potranno incontrare, in particolare, quelli dell’e-infrastruttura meridionale. Data la presenza attiva di responsabili del Ministero, la conferenza sara’ anche un momento di confronto per delineare le linee guida per le future strategie nazionali in questo settore.

  35. Comitato di Programma: Prof. F. Beltrame, Università degli Studi di Genova e MiUR Prof. A. Camurri, Università degli Studi di Genova Dr.ssa Claudia Galletti, AdG del PON Ricerca (MiUR) Dr. D. Laforenza, CNR Prof. G. Marrucci, Università degli Studi di Napoli Federico II Dr. A. Masoni, INFN Sez. di Cagliari Prof. M. Mazzucato, INFN – CNAF Ing. S. Migliori, Enea Prof. A. Murli, Universita’ degli Studi di Napoli Federico II Prof. G. Pappalardo, Università degli Studi di Catania Prof. P. Ritrovato, Università degli Studi di Salerno Prof. S. Salerno, Università degli Studi di Salerno

  36. Comitato Organizzatore: Prof. V. Barone, Università degli Studi di Napoli Federico II Sig.ra E. Cesaro, Università degli Studi di Napoli Federico II Dr. M.R. Fario, Università degli Studi di Napoli Federico II Prof. G. Franceschetti, Università degli Studi di Napoli Federico II Dr. P. Mastroserio, INFN Sez. di Napoli Prof. N. Mazzocca, Università degli Studi di Napoli Federico II Prof. L. Merola, Università degli Studi di Napoli Federico II e INFN Sez. di NA Prof. A. Murli, Università degli Studi di Napoli Federico II (CHAIRMAN) Prof. G. Paolella, Università degli Studi di Napoli Federico II Prof. G. Russo, Università degli Studi di Napoli Federico II e ARPA Prof. S. Salerno, Università di degli Studi di Salerno Prof. F. Salvatore, Università degli Studi di Napoli Federico II e CEINGE Prof. G. Ventre, Università degli Studi di Napoli Federico II e CRIAI

  37. Sito web: • http://www.scope.unina.it • Date importanti: • Apertura registrazione e sottomissione Poster Abstract: 25 Febbraio 2008 • Chiusura sottomissione Poster Abstract: 15 Aprile 2008 • Comunicazione accettazione Poster Abstract: entro il 10 Maggio 2008 • Chiusura delle iscrizioni: 13 Maggio 2008

  38. Programma degli Interventi • Prof. Barone ( Dott. Brancato ) • Prof. Franceschetti • Prof. Laccetti • Prof. Maffettone • Prof. Ninno ( Dott. Trani ) • Prof. Longo • Prof. Merola • Prof. Milano (Dott. Garufi ) • Prof. Paolella

More Related