Simone Tinti HPC dept. – System Engineer simone.tinti@e4company

1. Simone Tinti HPC dept. – System Engineer simone.tinti@e4company.com

2. Attività R&D • Analisi mercato: prodotti e campi di impiego • Analisi dei componenti • Studi di compatibilità • Misura ed analisi di prestazioni • Tuning sistemi • Validazione soluzioni HPC • Affidabilità www.e4company.com simone.tinti@e4company.com

3. Evoluzione sistemi HPC • L’utilizzo di architetturecluster e’ in continua ascesa, attualmente costituiscono la piattaforma piu’ diffusa per lo sviluppo di applicazioni HPC • Nov 2006: il 72% dei sistemi presenti nella TOP 500 e’ basato su cluster www.e4company.com simone.tinti@e4company.com

4. Evoluzione sistemi operativi • Migrazione da sistemi UNIX a Linux www.e4company.com simone.tinti@e4company.com

5. Evoluzione verso gli standard di mercato • Il 75% dei sistemi è basato su CPU x86 32/64 bit • I sistemi di recente adozione sono basati su CPU multi-core • Gigabit Ethernet entry level • Progressiva riduzione delle soluzioni proprietarie www.e4company.com simone.tinti@e4company.com

6. Evoluzione sistemi HPC • Architettura sistemi • Hardware • (CPU, Interconnesioni) • Software • (SO, MPI) Semplicità Standard Open source • La tecnologia basata su “commodity of the shelf” si va consolidando come la soluzione ideale per le applicazioni HPC: • Miglior rapporto prezzo/prestazioni • Flessibilità • Ampia diffusione => scambio di conoscenze con un ampia community • Facile integrazione con infrastrutture preesistenti www.e4company.com simone.tinti@e4company.com

7. Integrazione di un sistema HPC Requisiti Progettazione Selezione componenti Interconnessione Dimensionamento Deployment Integrazione di servizi Validazione del sistema www.e4company.com simone.tinti@e4company.com

8. Progettazione di un cluster HPC Componenti / Dimensionamento I/O bound Memory bound • Architettura del nodo computazionale • UMA (INTEL) • NUMA (AMD) • Nsocket / nodo • Ncore / socket • RAM ( GB/core) • Interconnessione • Topologia • Tecnologia • GbE • 10 GbE • Infiniband • Myrinet CPU bound Codici eterogenei Analisi dei requisiti Elemento essenziale nella progettazione di un sistema www.e4company.com simone.tinti@e4company.com

9. Scelta del nodo computazionale Architettura Non Uniform Memory Access (AMD) Architettura Uniform Memory Access (INTEL) • Fattore di forma: [1U,5U] • Nsocket: [1,8] • Ncore: [2], 4 da luglio 2007 • Blade: 264 core/rack (1,37 TFLOPS@2,6GHz) • Fattore di forma: [1U,6U] • Nsocket: [1,4] • Ncore: [2,4], 8/16 nel 2008 • Blade: 7U, 28 socket, 56 core • New: blade quad core 528 core/rack!!! (2,8 TFLOPS@2,66GHz) • Dato l’alto numero di combinazioni possibili per effettuare la scelta più idonea occorre affidarsi a: • Analisi • Esperienza … ma soprattutto test! www.e4company.com simone.tinti@e4company.com

10. Nodi computazionali INTEL • Soluzione “classica”: biprocessore dual/quad core, 16 DIMM socket (32GB) Twin 1U • 2 motherboard in uno chassis • 2 CPU quad core / motherboard => 16 core in 1U (85GFLOPS) • Alimentatore condiviso => alta efficienza • 2 x Infiniband 20Gbps HBA integrati • 2 x 8 DIMM socket (32GB/chassis) www.e4company.com simone.tinti@e4company.com

11. Nodi computazionali AMD • Soluzione “classica”: biprocessore dual core, 16 DIMM socket (32GB). Quad core da luglio 2007 E8344: 3U - 4 way Opteron • 4 CPU Opteron Dual Core • 32 DIMM socket (128GB RAM) • 3 slot PCI-Express (2 slot 16x) • 3 slot PCI-X 133MHz 64 bit • 6 HD • Versatile: • Nodo di calcolo • Piattaforma per CAE • Server per applicazioni grafiche www.e4company.com simone.tinti@e4company.com

12. Nodi computazionali AMD E85xx: 5U - 8 way Opteron • 8 CPU Opteron Dual Core • 32 DIMM socket (128GB RAM) • 2 slot PCI-Express 16x • 8 HD • Soluzione di managment • Sistema SMP ideale per simulazione di modelli complessi in ambito fisico, chimico, biomedico www.e4company.com simone.tinti@e4company.com

13. Soluzioni blade AMD / INTEL • Densità estrema: • 66 blade biprocessore quad core • 528 core / rack • 2,8TFLOPS / rack • 66 blade biprocessore dual core AMD Opteron • 264 core / rack • 1,37 TFLOPS / rack INTEL AMD • Interconnessione : GbE, Myrinet, Infiniband • Sistema di raffreddamento innovativo • Alimentazione ad alta efficienza • Ie blade sono alimentate in DC, al conversione AC-> DC avviene all’ingresso del rack. • Efficienza 83%, contro i tradizionali 63-73% www.e4company.com simone.tinti@e4company.com

14. Interconnessioni • Gigabit Ethernet entry level su tutte le soluzioni • Myrinet 10Gb/s • Infiniband DDR 20 + 20 Gb/s (100 Gb/s a breve termine), anche integrata sulla motherboard. Infinipath su slot HTX, per latenze inferiori ai 2 microsecondi • La prima installazione infiniband (24 nodi Opteron) risale al giugno 2005 (CASPUR). Espansa a 36 nodi dati gli eccellenti risultati. www.e4company.com simone.tinti@e4company.com

15. Integrazione di un sistema HPC Requisiti Progettazione Selezione componenti Interconnessione Dimensionamento Deployment Integrazione di servizi Validazione del sistema www.e4company.com simone.tinti@e4company.com

16. FC storage Integrazione di servizi • L’offerta HPC è integrabile da una gamma completa di soluzioni storage (DAS, NAS, SAN) Infiniband switch IB storage • Tendenza: System Area Network. Interfaccia Infiniband per MPI e accesso a storage (QoS) • Recupero degli investimenti tramite integrazione di dispositivi preesistenti sul l’infrastruttura infiniband (es. gateway IB to FC “trasparenti”) VIC (Virtual I/O controller) IB to FC or Ethernet www.e4company.com simone.tinti@e4company.com

17. Storage Server • Soluzione ad alta flessibilità e basso costo sviluppata presso i nostri laboratori, basata su commodity of the shelf: • 2 CPU Dual core Woodcrest • RAM dimensionabile secondo le esigenze (fino a 16GB DDR2 FBDIMM) • Controller SAS/SATA multi lane ad altissime prestazioni • 12 TB in 4U • 24 TB in 7U • 2HD dedicati per il SO • Scelta dai professionisti: • 65 storage 4U CERN Ginevra, 70 presso uno dei maggiori ISP • 7U lab Gran Sasso, CASPUR E5475 – up to 12TB E5730 – up to 24TB www.e4company.com simone.tinti@e4company.com

18. Flessibilità Potenza • Oltre 350 MB/s Writing, 500MB/sReading (iozone, xfs, 15HDSATA 7.200 rpm Raid 5) • Implementabile in tecnologia SAS 15000 rpm • Ottime performace in ambienti con accessi concorrenti (stabile con oltre 100 processi da 2GB) • Compatibile con le principali distro Linux (Red Hat, SUSE, Scientific Linux…). • Implementabile anche su piattaforma MS Windows • SATAII/SAS • Interfaccia esterna: • Dual Gb • Aggregated 4Gb • 10 Gb Ethernet • Infiniband 20Gb+20Gb per soluzioni HPC • Differenti campi applicativi: • Back up, nearline storage • Video server • File server • Storage HPC Affidabilità • 2 HD dedicati al SO (Raid 1) su controller dedicato • Gestione hardware dei principali livelli Raid (tipicamente 5,6) • Battery backup unit • IPMI compliant • Managment • Alimentazione ridondata hot swap www.e4company.com simone.tinti@e4company.com

19. Storage Area Network • Unico Qlogic Signature Partner in Italia • Realizzate con le più recenti soluzioni tecnologiche. Stato dell’arte: tecnologia Fibre Channel 4+ 4 Gb multipath • Soluzioni in HA • Failover per ambienti critici (es finance, biomedics..) • Realizzazione di SAN in ambienti eterogenei: • Istituti di credito • Enti pubblici (Ministero Tesoro) • Meteorologia (ARPA) • Biomedicina (Chiron/Novartis) • Industria/commercio • Elaborazione immagini/ visione artificiale www.e4company.com simone.tinti@e4company.com

20. E65xx Caratteristiche tecniche • Chassis 2U • 12 HD SAS/SATA II • SATAII: fino a 9 TB • SAS: fino a 3,6 TB • Full system, 10U – 5 chassis • SATA II: 42 TB • SAS: 16,8 TB • Possibilità di mix SATAII/SAS per differenziare aree back-up e intensive I/O • Interfaccia host: • Fibre channel 4Gb • SAS • iSCSI • Infiniband (entro 2007) • Super capacitor cache back up • Mirrored cache (Simulcache) • Assured snapshot www.e4company.com simone.tinti@e4company.com

21. Fibre Channel Interface Forecast Source: Gartner Dataquest (November 2005) www.e4company.com simone.tinti@e4company.com

22. SAN per HPC • Grazie alla collaborazione nata con Data Direct Network possiamo offrire soluzioni estreme in ambito storage • Fino a 560TB in un singolo storage system • +3GB/s sustained performance, sia in lettura che scrittura • Petascale solution (transfer rate nell’ordine dei TB/s) • Ideale per: HPC, Visualization, Modeling Simulation, Real-Time Data Acquisition, Biomedicine, Genomics, Medical Imaging, Oil & Gas • Soluzioni adottate dai sistemi più performati della TOP500, ma anche nel settore finanziaro e “rich” media (WB, CNN, Disney, BBC, FOX, Time Warner…) www.e4company.com simone.tinti@e4company.com

23. Ulteriori servizi Infrastrutture ambientali • Monitoring / management • soluzioni free, open source (Torque, MAUI, System Imager, Ganglia) • soluzioni enterprise (SCALI Manage, Altair PBS Pro…) • Tool di sviluppo ed ottimizzazione • Compilatori INTEL, Pathscale, PGI • INTEL VTune performance analyzer • Dispositivi programmabili • multi-threaded array cooprocessor • FPGA www.e4company.com simone.tinti@e4company.com

24. Integrazione di un sistema HPC Requisiti Progettazione Selezione componenti Interconnessione Dimensionamento Deployment Integrazione di servizi Validazione del sistema www.e4company.com simone.tinti@e4company.com

25. Validazione dei sistemi • Affidabilità: elemento essenziale, garantito dal ciclo produttivo di E4 • Selezioni componenti di qualità • Processo produttivo curato in tutti i dettagli • Burn-in • Almeno 72h prove di stress accelerato in stanza con condizioni climatiche limite • 24h Test di tutti i sottosistemi singolarmente • 48h test di tutti i sottosistemi contemporaneamente www.e4company.com simone.tinti@e4company.com

26. Conclusioni Semplicità Potenza Affidabilità Integrazione • Sistemi ad alta densità basati su CPU multi-core • Interconnessioni low latency / high bandwith • SW consolidato • Selezione HW • Accurato testing del sistema • Monitoring / management • Storage Area Network • System Area Network • FPGA, cooprocessor • COTS • Tool di management www.e4company.com simone.tinti@e4company.com

27. Grazie per l’attenzione!