IBM en Deep Computing/HPC Sevilla o ctubre 2011

1. IBM en Deep Computing/HPCSevilla octubre 2011 Mariano Garrido CTA IBM STG IBM Innovation & Infrastructure | Deep Computing

2. Agenda • Qué es DC/HPC? • Factores claves para abordar un proyecto • Soluciones IBM • Consideraciones de explotación • Alternativas • System P • Linux clusters • Bluegene • iDataPlex

3. Entender las cargas de trabajo que estamos usando es un prerequisito importante Analytics and High Performance Transaction Processing and Database Workload Optimization Characteristics vary: Application Usage Pattern SLA Data Structure Business Applications Web, Collaboration and Infrastructure One size DOES NOT fit all

4. Qué es Deep Computing o High Performance Computing • Realización de miles de billones de cálculos matemáticos en un corto espacio de tiempo para la resolución de problemas complejos. Especialmente útil en aquellas problemáticas que manejan gran volumen de datos o que realizan múltiples iteraciones con una muestra de datos mas acotada y donde los cálculos manuales harían inabordable ese determinado problema. • Medida típica TeraFlop = Millón de millones de operaciones, en doble precisión (64bit), de coma flotante por segundo (los sistemas que aparecen en el ranking de TOP500 se miden ya en miles de TeraFlops. IBM es líder en TOP500 ) • Kilo < Mega < Giga < Tera < Peta < Exa = 1018

5. Gate Drain Source Leakage Puntos críticos para abordar un proyecto DC/HPC viable • Necesidades de memoria principal del sistema. • Un factor limitante puede ser el tamaño de memória máximo que puede emplear un núcleo de procesamiento => 32/64GB en los sistemas High End de la serie pSystems y 48GB en los sistemas High End eX5 en de IBM (con velocidades de acceso a memoria de 1,6Ghz en los inminentes Sandy Bridge de Intel que mitiga el desfase entre la velocidad de la CPU vs RAM) • Capacidad individual de los procesadores de los nodos de cálculo. • Existen aplicaciones que consumen todos los recursos de CPU disponibles, es decir el factor limitante no es el tamaño o la velocidad de la memoria principal => Para estos casos es vital el tipo de procesador (conjunto de instrucciones reducido o complejo) RISC/CISC/x86 y su velocidad de reloj. Actualmente alrededor de 2-3Ghz. • Se ha llegado a una frontera física en el diseño de microprocesadores de velocidad cada vez mayor. Se producen efectos físicos (corriente de perdida en las puertas de los transistores) que impiden aumentar la frecuencia de operación de los chips => • Intel/AMD han optado por incluir varios núcleos en un mismo chip reduciendo la velocidad de estos núcleos. Opción divide y vencerás. IBM dispone de tecnología Multicore en su gama POWER desde 2001 (9 núcleos en PowerXcell8i 2007, 8 core en POWER 7 2010) • Asimismo IBM invierte en investigación de tecnología de fabricación de microprocesadores para mitigar estos efectos (High-K metal) y poder proporcionar CPUs a >4Ghz desde 1H07. • Introducción de las nuevas GPUs (coprocesadores matemáticos)

6. Un proyecto DC/HPC viable (cont.) • Escalabilidad de las aplicaciones y capacidad de crecimiento de las redes de interconexión en sistemas cluster. • El concepto de escalabilidad implica: • A) que la aplicación es capaz de repartir carga entre varios nodos y • B) que a mayor número de nodos mayor rendimiento bien en tiempo de respuesta o en capacidad de resolución de problemas mas complejos.(Evitar efecto saturación) • Pueden existir aplicaciones muy sensibles a parámetros de esta red (latencia, ancho de banda) => • Las redes de interconexión para estos sistemas son equipamiento de extremada especialización. • Estas redes deben permitir un crecimiento, sin detrimento del rendimiento, hasta varios miles de nodos. IBM dispone de tecnología aplicada en su producto Bluegene/P que permite crear un sistema de hasta 131.072 procesadores. • Los requerimientos físicos de espacio, alimentación y refrigeración deben ser asumibles • Ej: construcción de un sistema de 360 TFlps • Espacio • BG/L ~100 m2 • Linux Cluster ~1000 m2 (extrapolación) • Consumo • BG/L ~1.5 MW • Linux Cluster ~15 MW (extrapolación) • Implicación en costes: • 1 MW/yr = $1M

7. La oferta de IBM Dado que el tipo de problemática/aplicación condiciona el tipo de arquitectura adecuada, IBM dispone de una oferta completa: • Sistemas SMP de memoria compartida. System p • Grandes sistemas de hasta 32, 64 procesadores con una única imagen de sistema operativo y un vólumen de memoria de hasta 4TB • Cluster de sistemas de memoria distribuida. Cluster 1350 iDataPleX y cluster 1600 • Máquinas lógicas de miles de procesadores en base a la interconexión física, mediante redes especializadas, de sistemas “modestos” de 2, 4, 8,16 y hasta 32 procesadores con memoria por nodo de hasta 256GB. • Procesadores “comodity”: IBM POWER, Cell, Intel Xeon o AMD Opteron. • Sistemas de propósito específico. BlueGene • Agregación de hasta 131.072 procesadores mediante tecnología propietaria y encaminados a la resolución de determinados tipos de problemas. Procesadores modestos: PowerPC450.

8. Memoria compartida Modelo de administración y programación más sencillo (una única imagen de sistema) Escalabilidad limitada (el sistema SMP/NUMA construible tiene límites) Típicamente bloques constructivos más caros y menos granulares Tienden a ser sistemas de infraestructura propietaria Dificultad/costoso de expandir Focalizados en rendimineto de pico (problemas con más variables de entrada o tiempos de respuesta menores) Massive Parallel Processing Modelo de administración y programación mas Complejo (Imagen de sistema única “virtual“) Escalabilidad excelente (limitada sólo por MTBFs, …) Excelente ratio rendimiento/consumo Excelente ratio rendimiento/espacio El punto de entrada de un sistema BG/L es de 1024 CPUs. Arquitectura con el crecimiento máximo posible (65536 CPUs) Enfocado a aplicaciones que puedan escalar sin restricciones con el número de CPUs Memoria compartida (= BIG SMP) vs Memoria distribuida (=clusters) vs Bluegene (MPP Massive Paralel Processing) para sistemas de High Performance Computing Memoria Distribuida • Modelo de administración y programación mas Complejo (Imagen de sistema única “virtual“) • Escalabilidad excelente (limitada sólo por MTBFs, puertos de switch, espacio físico, consumo …) • Típicamente bloques constructivos más baratos y granulares • Tienden a ser arquitecturas basadas en estandares abiertos • Permiten un crecimiento simple y orgánico • Focalizados en rendimiento agregado sostenido

9. Infraestructura y consideraciones de explotación Aplicaciones Servicios Software Middleware Hardware Data Center: Site + cooling

10. iDataPlex – Solución pre-integrada o… Solución pre-integrada • Servidores, switches, PDU’s, cableado • Listo para colocarlo en su sitio, enchufar corriente, conectarlo a la red y empezar a trabajar. ¿Montarlo uno mismo?

11. IBM supercomputing leadership Semiannual independent ranking of the top 500 supercomputers in the world IBM supercomputing leadership ... • Most installed aggregate throughput with over 15,294 out of 58,930 Teraflops (25.9%)(CRAY: 9,081 / 15.4%, HP: 9,975 / 16.9%) Leader for 24 Lists in a row • Most systems in TOP500 with 212 (HP: 156, Cray: 29, SGI: 19) • Most energy-efficient system (Blue Gene/Q Prototype2: 2097 MF/w) • 6 of 10 most energy-efficient systems Source: www.top500.org

12. iDataPlex 12

13. iDataPlex (Internet + Data Center + Large Scale) Rack 100U 84U para Nodos x86 y 16U verticales para switches y PDUs Optimizado con servidores la mitad de profundos que los estándares y con unos componentes diseñados para obtener máxima eficiencia de la energía y refrigeración Diseñado para maximizar uso del espacio y la infraestructura de alimentación y refrigeración del centro processo de datos con unos servidores con componentes estándares de la industria. Solución fácil de mantener con servidores accesibles de forma individual por la parte frontal. Configurable par necesidades de cada cliente cálculo, almacenamiento o I/O y entregable pre-configurado fpara rápido despliegue Flujo Aire Flujo Aire Flujo Aire 1200mm 600mm (720mm w/RDHx) 446 x 400mm 446 x 400mm 640mm RDHX 444 x 750mm Vista Superior Vista Superior 1050mm Rack iDataPlex Rack Estándar 19”

14. System x iDataPlex dx360 M3 iDataPlex flexibilidad con mayor rendimiento, eficiencia y más opciones Cálculo intensivo Máxima Capacidad Proceso 2U, 2 Nodos Cálculo 1U Nodo Cálculo Cálculo + Almacenamiento Balance Alamacenamiento y Proceso 2U, 1 Nodo Cálculo & Bandeja Discos HDD: hasta 5 (3.5”) 1U Bandeja Discos Cálculo + I/O Máxima Flexibilidad Componentes 2U, 1 Nodo Cálculo I/O: hasta 2 PCIe, HDD hasta 8 (2.5”) 1U Bandeja Dual GPU I/O 3U Chasis Almacenamiento Máxima Densidad Almacenamiento 3U, 1 Nodo Cálculo & Bandeja Discos HDD: 12 (3.5”) hasta 24TB I/O: PCIe para red + PCIe para RAID 900W Fuente Alimentación 550W Fuente Alimentación 750W N+N Fuente Alimentación Redundante

15. iDataPlex (Rear Door Heat Exchanger, RDHX) • Aumenta la densidad en el centro proceso de datos eliminando pasillos fríos/calientes • Elimina calor generado por el rack • Mismas dimensiones que la puerta trasera del rack iDataPlex y 4” ancho • Refrigeración mediante líquido en un rack es 75%-95% más eficiente que la refrigeración por aire • No hay elementos móviles o eléctricos • No hay condensación • Agua helada Proporciona hasta 115% extracción de calor y puede incluso refrigerar centro proceso datos!

16. Aumento densidad y reducción costes de energía >44 TeraFlops 44 TeraFlops 336 servidores dx360 M3 (Procesador Xeon 5600) 4 Racks, 16 Switches InfiniBand 42 servidores dx360 M3 (Procesador Xeon 5600) 1 Rack, 2 Switches InfiniBand 84 NVIDIA Tesla GPU’s • Reducción ocupación 4:1 • Reducción costes de energía y refrigeración > 65% • Casi 4x más rendimiento por rack(1) • Based on 2.93GHz Intel with NVidia performance data, 2010

17. IBM System x iDataPlex – La Revolución x86 en Eficiencia • Go Beyond your limits - 5x Compute density • Scale compute capacity to match accelerated growth • Increase 15% more servers, with 58% less Computer Room Air Conditioning IBM Lab Services • Provide 50%+ more density to customers running out of data center space and budgets • Increase computing demand within same space constraints • Go Green – 40% Better Energy Efficiency • Improve airflow efficiency with shorter depth servers • Lower energy consumption by 40% with shared power & cooling • Remove 100% server heat exhaust and even cool the room with a Rear Door Heat eXchanger • Reduce the need for air conditioning • Cool 70% more efficiently with rack liquid cooling than air cooling • Go Faster – Fully Integrated for quick deployment • Deploy and operate quickly with customized fully configured rack solutions • Save time by managing at the rack level • Modular, tool-less design and front access provide simple serviceability • Simplified building blocks for flexible customized configurations • Go for lower TCO – Lower Capital and Operation Costs • Reduces costs of unnecessary redundant hardware for running parallel applications • Save up to $1.2M/year on datacenter power, cooling and management costs • Increase speed and accuracy without increasing power costs • You can relax! IBM helps with the planning and implementation of iDataPlex with STG Lab Services

18. 43 iDataPlex en TOP500 del 2010 Noviembre 2010 http://www.top500.org/lists/2010/11

19. GRACIAS