Supercomputadoras

1. 1100 D-Core PowerPC 4G p/node 5120 procs (5% del uso es pago) 16 Pentium 3 (o similar) 4G total Supercomputadoras Division fundamental entre estilos de supercomputadoras:

2. Ejemplos de clusters (1) Columbia / Nasa • Arquitectura híbrida (SGI) • 10,240 Intel ItaniumRMk 2 processors • 20 clusters de 512 procs • Cada cluster comparte memoria • Entre los clusters conexión infiniband • Storage Online: 440 terabytes of Fibre Channel RAID storage • Archive storage capacity: 10 petabytes

3. Ejemplos de clusters (2) Cray Opteron Cluster / Nasa • 64 nodos (dual processor) • Arquitectura Master/Slave • 1 head-node/front-end 63 compute-nodes • 130 GB total memory • Myrinet • Storage: 2300Gb • SuSE LinuxRMk

4. Ejemplos de clusters (3) Jaguar / Nasa • Cray XT - 11,708 procesadores en total • 2.6Ghz Opteron dual core • División entre service node y compute node • 130 GB total memory • Myrinet • Storage: 600 TB c/ Lustre file system • UNICOS/lc (Linux en service nodes y Catamount microkernel on the compute nodes)

5. Interconexión (1) Basados en cobre • Hub (viejito, problemas con colisiones) • Switch 10 • Fast ethernet (100Mbps) • Gigabit ethernet (1Gbps, ojo con PCI) • 10G (IEEE 802.3ae, solo fibra y full duplex)

6. Interconexión (2) • Quadrics • Latencia de 3us (según ellos) • 1Gbs de ancho de banda pico, 900Mbs sostenido. • Funciona parecido con todas las plataformas de procesadores • Tiene versiones propietarias optimizadas de MPI • Los módulos para Linux precompilados solo estan Suse y Redhat (algo que se repite en muchos otros lugares).

7. Interconexión (3) Mirynet • Es un ANSI(American National Standards Institute) Standard -- ANSI/VITA 26-1998. • The link and routing specifications are public, published, and open. • Myri-10G es compatible con 10G Ethernet • Myrinet-2000 es el producto específico de clusters • 2Gbs - Conectores de fibra. 2.6µs–3.2µs de latencia. • TCP: 1.98 Gbits/s (one-port NICs) • MPI implementado sobre mensajería propietaria

8. Interconexión (4) Infiniband • Surgió como alternativa a las anteriores propietarias. • Consorcio de empresas que definieron un standard:

9. Interconexión (5) Infiniband • Baja latencia (entre 1.3 y 2.6 usecs, según producto). • Posibilidad de redundancia • Alta escalabilidad • HCA: host channel adapter (c/procesador) • TCA: target channel adapter (c/periférico) • In-Band: A term assigned to administration activities traversing the IB connectivity only. • Out-of-Band: A term assigned to administration activities extending outside the IB connectivity (Ethernet or I2C). • No hay un standard en software, cada empresa ofrece su stack o su implementación de MPI. • La administración intenta ser más standard, pero no es nada trivial.

10. Detallecitos… • HVAC: Heating, Ventilating and Air Conditioning • Alimentación Eléctrica • Si la probabilidad de falla de un nodo es 0.01 y tenemos 100 nodos… Cual es la prob de falla de alguno en el día? • Si en la probabilidad de falla, agregamos algún componente de software… NECESITAMOS AL MENOS UN ESCLAVO QUE ATIENDA AL BICHO

11. Software para cluster • A manopla… con pocos nodos, solo hace falta configurar un NFS, un NIS y hacer el intercambio de passwords. • Cuando la cantidad de nodos empieza a ser considerable, se necesita más soporte de parte del SO para que el Administrador pueda ir al baño de vez en cuando. • Funciones necesarias: • Sistemas de archivos de cluster (NFS tiene problemas de escalabilidad) • Sistema de colas para políticas de uso de recursos • Monitoreo de funcionamiento y reporte de uso. • Accounting para poder cobrar tiempo de uso o para reportar sobre proyectos llevándose adelante. • Soporte para actualización de software de manera placentera.

12. Software para cluster (2) • Beowulf: • Es una receta para tener un cluster de tipo “standard” • Se basa en commodity hardware • Software open source • Oscar • Open Source Cluster Application Resources • Se basa en distribuciones conocidas (Fedora, Red hat enterprise, Mandriva, Suse, Scientific, CentOS) • Sin demasiada experiencia se instala un cluster y se lo puede mantener razonablemente bien • Rocks • Similar a Oscar • Tiene soporte para Grid. • Se basa en CentOS • Hay “rolls” para muchos targets de clusters

13. Software para cluster (3) Microsoft: • Hace un tiempo decidió entrar en el mercado científico. • No solo es por el potencial mercado de licencias, sino por una cuestión de marketing • Desarrolló un producto similar a la contraparte OS (Microsoft Compute Cluster Pack, o algo así) • Se basa en el Microsoft 2003 Server • Tiene una interface MUY linda • Sufrimos muchos problemas para instalar y para debugear problemas en el uso (los mismos problemas que tiene un administrador MS solo que más críticos). • Está usando toda la maquinaría de MS para imponer de a poco su producto.