Instalación y configuración de clusters

1. Instalación y configuración de clusters Ejemplo Sala IBM Adrián Pousa apousa@lidi.info.unlp.edu.ar

2. Consideraciones generales • Hardware. • Sistema operativo. • Lenguajes de programación. • Herramientas para programación distribuida (Requerimientos de algunas herramientas). • Herramientas de squeduling y monitoreo. • Otros aspectos: • Creación de usuarios. • Directorios compartidos. • Servicios de red (dns, dhcp, firewall,NTP).

3. Consideraciones generales Hardware • Homogéneo • Misma arquitectura. • Mismas características de componentes. • Facilidades: clonar, compartir configuraciones y archivos. • Heterogéneo • Arquitectura (i386, x86_64, sparc, ppc etc.). • Distintas características de componentes. • Necesidad de recompilar archivos.

4. Consideraciones generales Sistema operativo • Windows (poco usado) • Entorno grafico “pesado”. • Unix/Linux (mas usados) • Se pueden utilizar instalaciones básicas. • Heterogeneidad en distribuciones (linux).

5. Consideraciones generales Lenguajes de programación • C (Gcc - gnu, Icc - intel) • Fortran • JAVA (Gcj – gnu, Sun) De acuerdo a las herramientas a utilizar: • Mpi: C, Fortran. • Pvm: C, Fortran. • Rmi: Java.

6. Consideraciones generales Herramientas de programación • Librerías para programación distribuida: • MPI • PVM (Requerimientos de rsh/ssh sin contraseña) • Java: • RMI • Sockets (Requerimientos JDK, JRE) • Librerías matemáticas. • Blas (Basic Linear Algebra Subprogram) • Lapack (Linear Algebra Packcage) • MKL (Math Kernel Library - Intel)

7. Consideraciones generales Squeduling y monitoreo • Las herramientas de squeduling son utiles para gestionar las ejecuciones de varios usuarios (Torque – Maui, SGE, Condor). • Monitoreo del estado del cluster (Ganglia).

8. Consideraciones generales Usuarios • En algunos casos un mismo usuario debe existir en cada equipo: • Mismo grupo (nombre y gid). • Mismo nombre. • Mismo uid. • Alternativas: • Crear en cada equipo (manual o automático). • Centralizar (NIS, NIS+, LDAP).

9. Consideraciones generales Directorios compartidos • NFS • Compartir configuraciones. • Compartir aplicaciones. • Compartir archivos varios: • fuentes. • homes. • binarios. • Etc.

10. Consideraciones generales Servicios de red • Útil configurar DNS para evitar modificar archivos de hosts. • FIREWALL: Si el cluster va a tener acceso desde/hacia el exterior (laboratorio remoto). • Direcciones de red, estáticas o dinámicas (DHCP). • NTP.

11. Consideraciones generales Soluciones • Configurar todas las herramientas suele ser costoso, opciones: • Distribuciones de configuración automática (facilita la tarea pero muchas veces no se sabe como esta configurado, problema si se quiere hacer algún cambio). • Configurar cada herramienta manualmente (complejo pero se tiene mayor control).

12. Consideraciones generales Herramientas automáticas • Rocks cluster (www.rocksclusters.org) • Versión 5 basada en Centos. • Frontend y varios nodos. • Frontend con servicios: DNS, DHCP, MySQL, NTP, HTTP. • Instalación de nodos rápida (reinstalación). • Concepto de roles.

13. Consideraciones generales Herramientas automáticas

14. Consideraciones generales Herramientas automáticas • Rocks cluster roles • Area 51: utilidades para analizar la integridad de archivos y el kernel en el cluster. • Bio: Bioinformática. • Ganglia: Monitoreo del cluster. • HPC: Herramientas para paralelizar. • Sun Grid Engine (SGE): scheduler y colas. • Xen: Virtualizacion.

15. Consideraciones generales Herramientas automáticas • Otras: • OpenSCE (www.opensce.org) • Oscar (oscar.openclustergroup.org) • Warewulf (warewulf-cluster.org) • xCAT (IBM)(www.xcat.org) • Clustermatic(www.clustermatic.org) • Clubmask(clubmask.sourceforge.net) • Score(www.pccluster.org)

16. Sala IBM • Hardware 100% homogéneo. • Equipos que se utilizan de escritorio. • Uso de alumnos e investigadores. • MPI – Lenguaje C. • Algunos casos JAVA (RMI - Sockets). • Blas. • Laboratorio remoto. • Acceso desde y hacia el exterior. • Configuración manual, mayor control.

17. Sala IBMHardware y Sistema operativo • Hardware 100% homogéneo. • Sistema operativo Fedora 8. • Dos particiones: • Investigación. • Cátedras. • Configuración: • Servidor. • Clientes: un solo equipo y luego clonar.

18. Sala IBMLenguajes de programación • C (Gcc 4.1 y librerias provistas por Fedora). • JAVA (JDK 1.6 de www.sun.com).

19. Sala IBMHerramientas • MPI: • Lam MPI versión 7.1.4: www.lam-mpi.org. • Requiere acceso rsh entre todos los equipos. • Se puede hacer vía ssh (copiar clave publica). • Instalación y variables de ambiente. • JAVA(rmi) • Librerías matemáticas: • Blas

20. Sala IBMHerramientas • MPI: • RSH: • Instalar rsh-server. • En el home de cada usuario crear el archivo .rhosts con los hosts que se les permite el acceso. (permiso de lectura/escritura solo para el propietario) • Fedora: • Habilitar los servicios rsh, rlogin y rexec en xinetd.

21. Sala IBMHerramientas • MPI: • SSH sin contraseña: • Crear la variable de ambiente: export LAM_RSH=“SSH” Luego: Suponer que el usuario UA de la maquina MA quiere acceder por SSH sin contraseña a la maquina MB como usuario UB.

22. Sala IBMHerramientas • MPI: • SSH sin contraseña: • En la maquina MA ingresar como usuario UA y ejecutar: ua@ma# ssh-keygen –t rsa Pide una contraseña hay que dejarla en blanco, luego deja dos archivos en <ua home>/.ssh: • id_rsa (clave privada) • id_rsa.pub (clave publica)

23. Sala IBMHerramientas • MPI: • SSH sin contraseña: • Copiar el archivo id_rsa.pub a la maquina MB. • En la maquina MB, agregar el contenido del archivo id_rsa.pub al archivo: <ub home>/.ssh/authorized_keys (solo permiso de lectura para el propietario ) Probar desde MA como usuario UA hacia MB con el usuario UB y no debería pedir contraseña: ua@ma# ssh ub@mb

24. Sala IBMHerramientas • MPI: • Instalación y variables de ambiente: • Por defecto (no prefix). • Personalizada (fácil de cambiar versiones): • Configurar PATH para ubicar los binarios: • General. • Local a cada usuario.

25. Sala IBMHerramientas • JAVA: • Fedora GCJ (gnu java). • Instalación de Sun JDK 1.6. • Configurar la variable JAVA_HOME para que tome JAVA de Sun.

26. Sala IBMHerramientas • Blas: Instalación de rpm reubicándolos para centralizarlo y no instalarlo en cada equipo: blas-3.1.1-2.fc8.i386.rpmblas-devel-3.1.1-2.fc8.i386.rpm

27. Sala IBM Usuarios • Autenticación centralizada. • Anteriormente NIS. • Actualmente LDAP (Lightweight Directory Access Protocol ). • OpenLDAP.

28. Sala IBM Usuarios • LDAP (Lightweight Directory Access Protocol ) • Protocolo que permite el acceso a un servicio de directorio (aplicaciones que almacenan y organizan información, optimizado para lecturas). • Almacena información de usuarios y grupos permitiendo autenticación. • Es posible almacenar otra información: • Datos de contacto del usuario. • Ubicación de diversos recursos de la red. • Permisos. • Certificados. • Roles. • Etc…

29. Sala IBM Usuarios • LDAP – Modelo de información • El directorio consiste en una o mas entradas que pueden tener atributos, por ejemplo: Dn: uid=Juan, ou=People, cd=info, cd=UNLP Mail: juan@hotmail.com Tel: 4432345 • Cada entrada tiene un nombre distinguido único DN. • Pueden almacenarse varias entradas para ser guardadas en el directorio en un archivo .ldif.

30. Sala IBM Usuarios • LDAP – Modelo de nombres • Se organiza en forma de árbol. • Cada nodo puede tener información a diferencia de otras estructuras que tienen solo en hojas.

31. Sala IBM Usuarios • LDAP – Modelo de nombres • Algunas entradas comunes: Raíz People Group Hosts

32. Sala IBM Usuarios • LDAP (OpenLDAP) • Configuración: • Servidor. • Clientes. Otras alternativas a OpenLDAP: • Sun Java system Directory Server. • Fedora Directory Server.

33. Sala IBM Usuarios • LDAP (OpenLDAP) - Servidor: • Instalación via yum fedora. • Configurar el archivo slapd.conf. • Agregar el sufijo: suffix “dc=server,dc=unlp,dc=edu,dc=ar” • Agregar el manager: rootdn “cn=Manager,<sufijo>” o bien rootdn “uid=root,<sufijo>” • Establecer la contraseña: rootpw password

34. Sala IBM Usuarios • LDAP (OpenLDAP) – Servidor. • Configurar el archivo lap.conf. • Agregar entradas: HOST <nombre de host> BASE <sufijo> • Agregar al directorio la raiz mediante un archivo ldif. dn: dc=server,<sufijo> objectclass: dcobject objectClass: organization o: server dc: server root# ldapadd -x -D 'uid=root,dc=server,<sufijo>' -W –f raiz.ldif

35. Sala IBM Usuarios • LDAP (OpenLDAP) – Clientes. • PAM (Pluggable Authentication Module) mecanismo que proporciona una interfaz entre las aplicaciones de usuario y diferentes métodos de autenticación. • Archivo nsswitch.conf, indica que mecanismo utilizar y en que orden. Ejemplo: Passwd files ldap Group files ldap Hosts dns files ldap En fedora automaticamente desde la grafica.

36. Sala IBM Usuarios • LDAP (OpenLDAP) – Clientes. • En fedora automáticamente desde la grafica indicando servidor y base. • Manual: • Configurar el archivo lap.conf. • Agregar entradas: HOST <nombre de servidor> BASE <sufijo> (base de busqueda) • Configurar PAM, archivos individuales, algo complejo.

37. Sala IBM Usuarios • LDAP Ventajas: No replicar en altas masivas de usuarios. Autenticación de aplicaciones, servidores etc. No solo autenticación (DNS, Roles etc). Desventajas: Debe existir un servidor de replica sino al caer el servidor cae el sistema. Interfaces de administración (phpldapadmin).

38. Sala IBM Directorios compartidos • NFS(Network File System) Es un protocolo utilizado para sistemas de archivos distribuidos en un entorno de red de computadoras de área local. Transparencia: distintos equipos conectados a una misma red accedan a archivos remotos como si fueran locales.

39. Sala IBM Directorios compartidos • NFS(Network File System) Varios directorios compartidos en el servidor para: • No instalar aplicaciones en todos los equipos. • No hacer configuraciones en todos los equipos. • Compartir archivos. • Evita la transferencia de archivos (caso MPI). • Transparencia. Ej: Home directory de usuarios.

40. Sala IBM Directorios compartidos • NFS(Network File System) Aplicaciones: • MPI. • JAVA. • ECLIPSE. • BLAS. • Otras que permitan acceso de este tipo.

41. Sala IBM Directorios compartidos • NFS(Network File System) Home directory: • Transparencia. • Disponibilidad de archivos. • Configuraciones de variables de ambiente locales, ssh, aplicaciones. Desventaja de no poder loguearse en la grafica con el mismo usuario en dos equipos simultáneamente.

42. Sala IBM Directorios compartidos • NFS(Network File System) Directorio compartido general: Para compartir archivos entre los usuarios del sistema o aplicaciones.

43. Sala IBM Directorios compartidos • NFS(Network File System) • Configuración en el servidor: Archivo /etc/exports, las entradas tienen la forma: /dir/subdir 192.168.0.0/255.255.255.0(rw) • Configuración en el cliente: Archivo /etc/fstab, las entradas son: 192.168.0.2:/home /mnt/nfs nfs rw,hard,intr 0 0

44. Sala IBM Directorios compartidos • NFS(Network File System) • Ventajas: • Facilita la administración. • Transparencia. • Desventajas: • Caída del servidor • Overhead en la red en algunos casos.

45. Sala IBM Laboratorio remoto • Abstraer al usuario del cluster. • Aplicación que permite la ejecución vía web sobre el cluster. • Dar mayor disponibilidad del cluster solucionando problemas de acceso: • Alumnos e investigadores. • SSH limitado por seguridad. • Lograr mejor interacción( aprovechar RIA - AJAX).

46. Sala IBM Laboratorio remoto Request Servidor Web Web Browser JSP Response Contenedor de aplicaciones Struts Framework Aplicación JAVA BD Ambiente MPI Sistema Operativo Hardware Cluster 46

47. Sala IBM Laboratorio remoto • Ambiente de trabajo (Sistema de archivos). • Editar, compilar y ejecutar archivos. • Varios modos de ejecución: • Sincrónico. • Asincrónico. • Interactivo. • Otras acciones: • ABM de equipos y clusters. • ABM usuarios. • Permisos de acceso. Por el momento solo en test.

48. Sala IBM Laboratorio remoto

49. Sala IBM Laboratorio remoto • Ventajas: • Acceso al cluster como recurso compartido (ejecución controlada, detener corridas). • Mayor interacción (aprovechando RIA - AJAX) • Desventaja: • El uso del cluster como escritorio. • Problemas ante caída de un equipo.

50. Sala IBM Servicios de red • Por el momento sin DNS posibilidad de configurarlo mas adelante, resolución de nombres por LDAP. • Firewall (iptables) salida a Internet, acceso remoto. • Direcciones de red estáticas. • NTP.