Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”

1. Curso de Postgrado ‘GRIDS y e-Ciencia’” UTILIZACION DE UNA INFRAESTRUCTURA GRID” J. Salt Grupo de GRID Computing del IFIC IFCA, Santander; 21-23 de Junio de 2004

2. Contenidos • Descripcion de GoG ( la Infraestructura GRID del IFIC) • Utilizacion en I+D de tecnologias GRID • Utilizacion como infraestructura de Produccion • Conclusiones y Perspectivas • Participacion esencial del Servicio de Informatica del IFIC en la operacion del GoG • Grupo: F. Fassi, A. Fernandez, S. Gonzalez, V.Lara, J. Lozano, L. March, J. Salt, J. Sanchez

3. 1.-DESCRIPCION DE GOG,LA INFRAESTRUCTURA GRID DEL IFIC

4. Ordenadores de cálculo • 192 Ordenadores (134 IFIC + 58 ICMOL) • 96 Atlhon 1.2 GHz 1Gbyte SDRAM • 96 Athlon 1.4 GHz 1Gbyte DDR • Disco duro local de 40 GBytes • FastEthernet agregando con gigabit ethernet.

5. Adquisiciones recientes Robot STK L700e700 4 Servidores de disco 2 Servidores de cinta

6. Almacenamiento disco

7. Almacenamiento en cinta

8. Almacenamiento de datos • En septiembre de 2002 se instaló CASTOR con: • 1 TapeServer • 1 Compaq TL891DLX (1 lector DLT8000, 10 slots) • CASTOR en producción desde entonces. • Durante el 2003 migración a la librería IBM 3583. • Diciembre de 2003 se añadio la librería de STK y los dos nuevos servidores de cinta.

9. 2.- UTILIZACION PARA EL I+D DE TECNOLOGIAS GRID

10. CROSSGRID: Resource Broker Hace de punto único donde enviar los trabajos. Un Usuario debe describir las necesidades de su trabajo y el RB se encargará del envío y recogida de resultados cuando finalice. Selección autómatica de recursos donde correr los trabajos. Reenvio de trabajos en caso de fallo. Mantiene historia de las distintas fases por las que pasa un trabajo (Logging & Bookeping) Cuando acaba el trabajo, recoge los resultados que serán guardados hasta que el usuario los requiera.

11. CROSSGRID: Helpdesk User Support del Proyecto: desarrollo, implementacion y mantenimiento de un Helpdesk Ver la presentacion de Farida Fassi

12. EGEE: Organizaciones Virtuales Las Organizaciones Virtuales (VO) agrupan usuarios de diferentes dominios. que desean compartir sus recursos Un Usuario debe pertenecer al menos a una VO. Los diferentes Recursos deben soportar la VO para poder mandar trabajos: RB debe aceptar trabajos de esa VO Un Computing element (CE), representando un conjunto de recursos soporta una o más Vos, que permiten el correr trabajos de las mismas.

13. Un Storage Element (SE) servira archivos a las VO’s ‘soportadas’ Los Servicios de Replica (RLS) tambien deben soportar las VO’s que efectuen consultas .

14. 3.- UTILIZACION COMO INFRAESTRUCTURA DE PRODUCCION

15. El Reto de la Computación en LHC

16. Almacenamiento- Ratio de registro de datos 0.1 – 1 GBytes/sec Acumulando a 5-8 PetaBytes/year 10 PetaBytes de disco Procesamiento 200,000 de los PC’s más rápidos actuales

17. * El GoG en Pre-Grid • En el IFIC se ha realizado producción de Monte Carlo para los experimentos: ATLAS, LHCb y CMS. • En ATLAS se ha producido tanto simulación, como reconstrucción (IFIC). • En LHCb solo se ha producido simulación (UB) • En CMS tanto generación, como simulación (IFCA)

18. Tipo de sucesos Tamaño por suceso (MB) Con pile-up a baja lumi (MB) Con pile-up a alta lumi (MB) Tiempo por suceso (s) Tiempo por suceso a baja lumi (s) Tiempo por suceso a alta lumi (s) Di-jets 2.5 3 - 250 30 - WH gg 2.5 3.6 10 200 30 130 WH bb 2.5 3.7 7.5 200 30 150 Simulación y Reconstrucción en números para ATLAS

19. Simulación y Reconstrucción en números, para ATLAS

20. Contribución a los Data Challenge 1 deATLAS por parte del IFIC 1: Australia 2: Austria 3: Canada 4: CERN 5: Czech Republic 6: France 7: Germany 8: Israel 9: Italy 10: Japan 11: NorduGrid (Denmark, Norway, Sweden) 12: Russia 13: Spain (Valencia) 14: Taiwan 15: UK 16: USA Valencia IFIC 5*107 events generated 1*107 events simulated 3*107 single particles 30 Tbytes 35 000 files

21. Resumen para ATLAS en el IFIC • Sucesos simulados: 890 Kevt • Sucesos reconstruidos: 250 Kevt • Volumen de datos almacenados en disco: 1.5 TB • Volumen de datos almacenados en cinta: 4 TB • Los datos han sido volcados tanto al CERN (20%) como a Lyon (70%)

22. Generación y Simulación en números para CMS • Sucesos generados en el IFIC: 100 • Sucesos simulados en el IFIC: 100 Kevt • Horas de CPU: 4400 horas • Tiempo por suceso: 160 s • Tamaño por suceso: 0.46 MB • Volumen de datos producidos: 46 GB • Los sucesos se transfieren al IFCA

23. **El GoG en modo GRID • 80% del GoG en LCG-2 • Ejercicio del Data Challenge 2 (DC2) de ATLAS en LCG-2 • Coordinacion ‘centralizada’ del envio de trabajos • Mover a los usuarios del IFIC al modo GRID

24. Modo Grid *EN PRUEBAS* para usuarios de GoG • Guia para el usuario; • Obtencion de los certificados • Alta en la Organización Virtual de ATLAS • Se ha ejecutado ATLAS-6.0.4 a la grid (versión dada en la release del Grid) • Se ha utilizado la distribución estándar de RPM’s usada en los DC1. • Se puede hacer tanto simulación como reconstrucción. • La simulación ha corrido bien en todos los sitios:

25. 4.- CONCLUSIONES Y PERSPECTIVAS

26. Actividades I+D en GRID • OK , in progress • Explotacion (EGEE) • de comienzo reciente: ‘in progress’ • Buen funcionamiento de los DC1 (pre-GRID): • OK • Ejercicio del Data Challenge 2 (DC2) de ATLAS en LCG-2: • muchos problemas, ‘in progress’

27. Analisis Distribuido de datos LHC (ATLAS). Prototipo de Sistema de Analisis. • Problema complejo, primeros pasos • Mover a los usuarios del IFIC al modo GRID • opinion: El éxito reside en enseñar bien el nuevo sistema y minimizando el aprendizaje de la capa GRID para aquellos que no lo necesiten)

28. Iniciativa IRISGRID: e-Ciencia en España • Iniciativas a nivel autonomico