Introducción a Grid

1. Introducción a Grid Carolina León Carri

2. ¿Qué es Grid? • una Infraestructura? • una Tecnología? • un nuevo Paradigma? • un Sistema Distribuido? Power Grid • … recursos coordinados sin control centralizado • … uso de protocolos e interfaces estándares y abiertos de propósito general • … brinda calidad de servicio no trivial Ian Foster. WHAT IS THE GRID? A THREE POINT CHECKLIST. Julio 2002, Grid Today.

3. Open Grid Forum • http://www.ogf.org/ • Organismo encargado de crear estándares de servicios y protocolos para crear la infraestructura grid • Grupos de trabajo • Aplicaciones y entornos de programación • Arquitectura • Datos • Redes Peer-to-Peer • Planificación y gestión de recursos • Seguridad

4. ¿Qué recursos se comparten? • Poder de Cómputo • Datos • Telescopios Electrónicos • Sensores • … Cualquier dispositivo electrónico que pueda ser accedido en forma remota a través de una red.

5. Large Hadron Collider (LHC) CERN Search for • Origin of Mass • New fundamental forces • Supersymmetry • Other new particles • 2007 – ? • 27 km Tunnel in Switzerland & France http://lhc.web.cern.ch/lhc/

6. Características de Grid • Recursos Heterogéneos • Agregación de recursos • Virtualización • Orientado a servicios • Control descentralizado • Estándares e interoperabilidad • Acceso transparente • Escalabilidad • Seguridad (identidad, autenticación, …) En resumen • Protocolos, servicios y aplicaciones que permiten una nueva forma de colaboración

7. Ventajas de Grid • Amortización de recursos propios • Alquiler de recursos • Gran potencia de cálculo a precio bajo sin necesidad de adquirir nuevo equipamiento • Posibilidad de compartir recursos y trabajar en colaboración entre varias entidades • Creación de Organizaciones Virtuales • Negocios basados en proveer recursos

8. Desafíos • Descubrimiento, selección, reserva, asignación, gestión y monitoreo de recursos • Desarrollo de aplicaciones • Desarrollo de modelos eficientes de uso • Garantías de rendimiento • Gestión de fallos • Algoritmos distribuidos • Acceso a datos remotos • Comunicación lenta y no uniforme • De Organización: Dominios de administración, modelo de explotación y costos, política de seguridad... • Económicos: Precio de los recursos, oferta/demanda...

9. Aplicaciones • Ejecución de procesos • Réplicas y transferencia de datos • Monitoreo • Accounting • Workflows • Web/Grid Services • Portales

10. KNOWLEDGE REPRESENTATION & REASONING Knowledge Server Knowledge base access, Inference Translation Services Syntactic & semantic translation Knowledge Base Ontologies Curated taxonomies, Relations & constraints Pathway Models Pathway templates, Models of simulation codes DIGITAL LIBRARIES Navigation & Queries Versioning, Topic maps Mediated Collections Federated access KNOWLEDGE ACQUISITION Acquisition Interfaces Dialog planning, Pathway construction strategies Pathway Assembly Template instantiation, Resource selection, Constraint checking Code Repositories FSM RDM AWM SRM Users Data Collections Data & Simulation Products GRID Pathway Execution Policy, Data ingest, Repository access Grid Services Compute & storage management, Security Pathway Instantiations Storage Computing Esquema Grid

11. Conjunto de componentes software de código abierto que permite construir grids • Desarrollo de Web Services • Desarrollo de aplicaciones utilizando Java, C, C++ y APIS de Grid • Aplicaciones seguras utilizando mecanismos básicos de seguridad • Es un conjunto de servicios básicos de Grid • Enviar trabajos en batch • Transferencia de archivos • Acceso a bases de datos • Administración de datos (réplicas, metadata) • Monitoreo • Indexación de sistemas de información • Herramientas y ejemplos • Cumple con los prerequisitos de otras herramientas de la comunidad grid.

12. The University of Wisconsin, Madison - 1986. http://www.cs.wisc.edu/condor/ • Sistema de administración de procesos • Mecanismo para encolar trabajos • Políticas de scheduling • Esquemas de prioridad • Monitoreo de recursos • Administración de recursos • Balance de carga

13. -G • Sistema de administración de procesos • Mecanismo para encolar trabajos en Grid • Administración de archivos de entrada y salida • Utiliza Globus Toolkit para iniciar los procesos en una máquina remota (GSI) • Acceso y monitoreo de recursos del Grid

14. Laboratorio de PCs Campus Grid • Obstáculos: • Firewalls • Políticos • Software: • Cóndor • Globus Toolkit

15. Lecturas Complementarias • Foster, I. & Kesselman, C. (Eds). The Grid: Blueprint for a NewComputing Infrastructure.Morgan-Kaufmann (1999). • The Anatomy of the Grid: Enabling Scalable Virtual Organizations. Foster, I., Kesselman, C., Tuecke, S. http://www.globus.org/alliance/publications/papers/anatomy.pdf • What is the Grid? A Three Point Checklist Ian FosterArgonne National Laboratory & University of Chicago http://www-fp.mcs.anl.gov/~foster/Articles/WhatIsTheGrid.pdf • Grid Computing in Research and Education . Luis Ferreira et. al. April 2005 . Ibm.com/redbooks • Globus Toolkit 4.0: Key Concepts . Ian Foster 2005 . http://www.globus.org/toolkit/docs/4.0/key/GT4_Primer_0.6.pdf

16. Proyectos Grid • Grid Physics Network project www.griphyn.org • European Data Grid grid.web.cern.ch/grid • Particle Physics Data Grid www.ppdg.net • Network for Earthquake Engineering Simulation Grid www.neesgrid.org • The Globus Project www.globus.org • The Global Grid Forum www.gridforum.org

17. Proyectos “Internet Computing“ • SETI@home setiathome.ssl.berkeley.edu • Folding@home www.stanford.edu/group/pandegroup/Cosm • Compute-against-Cancer www.parabon.com/cac.jsp • Fight AIDS@home www.fightaidsathome.org • Great Internet Mersenne Prime Search mersenne.org • Casino 21: Climate simulation www.climate-dynamics.rl.ac.uk

18. Empresas que desarrollan software Grid • United Devices www.uniteddevices.comGrid Management or Performance Improvement Software • Plataform www.platform.comGrid Middleware solution • eXludus Technologies www.exludus.comStorage solution for a Grid implementation

19. Grid en las noticias • iSGTW - International Science Grid This Week - http://www.isgtw.org/ • GRIDtoday Daily News - http://www.gridtoday.com/ • Grid Today Awards - http://www.gridtoday.com/rca/index.html/

20. Organizaciones privadas Cs. de la tierra • Cs. de la vida • Entretenimientos • Investigación • Eficiencia en Negocios • Soluciones Grid Grid Today AwardsImplementaciones innovadoras en Grid

21. Consultas Laboratorio de Sistemas Complejos (LSC) http://wiki.lsc.dc.uba.ar