1 / 43

Grids

Grids. Cluster. High-availability (HA) Clusters (Linux HA) Load-balancing Clusters (Platform LSF HPC, Sun Grid Engine, Moab Cluster Suite and Maui Cluster Scheduler) High-performance (HPC) Clusters (Beowolf) Grid Clusters: Computational Grids Data Grids Equipment Grids. GLOBUS.

felcia
Download Presentation

Grids

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Grids

  2. Cluster • High-availability (HA) Clusters (Linux HA) • Load-balancing Clusters (Platform LSF HPC, Sun Grid Engine, Moab Cluster Suite and Maui Cluster Scheduler) • High-performance (HPC) Clusters (Beowolf) • Grid Clusters: • Computational Grids • Data Grids • Equipment Grids

  3. GLOBUS

  4. Applications…….. Users…… ……...Organizations Information Serveces Resource Management Data Management Grid Security Infrastructure

  5. process GridFTP MDS GRAM Resources FTP server GRIS jobmanager LDAP LDAP RSLHTTP1.1 Gsiftp/http/https/file gatekeeper resource finding data transfer data control Job allocation Job management USE USE USE proxy GIIS Initialize/destroy user Client

  6. GRAM Sever GRAM Client HTTP/1.1 RSL globusrun globusrun Gatekeeper GSI Client GSI Client GSI Sever RSL callback fork Job Manager Job satus/cancel RSL Parser RSL file use (opcioptional) Perl Script stdout File transfer GASS GASS Output transfer qsub bsub fork Process PBS Job LSF Job Local Resource Manager

  7. GRAM Client HTTP/1.1 RSL globusrun RSL DUROC DUROC Parser GRAM Server 1 GRAM Server 2

  8. Host C Host A GIIS Request and response of resource information MDS Client Host B Request and response of resource information GIIS Register Register GRIS Request and response of resource information Local resource information Information Provider Local resource information Resources Idapsearch Idapadd/delete/modfy slapd LDAP base

  9. GridFTP Client GridFTP Server Globus-url-copy In.ftpd control File File transfer

  10. TeraGrid

  11. Visión • Construir una nueva infraestructura para soportar aplicaciones científicas basadas en grids (hw,sw,networks,new practices, new policies) • Expandir los centros de cómputo para soportar al infraestructura tecnológica • Centros de operación coordinados y distribuidos geográficamente. • Explotar conocimiento y experiencia, de modo que el todo sea más que la suma de sus partes. • Homogenizar para realizar el trabajo distribuido de forma sencilla y de manera estándar. • Ejecutar un trabajo en toda la TeraGrid • Migrar ejecutables entre sitios.

  12. Objetivos • Crear una capacidad de cómputo sin precedentes • Crear un sistema balanceado y distribuido. • No un computador distribuido sino un sistema distribuido • Definir una infraestructura abierta y extensible • Permitir la incorporación de nuevos recursos tanto en los centros de investigación participantes como en nuevos centros que se incorporen al sistema. • Retos • High-speed networks • Grid Services • Grid-Enlabled TeraScale facilities • WAN

  13. Escenarios de uso y Componentes • Hardware: Linux/Intel Clusters, Alpha SMP cluster … • Large-scale storage systems • High-Speed backbone • Grid middelware • Next Generation applications • Visualización remota de grandes cantidades de datos y aplicaciones sincronizadas armónicamente • Número variable de procesadores y adaptación a tiempos de latencia variable. • Alto Throughput

  14. Tipos de Aplicaciones • Computación intensiva • Data intensiva • Acopladas a instrumentos científicos • Procesamiento y análisis de datos “cercanos” y en tiempo real • Entes participantes (inicialmente) • Argonne National Laboratory • Caltech • The National Center for Supercomputing Applications • San Diego Supercomputer Center • Texas Advanced Computing Center

  15. Sistema inicial

  16. Capas de Servicios

  17. Ejemplo de un SITE

  18. Recursos y Servicios • Compute Resources • Data Resources and Data Management Services • Visualization Resources • Network Resources • Grid Services • Grid Scheduling • Allocations and Proposals

  19. Nuestra WAN

  20. SuSE SLES X-cat OpenPBS Maui scheduler MPICH, MPICH-G2, MPICH-VMI gm drivers VMI/CRM Globus Condor-G gsi-ssh GPT Wizard and GPT GPT SoftEnv MyProxy Intel compilers GNU compilers HDF4/5 SRB client Software Stack

  21. gLite

  22. Middleware: Se refiere a una pieza de software que conecta dos o más aplicaciones para que puedan intercambiar datos. • Middleware de Grids: Integra y organiza recursos computacionales en un grid para presentarlos de manera homogénea.

  23. Proyecto Enabling Grids for E-siencE • Construir un grid robusto y seguro que atraiga muchos recursos de computo • Continuamente mejorar y mantener un middleware para este grid. • Atraer nuevos usuarios de industrias y áreas científicas.

  24. Requerimientos del GRID de EGEE • Heterogeneidad • Agrupación de recursos vía VO. • Utilización de recursos existentes • Ejecución de trabajos • Servicios de datos • Seguridad • Escalabilidad • Disponibilidad

  25. LCG-2 (=EGEE-0) 2004 prototyping prototyping product 2005 product LCG-3 EGEE-1 • gLite fue creado por el proyecto EGE en abril de 2005 • Se unificó con LCG en mayo de 2006

  26. gLite (Lightweight Middleware for Grid Computing): Es un middleware para grids orientado a servicios. Brinda servicios para permitir la administración de computo y almacenamiento distribuido. • Características: • Orientado a servicios • Rehúso de componentes ya realizados • Portable • Seguro • Tolerante a fallos • Compatibilidad con infraestructura ya existente • Software libre

  27. Comparación entre gLite y LCG

  28. Componentes Cada componente de gLite está compuesto a su vez por una serie de paquetes de software (RPMs). Por esto los componentes son denominados metapaquetes. Estos paquetes de software deben ser configurados adecuadamente para trabajar “juntos”. • User Interface (UI) 2. WorkloadManagement System (WMS) / Resource Broker (RB) 3. Computing Element (CE) 4. Worker Node (WN) 5. The Logging and Bookkeeping service (LB)

  29. Componentes

  30. Servicios • Information & Monitoring Service • Job Management Service • Data Management Service • Security Service

  31. Information & Monitoring Service • R-GMA (Relational Grid Monitoring Architecture) • Servicio genérico de descubrimiento. • Instrumentos de apoyo para las transacciones - Replicación de registros -API mas simple -Enfrentarse a la vida en el grid (redes configuradas pobremente, MySQL corrupto, etc.)

  32. Job Management Service • Computing Element - CE mueve las VO basado en el planificador local • - Políticas basadas en los cambios de los CE • Logging and Bookkeeping - Sigue trabajos durante su curso de la vida (en términos de acontecimientos) • Migraciones Compatibibles

  33. Data Management Service • Elementos de almacenamiento • Replicación de catálogos y archivos • Transferencia y ubicación de archivos • Catalogo de meta-datos.

  34. Security Service • VOMS • Job Management Services WMS, LB y CE se utilizan bajo la autorización basada en VOMS, y en la información de los usuarios • Data Services Autorizaciones a través de las ACL • Information Services Autentificación basadas en los certificados de los VOMS

  35. SUMA/G USB

  36. SUMA como conjunto de servicios CORBAProceso de ejecución e invocación • Execute • Submit • Agentes de Ejecucion (Execution Agents) • Cliente Interno (Client Stub) • Representante (Proxy) • Planificador (Scheduler) • Control de Usuario (UserControl)

  37. Arquitectura de SumaPor Capas

  38. Tolerancia a Fallas • CheckPoints

  39. SUMA - Otras Características: • Planificador • Seguridad • Administración

  40. PREGUNTAS… GRACIAS!

More Related