1 / 39

Perspectivas de la Computación Científica . Clusters , Grids y Clouds . Desarrollos y retos

Perspectivas de la Computación Científica . Clusters , Grids y Clouds . Desarrollos y retos. Raúl Ramos Pollán Universidad Nacional de Colombia.

quemby-huber
Download Presentation

Perspectivas de la Computación Científica . Clusters , Grids y Clouds . Desarrollos y retos

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Perspectivas de la Computación Científica. Clusters, Grids y Clouds. Desarrollos y retos Raúl Ramos Pollán Universidad Nacional de Colombia

  2. “La Ciencia e Ingeniería Basada en la Simulación ha alcanzado hoy día un nivel de capacidad predictiva que complementa sólidamente los pilares tradicionales de teoría, experimentación y observación … Muchas tecnologías críticas … están en un horizonte que no pueden ser entendidas, desarrolladas o usadas sin simulación por computador”. Computación Científica http://www.wtec.org/sbes/

  3. Algoritmos/Aplicaciones Computación Científica Datos Infraestructura de cómputo Recurso humano/ Comunidades científicas

  4. Descomposición en elementos finitos Aplicaciones – Fine grained parallelism Predicción climática Docking de proteínas

  5. Particiones de datos Aplicaciones – Coarse grained parallelism Data scans / aggregations / summaries Summatory query form over data Logs processing, index generation  Map/reduce, Hadoop Simulación Montecarlo

  6. Generate configurations Barridos de parámetros (ejemplo Stellerator TJ-II en la Grid) AplicacionesCoarse computation for fine grained parallelism Simulate device conf 1 Simulate device conf 2 Simulate device …. Simulate device conf n Evaluate configurations

  7. Naturaleza de los algoritmos Paralelización de algoritmos

  8. Recurso computacional disponible (GPUs, Cluster, Grids, Clouds, …) Topología interconexión unidades de cómputo Estrategias para explotar recursos computacionales Por paralelización intrínseca del algoritmo Por barrido de parámetros Por partición de datos Paralelización de algoritmos

  9. Procesamiento de imágenes  operaciones en regiones (i.e. contraste) Ejemplos de algoritmos   and perform n iterations

  10. Particionamiento no trivial  por algoritmo (otra estrategia  por datos para muchas imágenes, pero cada una tiene que caber en memoria) Ejemplos de algoritmos

  11. Particionamiento no trivial Ejemplos de algoritmos

  12. Paralelización de KMeans … … • Paralelizar asignación y el cálculo • de la media para cada centroide …

  13. Map-reduce, Hadoop

  14. Map-reduce, Hadoop

  15. Ley de Amdahl N: Núm. nodos paralelos P: Proporción paralelizable del código S(N): speedup máximo Escalabilidad

  16. Clusters Supercomputadores Clouds Grids GPUs Computación oportunista Infraestructuras de computación

  17. Top500, distribución histórica (www.top500.org)

  18. Top500, distribución histórica (www.top500.org)

  19. Planificación de tareas  Batch jobs Sistema compartido de archivos Fast inter-networking for inter-process communication Clusters Shared storage

  20. Planificación de tareas  Batch jobs Memoria compartida Procesos multi-nodo Supercomputadores

  21. Redes de datacenters Particiones de procesos independientes Heterogéneos Federación vs distribución Middleware propio Grids

  22. Desacoplamiento infraestructura física Modelo de cómputo no fijo: IaaS, PaaS, SaaS Clouds

  23. Sobre recursos no propios Computación voluntaria, labs de escuelas, etc. Computación oportunista

  24. Computación matricial Procesadores simples y masivos GPUs

  25. Colecciones de datos Adquisición de datos Colisiones LHC, secuenciaciones, digitalizaciones, bancos de imágenes, mapas Datos científicos

  26. Orígenes Distribución Estándares y formatos Propiedad y responsabilidades Datos científicos

  27. Orígenes Distribución Estándares y formatos Propiedad y responsabilidades Datos científicos

  28. manejo de datasets de tamaño >> capacidad de las herramientas tradicionales de bases de datos según la tecnología avanza con el tiempo, el tamaño de los conjuntos de datos a los que denomina el término también crecerán, si cabe, a un aún ritmo mayo Requiere nuevo modelo (no sirven BBDD tradicionales, paquetes estadísticos/visualización desktop) Objetivo  Escalabilidad «trivial» Big Data

  29. Expresividad SQL vs. Escalabilidad Tablas: filas de keys + lista no fija de columnas/valores Operaciones simples: Scan por key Acceso directo por key Transacciones mínimas (check&put) No joins, no SQL language Big table, Hbase, DynamoDB, Azure, Cassandra, etc. Bases de datos NoSQL

  30. Arquitectura HBase

  31. La GenteCientíficosIngenierosProgramadoresGestores de proyectoAdministrativos

  32. Conclusión 1: El mundo de la computación es plano, cualquiera puede acceder. Lo que nos distinguirá del resto del mundo es nuestra habilidad para hacerlo mejor y explotar las nuevas arquitecturas que desarrollamos antes de que dichas arquitecturas sean universalmente usadas. Conclusión 2: La educación y formación inadecuadas de la siguiente generación de científicos computacionales amenaza el crecimiento global de la Ciencia e Ingeniería Basadas en Simulación. Esto es particularmente urgente [...]; a no ser que preparemos a los investigadores para desarrollar y usar la próxima generación de algoritmos y arquitecturas de computadores, no seremos capaces de explotar sus capacidades para cambiar las reglas del juego. Formación multidisciplinar http://www.wtec.org/sbes/

  33. Código sucio o poco estructurado Falta de documentación Escenarios y Retos Arquitecturas de software y datos espontáneas Código mezclado (paralelo, seq, …) Procesos de desarrollo informal Comunidades científicas tradicionales Procesos de desarrollo informal

  34. Grid? Cloud? Modificar algoritmos? Decisiones Adaptarse al hardware disponible? Me dedico a otra cosa? Contribuir al software? Duplico datasets? Comunidad científica? Comprar hardware? GPU?

  35. Mantener hardware es caro SOLOS NO SOMOS NADA Portar aplicaciones es caro Criterios científicos, técnicos y organizacionales Cambios generacionales

  36. Medir el alcance del sw/hw disponible A corto plazo Medir recurso humano disponible Afinar objetivos y esfuerzo Adaptar objetivos científicos a posibilidades

  37. Construir equipos multidisciplinares Actualizar programas de capacitación (BSc Msc PhD) A medio/largo plazo Generar frameworks y modelos de computación Cultura HPC en la ciencia y Cultura científica en ingeniería Generar frameworks y modelos de computación Iniciar procesos de planificación de software Regeneración generacional Estrategias transnacionales

  38. EL USO DEL CÓMPUTO CIENTÍFICO ES INEVITABLE Conclusiones La computación científica es un reto tecnológico, científico y organizacional Científicos e ingenieros computacionales se necesitan mutuamente  equipos multidisciplinares Tecnología vs. Modelos de computación vs. Disponibilidad de recursos (humanos + técnicos) Conciliar estrategias a corto, medio y largo plazo CAMBIO DE PARADIGMA  EVITAR OBSOLESCENCIA

  39. ?

More Related