Sistema de análisis distribuido de ATLAS (ADA)

1. Sistema de análisis distribuido de ATLAS (ADA) Farida Fassi / Mª Dolores Jordán IFIC

2. Contenido • Introducción al sistema • Modelo de ADA •  Componentes • Dataset • Transformación • trabajo •  AJDL (Abstract Job Description Language) • Arquitectura de ADA El entorno de usuario •  Servicio de catálogos •  Servicios de análisis • DIAL, ATPROD y ARDA • Componentes de DIAL • Transformaciones Farida Fassi/M.D. Jordán

3. Introducción (1) • ADA es un sistema de análisis de datos que permite hacer uso de las tecnologías GRID • su ámbito de aplicación es la física de Altas Energías • Toma de otros proyectos las herramientas necesarias para identificar algunos de sus componentes • Proporciona a los usuarios mecanismos para: • acceder fácilmente a los datos • seleccionar datos relevantes para un determinado análisis • realizar el análisis y el procesamiento de dichos datos • Permite el análisis en un entorno donde los usuarios, los datos y el procesamiento están distribuidos geográficamente Farida Fassi/M.D. Jordán

4. Introducción (2) • ¿En qué se basa ADA? Está basada en una colección de Servicios WEB (High level services), donde el usuario interacciona con el sistema mediante una interfaz (AJDL) bien integrada con el entorno de análisis, y que permite:  ocultar los detalles y la complejidad del middleware del que hace uso ADA  facilitar el uso del sistema permetiendo: • el envío de los trabajos y su monitorización • el acceso a los catálogos, a los ficheros y al software necesario para lasaplicaciones. Farida Fassi/M.D. Jordán

5. Modelo de ADA (1) • Componentes • Dataset • describe los datos • proporciona al usuario información para: • localizar datos • conocer su tipo, y el número de sucesos que contiene • Transformación • permite la manipulación y la explotación de los datasets • describe una operación que actúa sobre un dataset produciendo un nuevo dataset Farida Fassi/M.D. Jordán

6. Modelo de ADA (2) • Está dividida en: • Aplicación  especifica los ejecutables y las librerías compartidas • Tarea  especifica la configuración del usuario para una aplicación • Trabajo: • ejemplo particular de transformación que actúa sobre un dataset. Farida Fassi/M.D. Jordán

7. Modelo de ADA (3) • AJDL (Abstract Job Definition Language) • AJDL son clases de C++ con métodos para escribir y leer • desde ficheros XML • Interfaz que define los componentes del modelo de ADA  permite al usuario, desde su entorno, comunicarse con el servicio de análisis y de catálogos. • proporciona una implementación genérica de los servicios de ADA de modo que éstos se pueden usar con: • Datasets • Transformación (aplicación + tarea) • Trabajo • JobConfiguration (la configuración de un trabajo) • Scheduler (servidor que lleva a cabo el procesamiento de los trabajos) Farida Fassi/M.D. Jordán

8. Arquitectura de ADA (1) • Se estructura en tres niveles: • Entorno de usuario • Servicios de análisis y de catálogos • Sistema de procesamiento de los trabajos • Permite realizar el análisis en un entorno donde los usuarios, los datos y el procesamiento están distribuidos geográficamente. Farida Fassi/M.D. Jordán

9. Arquitectura de ADA (2) Farida Fassi/M.D. Jordán

10. Entorno de usuario (1) • Proporciona al usuario los medios para comunicarse con los servicios de ADA • Permite al usuario: • acceder fácilmente a los datos • monitorizar el progreso de los trabajos • obtener un resultado parcial o completo de los trabajos • Facilita al usuario los recursos para examinar y crear los componentes de AJDL, en especial datasets, transformaciones y trabajos Farida Fassi/M.D. Jordán

11. Entorno de usuario (2) • Está desarrollado por: • GANGA implementado en Python (http://ganga.web.cern.ch/ganga/) • ROOT implementado en C++ (http://root.cern.ch/root/) Farida Fassi/M.D. Jordán

12. Servicio de Catálogos (1) • Proporciona un repositorio para los componentes (objetos de C++) del AJDL • Permite a los usuarios: • asignar metadata (atributos de nombre) a dichos objetos • Registrar la procedencia de los datasets • monitorizar el progreso de los trabajos • Tres tipos de catálogos: • Repositorio para todo tipo de AJDL • Almacena descripciones de objetos XML asociándoles un identificador (ID) Farida Fassi/M.D. Jordán

13. Servicio de Catálogos (2) • Catálogo de selección para datasets • Asocia metadata con los ID’s de los objetos • Catálogo de réplicas para datasets • Asocia un ID lógico con una colección de ID’s de réplicas • Actualmente se usa AMI como servicio de catálogos Farida Fassi/M.D. Jordán

14. Servicios de Análisis (1) • Objetivo • Proporcionar al usuario los mecanismos necesarios para llevar a cabo el análisis de los datos  métodos para la instalación de transformaciones, el envío de los trabajos y su monitorización. • Procedimiento • Recibe una petición de trabajo desde AJDL • Crea el correspondiente trabajo asignándole un identificador • Envía el trabajo para su ejecución al sistema de procesamiento Farida Fassi/M.D. Jordán

15. Servicios de Análisis (2) • Actualmente ADA posee tres servicios de análisis: • DIAL • ATPROD • ARDA Farida Fassi/M.D. Jordán

16. DIAL (Distributed Interactive Analysis of Large datasets) (1) • Demuestra la viabilidad del análisis distribuido e interactivo de grandes cantidades de datos, y el no-interactivode los mismos • análisis interactivo colas rápidas de LSF • análisis no-interactivocolas lentas de Condor • Su componente principal es el Scheduler que: • recibe una petición del usuario (transformación + dataset) • divide el dataset en sub-datasets • por cada sub-dataset crea un sub-trabajo • los envía al sistema de procesamiento para su ejecución • concatena los diferentes resultados dando el resultado final Farida Fassi/M.D. Jordán

17. DIAL (2) • Proporciona al usuario el análisis interactivo procesando los trabajos de forma distribuida entre diferentes:  sitios, granjas y nodos Farida Fassi/M.D. Jordán

18. Componentes de DIAL Transformación Farida Fassi/M.D. Jordán

19. ATPROD y ARDA ATPROD • Sistema de producción de datos de ATLAS • ADA permite a los usuarios producir, simular y reconstruir muestras de datos utilizando ATPROD • El uso de ATPROD en ADA aún está en fase de desarrollo • ARDA (gLite  ver presentación de Álvaro) • coordina las actividades de los proyectos del LHC para tener un sistema de análisis común basado en el middleware de gLite permite el envío de trabajos al sistema de gestión de los trabajos (WMS/gLite) Farida Fassi/M.D. Jordán

20. Transformaciones • ADA soporta un amplio rango de transformaciones, pero se centra en aquellas que permiten el análisis, la generación, la simulación, y la reconstrucción de datos • Para satisfacer la estrategia de ADA, una transformación se lleva a cabo en dos pasos: 1) toma los ficheros de la tarea y las librerías y realiza la compilación  Build_task 2) coge el dataset de entrada y el build_task para su procesamiento, produciendo un nuevo dataset  Run_task • Build y Run son ficheros de bash • Actualmente ADA posee los siguientes transformaciones: • aodhisto, atlasdev, atlasopt y esd2aod Farida Fassi/M.D. Jordán