A – Introducción

1. Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe A – Introducción

2. A.2 – Por qué SDMX – importancia de SDMX

3. Statistical Data and Metadata eXchange UNSD World Bank SDMX ISO TS 17369

4. ¿Por qué SDMX? Falta de estandarización en intercambios de datos o entre organizaciones Diferentes formatos de Datos y metadatos Diferentes lugares para almacenar datos y metadatos EDIFACT XML Diferentes medios Formato papel Correo electrónico Formato Web Teléfono Ficheros Estructurados Medios extraíbles Subida de ficheros Papel

5. Qué es SDMX • Un modelo para describir datos y metadatos estadísticos • Un estándar para la comunicación automática de máquina a máquina • Una tecnología que soporta herramientas de TI estandarizadas. Con el fin de sacar partido a lo siguiente: • Los estadísticos coinciden en el uso de una descripción común de datos y metadatos • El proceso de intercambio de datos es manejado por la descripción común • Las descripciones de datos se ponen a disposición de todo el que quiera entender y reutilizar los datos Estoes lo que SDMX proporciona y habilita

6. ¿De la versión 1.0 a la versión 2.1 hasta…? Versión 1.0 GESMES/TS Versión 2.0 ISO/TS 17369 SDMX-EDI SDMX-ML Registro SDMX En 2008 SDMX se acepta a nivel de Naciones Unidas Se reconoce y soporta SDMX como estándar preferido SDMX 2.1 Versión 1.0 Versión 2.0 Febrero 2008 Septiembre 2004 Noviembre 2005 Abril 2011

7. Todos los buenos estándares cambian… • Todos los estándares cambian con el tiempo, y se lanzan como una serie de versiones • Los cambios siempre tienen cierto impacto en los usuarios • No siempre se espera que los usuarios usen la última versión de un estándar • Las organizaciones estándar (como SDMX) tienen que proporcionar soporte para varias versiones del estándar, todas las que estén en uso

8. Cambio en la gestión • Peligro (1): demasiados cambios pueden disuadir su adopción • Peligro (2): el no dar a los usuarios las funcionalidades que quieren desalentará su adopción Se necesita encontrar un equilibrio

9. Algunos beneficios de los estándares SDMX • SDMX proporciona soporte para cosas que son esenciales para los estadísticos, pero que a menudo les resultan difíciles de lograr • Un estándar internacional para agrupar todos los elementos involucrados en el proceso estadístico dentro de un modelo de información claro • Un enfoque que maximiza la cantidad de información sobre el contexto estadístico que se puede entregar a los usuarios, y la capacidad de enlazar estadísticas entre fuentes similares o diferentes • La automatización de procesos: SDMX permite el desarrollo de herramientas comunes que pueden usarse por todas las organizaciones estadísticas para mejorar sus actividades

10. Beneficios de los estándares SDMX (2) Organización Estadística Organización Estadística SDMX es también un estándar avanzado para el descubrimiento de datos con el uso de servicios basados en web “SDMX Reference Infrastructure” Los servicios web permiten la consulta, visualización y carga automática de datos y metadatos. Las herramientas SDMX permiten consultar una base de datos, o un sistema de ficheros, para la creación de tablas, cuadros, y gráficos a partir de los resultados de la consulta “SDMX Reference Infrastructure”

11. Producción / procesamiento de datos: lo que SDMX puede mejorar • Estándar internacional:- Evita la duplicación de esfuerzos en el desarrollo y mantenimiento de herramientas de TI- Crea un fondo común de habilidades y recursos (comunidad de desarrolladores) • Estandariza la estructura de conjuntos de datos y el formato de transmisión- Se reemplazan formatos heterogéneos por uno estándar- Las nuevas recopilaciones de datos comienzan con una estructura estandarizada • Validación de datos- SDMX permite detectar las inconsistencias de una estructura de datos en un estadio temprano del procesamiento • Aumento de la eficiencia- Más tiempo para el análisis de datos y comprobaciones de la calidad de datos

12. Por qué SDMX - Resumen • El intercambio y difusión de datos estadísticos es complejo, caro, y consume recursos intensamente • Los mismos datos se almacenan en múltiples ubicaciones • Los datos y metadatos a menudo no son reutilizables durante la recopilación, compilación, análisis, transmisión, difusión • Varias organizaciones internacionales tienen estándares técnicos en propiedad para el intercambio de datos con sus constituyentes • Los estándares combinan problemas específicos de “contenido” con soluciones técnicas • Los estándares múltiples provocan una carga adicional de informes • Transición de una transmisión punto a punto a una red mundial (XML, servicios web)

13. A.3 – Implementación del sistema de intercambio de datos

14. A.4 – Elementos básicos SDMX

15. Los componentes SDMX EspecificacionesTécnicas El Modelo de Información SDMX Guías para la armonización de contenido Guías orientadas al contenido (COG) Herramientas Arquitecturas de TI para el intercambio de datos Herramientas basadas en SDMX SDMX no essólo un formato de transmisión de datos…

16. Descripción del intercambio de datos ¿Quién? ¿Quién? ¿Cuándo? ¿Cómo? ¿Dónde? ¿Qué? ¿Qué?

17. Modelo de Información SDMX (“metamodelo”) Proporciona una forma de modelar datos, metadatos y procesos de intercambio Dimensiones (ej: país, variable/tema, año) Definición de Estructura de Datos (DSD) Estructura de Conjunto de Datos Listas de códigos Metadatos Estructurales Atributos (ej: unidad de medida) Identifican/Describen Metadatos sobre un valor individual, una serie temporal o un grupo de series temporales Datos

18. Guías orientadas al contenido Organización 1 Organización 2 Organización 3 Listas de códigos y conceptos de dominio transversales Dominios de temas estadísticos Vocabulario común de metadatos Recomendaciones para armonizar las implementaciones interoperabilidad interoperabilidad

19. Listas de código y conceptos de dominio transversal Dominio 1 Dominio 2 Conjunto de conceptos usados Conceptos de dominio transversal FREC REF. AREA COMPARABILIDAD

20. Vocabulario común de metadatos

21. Dominios de temas estadísticos Basados en la Clasificación de Actividades Estadísticas Internacionales de la Comisión Económica de las Naciones Unidas para Europa (UNECE)

22. Uso de conceptos de dominio transversal

23. Definición de Estructura de Datos: uso de concepto Existencias/Flujo País Unidad Múltiplo Unidad Tiempo/Frecuencia Tema Observación (Dimensión) (Dimensión) (Atributo) (Atributo) (Dimensión) (Dimensión) (Dimensión) (Medida)

24. Definición de Estructura de Datos:definición de estructuras multi-dimensionales • Comprende • Concepts que identifica al valor de observación • Concepts que añaden metadatos adicionales sobre el valor de observación • Concept que es el valor de observación • Cualquiera de estos pueden ser: • codificados • texto • fecha/tiempo • número • etc. Dimensiónes Atributos Medida Representación

25. SDMX describe el intercambio de datos y metadatos A finales de junio Acuerdo de provisión Esquema de organización Registro SDMX mantenedor Esquemas de conceptos Listas de códigos DSD Conceptos

26. Arquitectura del repositorio de datos (Almacén de datos) registro Registro SDMX consulta NSI P U L L Datos recibidos en SDMX-ML Demandante “Pull” de Eurostat Eurobase Cargador Difusión Verificación / Conversión a SDMX eDAMIS P U S H XSL para SDMX-ML Reservas en almacén Almacén intermedio Entrada de Datos

27. Los componentes

28. Progreso del SDMX, 2011 hasta 2015 • Desarrollo de estándares: Abril 2011, estándares técnicos SDMX 2.1 lanzados en sdmx.org • Difusión: Mayo 2011, SDMX Global Conference Se pueden obtener ocho tutoriales de e-learning de la plataforma CIRCA • Gobernabilidad: Creación de dos Grupos de Trabajo SDMX Working Groups (Grupo de Trabajo Técnico y Grupo de Trabajo Estadístico) • Plan de Acción 2011 hasta 2015

29. Cómo saber más acerca de SDMX

30. http://sdmx.org/

31. http://epp.eurostat.ec.europa.eu/portal/page/portal/pgp_ess/news/ess_news_detail?id=112774074&pg_id=2417&cc=ESTAT_EUROSTAThttp://epp.eurostat.ec.europa.eu/portal/page/portal/pgp_ess/news/ess_news_detail?id=112774074&pg_id=2417&cc=ESTAT_EUROSTAT

32. https://webgate.ec.europa.eu/fpfis/mwikis/sdmx

33. Cursos de formación sobre SDMX • SDMX elemental (para estadísticos y personal de TI) Tiene lugar en Eurostat. Dirigido a personas responsables de la gestión y difusión de datos y metadatos basados en SDMX. • Curso avanzado sobre SDMX (para desarrolladores de TI) Tiene lugar en Eurostat. Dirigido a desarrolladores de TI y propuesto en dos versiones: programadores JAVA programadores .NET • Curso ESTP sobre “Tecnologías avanzadas para la recopilación y difusión de datos” Externo

34. Para más información • http://www.sdmx.org(Página web de SDMX) • https://webgate.ec.europa.eu/fpfis/mwikis/sdmx (Espacio de información de Eurostat) • Estat-SDMX@ec.europa.eu (Información general sobre SDMX) • Estat-support-sdmx@ec.europa.eu(Proyectos de implementación de Eurostat)

35. A.5 – Herramientas SDMX

36. Software de código abierto para SDMX

37. Convertidor SDMX • Convierte desde todos los formatos existentes de la versión 2.0 estándar de SDMX (genérica, compacta, de utilidad y transversal) así como de GESMES (SDMX-EDI 2.0) FLR y formatos CSV. • La interacción con el Convertidor es posible mediante el uso de una Interfaz Gráfica de Usuario (GUI), intefaz de línea de comandos (CLI) y vía su API de programación. • La interfaz de Servicio Web ofrece la posibilidad de exponer las funcionalidades del Convertidor en la Web. Los clientes pueden hacer una llamada al servidor de la aplicación donde el servicio del Convertidor se encuentre desplegado.

38. Registro SDMX • Registro de metadatos que implementa al registro de especificaciones SDMX • El Registro SDMX tiene como tarea el proporcionar una estructura, organización, y mantenimiento e interfeaces de consulta para la mayoría de componentes SDMX necesarios para el soporte de la visión de los datos a compartir • Proporciona una interfaz de usuario basada en web así como servicios web para interactuar con los objetos de metadatos estructurales SDMX en uso dentro de Eurostat y con socios estadísticos. • El registro sólo se preocupa de proporcionar la información necesaria para acceder a los conjuntos de datos y metadatos de referencia • Una aplicación que quisiera un conjunto de datos o metadatos concreto consultaría entonces al registro acerca de la URL, y entonces iría y obtendría el conjunto de datos o metadatos directamente del servidor web del proveedor.

39. Asistente de Estructura de Datos DSW • Una aplicación individual de Java que soporta la versión 2 del estándar SDMX. • Puede usarse tanto offline como online, dependiendo de la elección del usuario y sus derechos de acceso. • Permite el mantenimiento de los siguientes artefactos SDMX v2.0: Definiciones de Estructuras Datos, Listas de Códigos, Esquemas de Concepto, Flujos de Datos, Listas de Códigos Jerarquizadas, Esquemas de Categoría y Esquemas de Organización. • Posibilidad de crear dinámicamente una plantilla para una DSD especificada en formato SDMX v2.0. • Proporciona un mecanismo para importar/exportar definiciones DSD SDMX-ML v2.0 y un mecanismo para importar/exportar definiciones DSD desde/a ficheros de estructura GESMES/TS

40. Infraestructura de Referencia SDMX (SDMX-RI) • Una infraestructura generalizada de servicios que puede reutilizarse parcial o completamente por una organización interesada en empezar proyectos SDMX para el intercambio de datos. • Estos son los modelos más comunes de Infraestructura de Referencia SDMX: • Parseador de Consultas SDMX • Recuperador de Datos • Recuperador de Estructuras • Generador de Datos SDMX • Asistente de Mapeo • Dos componentes web: • Cliente Web • Proveedor de Servicios Web

41. Asistente de Mapeo • Facilita el mapeo entre los metadatos estructurales proporcionados por una Definición de Estructura de Datos SDMX-ML (DSD) y aquellos que residen en una base de datos de un entorno de difusión. • Mantiene un Almacén de Mapeo para guardar los mapeos entre SDMX y el esquema de almacenaje de datos locales • En la Infraestructura de Referencia SDMX, proporciona información de mapeo para el Recuperador de Datos.

42. Generador XSD • Produce Definiciones XML de Esquemas (XSD) basadas en una DSD recibida • Produce esquemas XSD para formatos Compactos, Transversales o de Utilidad para el estándar SDMX v2.0, y pueden usarse: • Como un bloque de construcción reutilizable, a través de su API. • A través de una Interfaz Gráfica de Usuario (GUI) individual • A través de una Interfaz de Línea de Comandos (CLI) • A través de una GUI Web

43. Relaciones entre Herramientas – Ejemplo Produce Almacena DSW Registro SDMX DSD DSD usa Produce usa usa Convertidor Conjunto de Datos SDMX SDMX-RI Asistente de Mapeo Produce Mapeo Produce Fichero CSV Base de Datos Nacional