C – HERRAMIENTAS SDMX BÁSICAS (sólo para estadísticos)

1. Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe C – HERRAMIENTAS SDMX BÁSICAS (sólo para estadísticos)

2. C.3 – Conversión de un mensaje de datos

3. FORMATOS DE DATOS • Basado en un Modelo de Información común • SDMX-EDI (GESMES/TS) • Sintaxis EDIFACT • Orientado a serie temporal – Un formato para conjunto de datos • SDMX-ML • Sintaxis XML • Cuatro formatos diferentes para Conjuntos de Datos • Una validación más fácil (basada en XML)

4. Encabezados comunes de datos SDMX

5. Mensajes de datos SDMX Representaciones equivalentes para la presentación de conjuntos de datos Versión 2.0 Versión 2.1 4 mensajes de datos, cada uno con un formato bien diferenciado. Por tanto, ahora hay 4 mensajes de datos basados en dos formatos generales: • DatosGenéricos DatosSerieTemporalGenéricos DatosGenéricos Datos Transversales Datos Compactos • DatosEstructuraEspecífica DatosSerieTemporalEstructuraEspecífica Datos de Utilidad Obsoletos

6. Ejemplo de Mensaje SDMX-ML Genérico

7. Ejemplo de Mensaje SDMX-ML Compacto

8. Ejemplo de Mensaje SDMX-ML Transversal

9. Conversiones SDMX v2.0 SDMX-ML Compacto SDMX-ML Genérico SDMX-ML Transversal Formatosequivalentes Basada en el mismo IM Excepciones: Si una DSD Transversal NO contiene una dimensión de tiempo Puede expandirse a otros formatos (ej: CSV, GESMES)

10. Convertidor SDMX Leer el mensaje de entrada Escribir el mensajeconvertido Parseo Poblar el modelo de datos de la herramienta (basado en el modelo de información SDMX v2.0) Usa el modelo de datosparaescribir el mensaje de salida en el formatoobjetivorequerido. Información recuperada desde el Registro Se usa una ID de flujo de datos para recuperar la definición de flujo de datos del Registro. La ID de la DSD, su versión y ID de agencia se recuperan de la definición de flujo de datos y se usan para adquirir la DSD

11. Funcionalidad principal del Convertidor SDMX Uso principal: Conversión CSV  SDMX-ML Compacto Conversionesposibles • CSV • SDMX-ML Compacto • SDMX-ML Genérico • SDMX-ML de Utilidad • SDMX-ML Transversal * • SDMX-EDI (GESMES/TS) • CSV • SDMX-ML Compacto • SDMX-ML Genérico • SDMX-ML de Utilidad • SDMX-ML Transversal • SDMX-EDI (GESMES/TS)

12. Seleccionar el fichero de entrada Seleccionar el fichero de salida Seleccionar los formatos de entrada y salida Identificar una DSD a descargar desde el Registro SDMX Seleccionar la DSD en la unidad local Seleccionar / gestionar encabezados para formatos de entrada CSV Identificar un flujo de datos vinculado a la DSD a descargar desde el Registro SDMX Parámetros CSV Seleccionar tablas de mapeo / transcodificación Representación GESMES para formatos de salida GESMES Parámetros XML para formatos de salida SDMX Cargar / guardar los ajustes actuales

13. C.4 – Definición de Estructura de Metadatos

14. Ejemplo Práctico

15. Ejemplo de metadatos de referencia

16. Ejemplo de metadatos de referencia

17. Ejemplo de metadatos de referencia

18. Definición de Definición de Estructura de Metadatos • Las Tareas • Análisis de un conjunto de metadatos completo para identificar y documentar los “Conceptos” para los que se han de presentar o diseminar metadatos. • Determinar la estructura del “Informe de Metadatos” en relación a los conceptos usados, la jerarquía de los conceptos cuando se usan en el informe, y su “representación” (ej: ¿se está usando una lista de códigos? ¿es el formato de texto libre?). • Especificar el “objeto tipo” con el que se han de asociar los metadatos, y cómo se identifica este tipo de objeto: el conocimiento del Modelo de Información SDMX se muestra útil en este caso (ya que los metadatos sólo pueden asociarse con tipos de objetos que pueden identificarse en relación a los tipos de objetos que existen en el modelo de información).

19. Definición de Estructura de Metadatos • Un conjunto de metadatos de referencia tiene un conjunto de metadatos estructurales que describe como se organizan. Estos metadatos identifican • qué conceptos de metadatos de referencia se están presentando • cómo se relacionan estos conceptos entre ellos (normalmente como jerarquías), • cómo se pueden representar (como texto libre, como valores codificados, etc.) • cuál es la función de su uso (obligatorio o condicional) • con qué tipos de objetos SDMX formales se asocian • Una MSD comprende dos partes fundamentales: • El Tipo de Objeto(s) con los que los metadatos se pueden asociar • Los Conceptos para los que los metadatos se han de presentar • estos conceptos se agrupan bajo una (o más) Estructura de Informe(s)

20. Estructura del Informe de Metadatos – Información de Contacto • En este caso, no hay un nombre individual, sólo la organización y la unidad de organización. Además, no existe un número de teléfono o de fax, sólo una dirección web de contacto. • De esta información se puede obtener la siguiente estructura de informe y conceptos subyacentes.

21. Estructura del informe de metadatos – Información de contacto La definición real del concepto se encuentra en el Esquema de Concepto Two levels of hierarchy in the report Dos niveles de jerarquía en el informe El uso del concepto, su lugar en la jerarquía, representación, y asociación se definen en la parte relativa al “Atributo de Metadatos” del MSD (denominado Atributo en la tabla).

22. Estructura del informe de metadatos – Metadatos de contenido

23. Estructura del informe de metadatos– Esquema de Concepto Los siguientes conceptos se obtienen de las tablas anteriores: CONTACTO Los conceptos del esquema de concepto pueden definirse en un jerarquía donde exista un vínculo semántico entre los conceptos padre e hijo; El concepto(s) hijo tendrá un significado semántico más refinado que el del padre. CONTACTO_ORG CONTACTO_ORG_UNID CONTACTO_CORREO_DIRECCIÓN ESTAD_PRES ESTAD_UNID ESTAD_POB REF_AREA TIEMPO_COB

24. Estructura del infome de metadatos – El tipo de objeto de asociación • El conjunto de metadatos que se presenta (esto es, el contenido real de metadatos) tiene el propósito de ser metadatos sobre “algo”. • Ese “algo” es el tipo de objeto y en una MSD es necesario declarar el tipo de objeto y definir cómo se identifica en relación a sus componentes constituyentes. • Por ejemplo, un Código se identificaría mediante una combinación del identificador de Lista de Códigos y el identificador de Código.

25. Estructura del informe de metadatos – El tipo de objeto de asociación El tipo de objeto de asociación debe de poder definirse con el uso de tipos de objetos identificables en el Modelo de Información SDMX – el esquema XML demanda esto y enumera los siguientes tipos de objetos. Agencia EsquemaConcepto Concepto ListaCódigo Código FamiliaClave Componente DescriptorClave DescriptorMedida DescriptorAtributo DescriptorClaveGrupo Dimensión Medida Atributo EsquemaCategoría TaxonomíaInforme Categoría EsquemaOrganización ProveedorDatos EstructuraMetadatos IdentificadorObjetivoParcial AtributoMetadatos FlujoDatos AcuerdoProvisión MapaEsquemaOrganización MapaFunciónOrganización MapaEsquemaConcepto

26. Estructura del informe de metadatos – El tipo de objeto de asociación FlujoMetadatos RestricciónContenido RestricciónAsociación ConjuntoDatos ConjuntoDatosXS Jerarquía MapaEstructura MapaComponente MapaListaCódigo MapaCódigo MapaCategoría MapaConcepto Proceso IdentificadorObjetivoCompleto PasoProceso MapaEsquemaCategoría ListaCódigosJerárquica ConjuntoMetadatos ConjuntoEstructura

27. Estructura del informe de metadatos – El tipo de objeto de asociación Categoría de Datos El tipo de objeto es la Categoría de Datos (denominada “Categoría” en el Modelo de Información SDMX). Si el propósito de la MSD es definir dónde se van a asociar los metadatos en el entorno de difusión de Eurostat entonces esto es todo lo que se requiere.

28. Estructura del informe de metadatos – El tipo de objeto de asociación • Si Eurostat desea publicar esto y ponerlo a disposición de otras organizaciones (ej: en forma de fichero descargable) entonces sería necesario también identificar al Proveedor de Datos (que en este caso es Eurostat). • Los tipos de objeto Catergoría y Proveedor de Datos podrían asociarse con un esquema de codificación – sin duda existiría una lista para todas las categorías de datos (esto sería un “Esquema de Categoría”), pero para el Proveedor de Datos esto podría declararse sin enumerar (esto es, texto).

29. Estructura del informe de metadatos – Resumen Esquema de Concepto • Es un “Contenedor” de conceptos. En SDMX este es el nivel donde los conceptos se mantienen. • Tiene una agencia de mantenimiento, identidad y versionado de información. • Los conceptos de un esquema de concepto pueden ser jerárquicos. • A menudo se usan conceptos en la presentación de jerarquías y estas jerarquías se construyen en la Estructura de Presentación de la Definición de Estructura de Metadatos.

30. Estructura del informe de metadatos – Resumen Esquema de la estructura del esquema de concepto

31. Estructura del informe de metadatos – Resumen Estructura de Presentación – Estructura General definida dentro de la Definición de Estructura de Metadatos

32. Estructura del informe de metadatos – Resumen Estructura de Presentación – Informe de Contacto CONTACTO CONTACTO_ORG ESTAD_MSD CONTACTO_ORG_UNID CONTACTO_CORREO_DIRECCIÓN ESTAD_METADATOS_CS CATEGORÍA_CONTACTO_INFORME Contacto Nombre contacto organización Unidad contacto organización Dirección correo contacto

33. Estructura del informe de metadatos – Resumen Estructura de Presentación – Informe de Calidad ESTAD_PRES ESTAD_UNID ESTAD_MSD ESTAD_POB ESTAD_METADATOS_CS REF_AREA TIEMPO_COB CATEGORÍA_CONTENIDO_INFORME Presentación Estadística Unidad estadística Población estadística Área de referencia Cobertura temporal

34. Estructura del informe de metadatos – Resumen Definición del tipo de objeto de asociación hace referencia a un sub-conjunto de Componentes del Identificador del identificador de Objetivo Completo Esquema define todos los posibles tipos de objetos que están dentro del alcance de la MSD

35. Estructura del informe de metadatos – Resumen Definir del tipo de objeto de asociación Tipos de Objeto de Asociación Proveedor de Datos Categoría de Datos

36. Estructura del informe de metadatos – Resumen Definición del Tipo de Objeto de Asociación Tipos de Objeto de Asociación hace referencia sólo al Componente de Identificador vínculado al Proveedor de Datos ESTAD_MSD comprende los tipos de objeto Categoría y ProveedorDatos CATEGORÍA AGENCIA Categoría CATEGORÍA ESTAD_CATEGORÍA_ESQUEMA Proveedor de Datos AGENCIA

37. Estructura del informe de metadatos – Resumen Definición del Tipo de Objeto de Asociación Hay que tener en cuenta que estos metadatos están asociados en un nivel bastante alto – el nivel de la categoría de dominio del tema – del proveedor de datos. Si hay metadatos en un nivel más bajo de granuralidad, por ejemplo en el nivel de la “tabla”, entonces esto también puede especificarse en una MSD. Para asociar metadatos a cada una de las tablas, éstas pueden definirse como un “Flujo de datos” y los metadatos se asocian a la provisión de los datos mediante un proveedor de datos para este flujo de datos.

38. Estructura del informe de metadatos – Resumen Vínculo entre las Estructuras de Presentación y los Identificadores de Objetivo relevantes ESTAD_MSD CATEGORÍA CATEGORÍA_CONTENIDO_INFORME ESTAD_CATEGORÍA_ESQUEMA AGENCIA vincula las Estructuras de Presentación a los Identificadores de Objetivo relevantes

39. Estructura del informe de metadatos – Resumen Vínculo entre las Estructuras de Informe y los Identificadores de Objetivo relevantes El XML que crea este vínculo es el atributo objetivo de la Estructura del Informe

40. Conjunto de Metadatos: Estructura • Hace referencia a: • Una Definición de Estructura de Metadatos (MSD) • Una Estructura de Informe • Un Identificador de Objetivo • Define: • Los valores reales de los objetos objetivo • Comprende: • Los Atributos Presentados y sus correspondientes Valores • Estos Atributos pueden ser: • codificado • Texto • fecha/tiempo • número etc.

41. Conjunto de Metadatos – Esquema General

42. Conjunto de Metadatos – Esquema General Pueden existir muchos conjuntos en un Mensaje SDMX. El Conjunto de Metadatos de Contacto Los metadatos se presentan en un Conjunto de Metadatos Cada informe de metadatos se presenta en un Conjunto de Metadatos individual

43. Conjunto de Metadatos – Esquema General ESTAD_MSD CATEGORÍA_CONTACTO_INFORME Categoría = Clave_Indicadores.Estructurales_Indicadores CONTACTO Proveedor de Datos=EUROSTAT CONTACTO_ORG Cuentas Nacionales Unidad C2: producción CONTACTO_ORG_UNID Eurostat, Oficina Estadística de las Comunidades Europeas CONTACTO_CORREO_DIRECCIÓN http://epp.eurostat.ec.europa.eu/portal/page/portal/help/user_support

44. Conjunto de Metadatos – Fichero de Metadatos

45. Conjunto de Metadatos – Ejemplo ESMS

46. Conjunto de Metadatos – Ejemplo ESMS

47. Presentación de Metadatos

48. Presentación de Metadatos en SDMX-ML • El mecanismo de Metadatos de Referencia soporta actividades de presentación y difusión a través de tipos de mensajes especificados • Mensaje de Estructura • Proporciona la Definición de Estructura de Metadatos • Mensaje de Metadatos Genérico • Proporciona un formato simple para cualquier definición de estructura de metadatos • Todos los metadatos de referencia expresables en formato SDMX-ML pueden marcarse de acuerdo a este formato y los contenidos de la Estructura • Realiza sólo un mínimo de validación • Soporta la creación de herramientas de software genérico y servicios para el procesamiento de metadatos de referencia • Mensaje de Presentación de Metadatos • Para cada MSD, se crea un esquema XML (específico para esa MSD) • Realiza una validación sobre conjuntos de datos presentados • Menos detallado que el mensaje de metadatos Genérico • Más fácil de usar al relacionarse directamente la marca XML con los conceptos relacionados

49. Definición de flujo de metadatos • Muy similar a una definición de flujo de datos; describe, categoriza, y restringe conjuntos de metadatos • Los conjuntos de metadatos se presentan o difunden según la definición de flujo de metadatos. • Identifica una Definición de Estructura de Metadatos • Puede asociarse a uno o más dominio de temas (esto facilita la búsqueda de datos según un esquema organizado de categoría organizado) • Las restricciones pueden asociarse a la definición de flujo de metadatos, en el sentido de informar sobre peridiocidad o un conjunto de posibles claves que se permiten en un conjunto de metadatos.

50. C.5 – Herramientas de Metadatos de Referencia