DATA WAREHOUSE

1. DATA WAREHOUSE

2. Conceptos Datawarehouse • Datawarehouse: Repositorio completo de datos de la empresa, donde se almacenan datos estratégicos, tácticos y operativos, al objeto de obtener información estratégica y táctica • Data-Mars: Repositorio parcial de datos de la empresa, donde se almacenan datos tácticos y operativos, al objeto de obtener información táctica • Data-Mining: Técnicas de análisis de datos encaminadas a obtener información oculta en un Datawarehouse

3. Conceptos Datawarehouse • EIS (ExecutiveInformationSystem): Herramientas para proveer de información estratégica a los ejectuivos, mediante informes, comparativas y cuadros de mandos multi-dimensionales. • DSS (DecissionSuportSystem): Herramientas de ayuda a la toma de decisiones. Incorpora reglas de decisión y análisis de datos no predefinidos en las posibilidades de un EIS

4. OLTP - OLAP • OLTP (On-Line TransactionProcessing): Define el comportamiento habitual de un entorno operacional de gestión: • Altas/Bajas/Modificaciones/Consultas • Consultas rápidas y escuetas • Poco volumen de información • Transacciones rápidas • Gran nivel de concurrencia

5. OLTP-OLAP • OLAP: On-Line Analytical Process: Define el comportamiento de un sistema de análisis de datos y elaboración de información: • Sólo Consulta • Consultas pesadas y no predecibles • Gran volumen de información histórica • Operaciones lentas

6. OLTP - OLAP

7. OLTP - OLAP • Todas estas divergencias hacen que no sea posible la convivencia en una única BBDD de los entornos OLAP y OLTP: • Pérdida de rendimiento del entorno OLTP • Falta de integración entre distintos aplicaciones OLTP • Tecnologías de BBDD sin capacidad para soportar aplicaciones OLTP • Incorporación de datos externos difícilmente aplicable a la BBDD OLTP • Distribución de los datos no adecuada para análisis OLTP

8. OLAP OLTP OLTP OLTP Arquitectura Datawarehouse • Diagrama de Flujo de Datos Middle- Ware Aplicación Consolidación

9. Arquitectura Datawarehouse • OLTP: Bases de datos transaccionales, propias o incorporadas • OLAP: BBDD Datawarehouse de análisis • Procesos de consolidación • Cambio de tecnología de BBDD • Sumarizan datos disgreagados • Transforman datos • Consolidan datos de aplicaciones no integradas

10. Arquitectura Datawarehouse • Consistencia de consolidación • Comprobar la validez de los datos en el entorno operacional • Datos que no se usan • Datos que no se mantienen • Inconsistencia entre distintas aplicaciones dentro del sistema • Datos no igualmente mantenidos • Codificaciones diferentes

11. Arquitectura Datawarehouse • Mecanismos de consolidación • Refresco de datos: Volcado completo de los datos procedentes del sistema operacional • Actualización de datos: Volcado incremental, tomando como criterio la fecha de operación • Propagación de datos: Creación de logs en el entorno transaccional, los cuales se aplican en el entorno analítico • Factores tecnicos • Mecanismo de transporte • Tiempos de carga • Reformateo de datos

12. Arquitectura Datawarehouse • Middle-Ware • Gestiona comunicaciones con el Datawarehouse • Coordina la concurrencia • Controla procesos batch • Aplicaciones • Sistemas de presentación • Sistemas interrogativos • Sistemas de simulación • Sistemas funcionales • Sistemas expertos • DSS

13. BBDD OLAP • El análisis de los datos se suele basar en un modelo simplificado de estrella, o más genéricamente, de copo de nieve (snowflake), el cual relaciona los hechos con los agentes del negocio (dimensiones): Tiempo Geografía Ventas Clientes Productos

14. BBDD OLAP • La relación entre tablas relaciones y tablas de hechos y dimensiones, se lleva a cabo mediante un Diccionario de Datos, el cual define cada elemento del negocio en base a las tablas y campos físicos • Tipos de BBDD • BBDD Relacional • BBDD Multidimensional • BBDD Híbrida • BBDD OLAP (BBDD Relacional con funcionalidad OLAP)