140 likes | 280 Views
Datawarehouse. Ingeniería del Software III Gabriel Buades Mayo 1.999. Conceptos Datawarehouse. Datawarehouse: Repositorio completo de datos de la empresa, donde se almacenan datos estratégicos, tácticos y operativos, al objeto de obtener información estratégica y táctica
E N D
Datawarehouse Ingeniería del Software III Gabriel Buades Mayo 1.999 Datawarehouse
Conceptos Datawarehouse • Datawarehouse: Repositorio completo de datos de la empresa, donde se almacenan datos estratégicos, tácticos y operativos, al objeto de obtener información estratégica y táctica • Data-Mars: Repositorio parcial de datos de la empresa, donde se almacenan datos tácticos y operativos, al objeto de obtener información táctica • Data-Mining: Técnicas de análisis de datos encaminadas a obtener información oculta en un Datawarehouse Datawarehouse
Conceptos Datawarehouse • EIS (Executive Information System): Herramientas para proveer de información estratégica a los ejectuivos, mediante informes, comparativas y cuadros de mandos multi-dimensionales. • DSS (Decission Suport System): Herramientas de ayuda a la toma de decisiones. Incorpora reglas de decisión y análisis de datos no predefinidos en las posibilidades de un EIS Datawarehouse
OLTP - OLAP • OLTP (On-Line Transaction Processing): Define el comportamiento habitual de un entorno operacional de gestión: • Altas/Bajas/Modificaciones/Consultas • Consultas rápidas y escuetas • Poco volumen de información • Transacciones rápidas • Gran nivel de concurrencia Datawarehouse
OLTP-OLAP • OLAP: On-Line Analytical Process: Define el comportamiento de un sistema de análisis de datos y elaboración de información: • Sólo Consulta • Consultas pesadas y no predecibles • Gran volumen de información histórica • Operaciones lentas Datawarehouse
OLTP - OLAP Datawarehouse
OLTP - OLAP • Todas estas divergencias hacen que no sea posible la convivencia en una única BBDD de los entornos OLAP y OLTP: • Pérdida de rendimiento del entorno OLTP • Falta de integración entre distintos aplicaciones OLTP • Tecnologías de BBDD sin capacidad para soportar aplicaciones OLTP • Incorporación de datos externos difícilmente aplicable a la BBDD OLTP • Distribución de los datos no adecuada para análisis OLTP Datawarehouse
OLAP OLTP OLTP OLTP Arquitectura Datawarehouse • Diagrama de Flujo de Datos Middle- Ware Aplicación Consolidación Datawarehouse
Arquitectura Datawarehouse • OLTP: Bases de datos transaccionales, propias o incorporadas • OLAP: BBDD Datawarehouse de análisis • Procesos de consolidación • Cambio de tecnología de BBDD • Sumarizan datos disgreagados • Transforman datos • Consolidan datos de aplicaciones no integradas Datawarehouse
Arquitectura Datawarehouse • Consistencia de consolidación • Comprobar la validez de los datos en el entorno operacional • Datos que no se usan • Datos que no se mantienen • Inconsistencia entre distintas aplicaciones dentro del sistema • Datos no igualmente mantenidos • Codificaciones diferentes Datawarehouse
Arquitectura Datawarehouse • Mecanismos de consolidación • Refresco de datos: Volcado completo de los datos procedentes del sistema operacional • Actualización de datos: Volcado incremental, tomando como criterio la fecha de operación • Propagación de datos: Creación de logs en el entorno transaccional, los cuales se aplican en el entorno analítico • Factores tecnicos • Mecanismo de transporte • Tiempos de carga • Reformateo de datos Datawarehouse
Arquitectura Datawarehouse • Middle-Ware • Gestiona comunicaciones con el Datawarehouse • Coordina la concurrencia • Controla procesos batch • Aplicaciones • Sistemas de presentación • Sistemas interrogativos • Sistemas de simulación • Sistemas funcionales • Sistemas expertos • DSS Datawarehouse
BBDD OLAP • El análisis de los datos se suele basar en un modelo simplificado de estrella, o más genéricamente, de copo de nieve (snowflake), el cual relaciona los hechos con los agentes del negocio (dimensiones): Tiempo Geografía Ventas Clientes Productos Datawarehouse
BBDD OLAP • La relación entre tablas relaciones y tablas de hechos y dimensiones, se lleva a cabo mediante un Diccionario de Datos, el cual define cada elemento del negocio en base a las tablas y campos físicos • Tipos de BBDD • BBDD Relacional • BBDD Multidimensional • BBDD Híbrida • BBDD OLAP (BBDD Relacional con funcionalidad OLAP) Datawarehouse