Data Warehouse

1. Data Warehouse ProfessorEdson Emílio Scalabrintelefone: 0xx41-330-1786e-mail: scalabrin@ppgia.pucpr.brdownload: http://www.ppgia.pucpr.br/~scalabrin

2. Objetivo • Apresentar: • conceitos • as características de um Data Warehouse • algumas arquiteturas • Modelos de dados • Desenvolvimento do Data Warehouse • Povoamento do Data Warehouse • Extração de informações do Data Warehouse • Análise do uso da tecnologia Data Warehouse

3. Plano • CONCEITOS • As Características de um Data Warehouse • Algumas arquiteturas • Modelos de dados • Desenvolvimento do Data Warehouse • Povoamento do Data Warehouse • Extração de informações do Data Warehouse • Análise do uso da tecnologia Data Warehouse

4. Data Warehouse Definição I: • “ É uma coleção de dados orientados por assuntos, integrados, variáveis no tempo e não voláteis, para dar suporte ao processo gerencial de tomada de decisão ” [ Inmon ]

5. Data Warehouse Definição II: • “ É um processo em andamento que aglutina dados de fontes heterogêneas, incluindo dados históricos e dados externos para atender às necessidades de consultas estruturadas e ad-hoc, relatórios analíticos e de suporte a decisão ” [Harjinder ]

6. Data Warehouse Definição III: • “ É uma coleção de técnicas e tecnologias que juntas disponibilizam um enfoque pragmático e sistemático para tratar com o problema do usuário final de acessar informações que estão distribuídas em vários sistemas da organização ” [ Barquini ]

7. Dados operacionais vs. Data Warehouse

8. Dados operacionais vs. Data Warehouse

9. Qualquer fonte Qualquer Dado Qualqueracesso Ferramentasde consultas (relatórios) DadosOperacionais DataWarehouse Ferramentasde OLAP DadosExternos Aplicativos Componente de um Data Warehouse Data Warehouse não é o fim, ele é um meio que as empresas dispõem para analisar informações podendo utilizá-las para a melhoria dos processos atuais e futuros

10. Plano • Conceitos • AS CARACTERÍSTICAS DE UM DATA WAREHOUSE • Algumas arquiteturas • Modelos de dados • Desenvolvimento do Data Warehouse • Povoamento do Data Warehouse • Extração de informações do Data Warehouse • Análise do uso da tecnologia Data Warehouse

11. Data Warehouse Características • Orientação por assunto • Integração • Variação no tempo • Não volatilidade • Localização • Credibilidade dos dados • Granularidade • Metadados

12. Data Warehouse Características • Orientação por assunto • Um DW sempre armazena dados importantes sobre temas específicos da empresa e conforme o interesse das pessoas que irão utilizá-lo. Exemplo: • Uma empresa pode trabalhar com vendas de produtos alimentícios no varejo e o seu maior interesse ser o perfil de seus compradores, então o DW será voltado para as pessoas que compram seus produtos e não para os produtos que ela vende.

13. Data Warehouse Características • Integração (b) (a) Aplicação A Aplicação B Aplicação B Aplicação C Aplicação A Aplicação C Valor atual, 2 anos Valor atual, 3 meses Valor atual, 1 ano Incompatibilidade: mesmo elemento, nomes diferentes Incoerência: diferentes elementos, mesmo nome Valor atual, 6 meses

14. sexo: m, f caminho: centímetros descrição ? Chave char(12) Data Warehouse Características • Integração de dados OPERACIONAL DATA WAREHOUSE Aplicação A: m,fAplicação B: 1,0Aplicação C: masculino, feminino Aplicação A: caminho - centímetrosAplicação B: caminho - pés Aplicação C: caminho - jardas Aplicação A: descriçãoAplicação B: descrição Aplicação C: descrição Aplicação A: chave char(10)Aplicação B: chave dec fixed(9,2)Aplicação C: chave char(12)

15. Plano de Saúde- Maria Silva - Feminino- 01/12/68 Clinica- Maria Silva- Duas internações em 2000 - Equipe médica - Duração média das internações Laboratório de Exames- Maria Silva- Exames requeridos - Resultados Data Warehouse Características OPERACIONAL DATA WAREHOUSE Integração de dados - Maria Silva - Feminino - Nascida em 01/12/68- Duas internações em 2000- Equipe médica- Duração média das internações - Exames requeridos - Resultados dos exames - Casada - 2 filhos

16. Data Warehouse Características Variação no tempo Operacional Atômico Departamental Individual Maria SilvaRua 24 horas, 12Medicação: X, Z Entrada: 01/03/98 Alta: 10/03/98 Maria SilvaRua XV, 02Medicação: X, Y Entrada: 05/11/00 Alta: 10/11/00 Janeiro 4101Fevereiro 4209Março 4175Abril 4215 ............ Pacientes desde1980 tomando o medicamento X e com período de internação superior à 5 dias Maria SilvaRua XV, 02Medicação: X, Y Entrada: 10/11/00 Alta: 10/11/00 Quais são medicamentosministrados à Maria Silvaneste momento? Quais são os riscos(tendências) em relação aos pacientes que foram vitimas de infeção hospitalar? Estamos atendendo mais ou menos pacientes ao longo do tempo? Quais foram os medicamentos ministrados à Maria Silva nos últimos 5 anos?

17. incluir alterar acessar carregar excluir acessar excluir incluir alterar Data Warehouse Características Não volatilidade OPERACIONAL DATA WAREHOUSE

18. Data Warehouse Características Localização Formas de armazenamento: • único local(centralizado) • por área de interesse(distribuído) • por nível de detalhes Dados altamenteresumidos Dados levementeresumidos Dados detalhadosatuais Dados detalhadosantigos

19. Data Warehouse Características • Credibilidade dos dados • É o mais importante para o sucesso de qualquer projeto • Discrepâncias simples de todo tipo podem causar sérios problemas quando se quer extrair dados para suportar decisões estratégicas para o negócio das empresas; • Dados não dignos de confiança podem resultar em relatórios inúteis, que não tem importância alguma • por exemplo, uma lista de pacientes do sexo masculino e grávidos;

20. Data Warehouse Características Granularidade • Baixa • é possível responder a praticamente qualquer consulta • porém, grande quantidade de recursos computacionais é necessária para responder perguntas específicas • Alta • ocorre uma significativa redução da possibilidade de utilização dos dados para atender consultas detalhadas • porém, reduz-se muito o espaço em disco e o número de índices necessários

21. Data Warehouse Características Exemplo de níveis de granularidade Baixa Alta Prod. Data Qtda. Valor A1 13/9/00 10 100,00 B1 14/9/00 15 150,00 A1 16/9/00 20 200,00 A1 16/9/00 90 890,00 mês/ano Prod. Qtda. Valor 09/00 A1 120 1190,00 09/00 B1 15 150,00

22. Data Warehouse Características Metadados Três diferentes camadas: • operacionais, centrais do Data Warehouse, nível do usuário Três diferentes componentes: • Mapeamento: descrevem como os dados de sistemas operacionais são transformados antes de entrarem no DW • Histórico: descrevem as regras corretas a serem aplicadas nos dados corretos quando as regras de negócio mudam • Algoritmos de sumarização: • mostram a relação entre os diferentes níveis de detalhes dos dados, indicando inclusive que nível de sumarização é mais adequado para um dado objetivo.

23. Data Warehouse Características • Fontes de metadados • Repositórios de ferramentas CASE • Documentação do desenvolvimento dos sistemas operacionais • Código fonte dos sistemas operacionais • Entrevistas • O próprio ambiente do Data Warehouse • informações tais como freqüência da acesso, em que nível de agregação, tempo de resposta de cada consulta, etc..

24. Plano • Conceitos • As características de um Data Warehouse • ALGUMAS ARQUITETURAS • Modelos de dados • Desenvolvimento do Data Warehouse • Povoamento do Data Warehouse • Extração de informações do Data Warehouse • Análise do uso da tecnologia Data Warehouse

25. ArquiteturaGenérica de um D/W • Camadas de bancos de dados operacionais e fontes externas: • É composto pelos dados dos sistemas operacionais das empresas e informações provenientes de fontes externas que serão integradas para compor o DW. • Camada de acesso a informação: • Envolve o hardware e o software utilizado para obtenção de relatórios, planilhas, gráficos e consultas. • É nesta camada que os usuários finais interagem com o DW, utilizando ferramentas de manipulação, análise e apresentação dos dados, incluindo-se as ferramentas de data-mining e visualização. • Camada de acesso aos dados: • Esta camada faz a ligação entre as ferramentas de acesso à informação e os bancos de dados operacionais. • Esta camada se comunica com diferentes sistemas de bancos de dados, sistemas de arquivos e fontes sob diferentes protocolos de comunicação, o que se chama acesso universal de dados.

26. ArquiteturaGenérica de um D/W • Camada de metadados (Dicionário de dados): • Metadados são as informações que descrevem os dados utilizados pela empresa • descrições de registros, comandos de criação de tabelas, diagramas Entidade/Relacionamentos (E-R), dados de um dicionário de dados, etc. • Camada de gerenciamento de processos: • É a camada responsável pelo gerenciamento dos processos que contribuem para manter o DW atualizado e consistente. • Camada de transporte: • Esta camada gerencia o transporte de informações pelo ambiente de rede. Inclui a coleta de mensagens e transações e se encarrega de entregá-las em locais e tempos determinados. • Camada do Data Warehouse: • Corresponde aos dados utilizados para obter informações.

27. ArquiteturaGenérica de um D/W

28. Data Warehouse (SGBD) Componente front-end Componente back-end Repositório de metadados Fontes externas Fontes internas Arquitetura2o. Chaudhuri • Um componente back end:conjunto de aplicações responsáveis por extrair, filtrar, transformar, integrar e carregar os dados de diferentes origens no DW; • Um componente front end: conjunto de aplicações responsáveis por disponibilizar aos usuários finais acesso ao DW; • Um repositório para armazenar e gerenciar os metadados do sistema.

29. Arquitetura: 2o. ChaudhuriO fluxo de dados Outflow Componente front-end Upflow Data Warehouse Metaflow Inflow Repositório de metadados Componente back-end Downflow Dados antigos Fontes internas Fontes externas

30. Arquitetura: 2o. Valente Consultas Datawarehouse Integrador Extrator Extrator Extrator Base de dados Base de dados Base de dados

31. Plano • Conceitos • As características de um Data Warehouse • Algumas Arquiteturas • MODELO DE DADOS • Desenvolvimento do Data Warehouse • Povoamento do Data Warehouse • Extração de informações do Data Warehouse • Análise do uso da tecnologia Data Warehouse