1 / 36

Data Warehouse

Data Warehouse. Janeiro/2013 Ceça Moraes cecafac@gmail.com. Material da Professora Valéria Cesário Times, do Cin-UFPE. Conteúdo. Introdução Conceitos básicos Modelos e modelagem dimensional Arquitetura de DW Processamento OLAP x OLTP Cubo Multidimensional Arquitetutas OLAP

ori-gutierrez
Download Presentation

Data Warehouse

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Data Warehouse Janeiro/2013 Ceça Moraes cecafac@gmail.com

  2. Material da Professora Valéria Cesário Times, do Cin-UFPE

  3. Conteúdo • Introdução • Conceitos básicos • Modelos e modelagem dimensional • Arquitetura de DW • Processamento OLAP x OLTP • Cubo Multidimensional • Arquitetutas OLAP • Exemplos de Relatórios OLAP

  4. Hierarquia da Informação

  5. Conceitos Básicos

  6. Conceitos e Terminologia de SDW • O que é Banco de Dados Multidimensional? • O que é Data Warehouse (DW)? • O que é Data Mart (DM)? • O que são ETL e ODS? • O que é Data Warehousing(DWing)? • O que são Sistemas de DW e OLAP?

  7. Conceitos e Terminologia de SDW • O que é Banco de Dados Multidimensional? • O que é Data Warehouse (DW)? • O que é Data Mart (DM)? • O que são ETL e ODS? • O que é Data Warehousing(DWing)? • O que são Sistemas de DW e OLAP?

  8. Banco de Dados Multidimensional • Podemos pensar (conceitualmente) em um Banco de Dados Multidimensional (BDMD) como um ARRAY gigantesco: • BDM D(i ,j ,l ,m ,n,o ,p ,r,s ,t, . .. , ) • Tamanho Máximo do BDMD = imax * jmax * kmax * lmax * mmax * ...

  9. Banco de Dados Multidimensional Consulta

  10. Banco de Dados Multidimensional Consulta - Tridimensional

  11. Conceitos e Terminologia de SDW • O que é Banco de Dados Multidimensional? • O que é Data Warehouse (DW)? • O que é Data Mart (DM)? • O que são ETL e ODS? • O que é Data Warehousing(DWing)? • O que são Sistemas de DW e OLAP?

  12. O que é o Data Warehouse? • “Coleção de dados orientada a assunto, integrada, não-volátil e variante no tempo, utilizada para tomada de decisões”. • W. H. Inmon • "a copy of transaction data specifically structured for query and analysis" • R. Kimball

  13. O que é o Data Warehouse? • “Repositório estruturado e corporativo de dados orientados a assunto, variantes no tempo e históricos, usados para recuperação de informações e suporte à decisão. O DW armazena dados atômicos e sumarizados”. • Definição de DW da Oracle • Nossa: DW é uma base de dados que facilita a execução de consultas de apoio à decisão

  14. Propriedades de um DW

  15. Alterações no DW

  16. Conceitos e Terminologia de SDW • O que é Banco de Dados Multidimensional? • O que é Data Warehouse (DW)? • O que é Data Mart (DM)? • O que são ETL e ODS? • O que é Data Warehousing(DWing)? • O que são Sistemas de DW e OLAP?

  17. O que é Data Mart (DM)? • DM é um subconjunto de um DW • Subconjunto do DW que satisfaz os requisitos de um certo tema ou atividade de negócio • Projetado para um dado grupo de usuários • Específico a um assunto particular ou atividade de negócio • Pode ser construído antes ou depois do DW • Antes ⇒ fragmentos de dados • Depois ⇒ produzem juntos uma visão integrada dos dados

  18. Movendo Dados de um DW para DM • Vantagens • Favorecem processamento distribuído • Desvantagens • Pode ser mais complexo, custoso e demorado

  19. Movendo Dados dos DM para o DW • Vantagens • Mais simples e rápido • Integração de dados específicos de cada departamento • Desvantagens • Duplicação de dados • Data Marts podem ter dados incompatíveis

  20. Data Mart • Benefícios • Tempo e dificuldade de implantação minimizados • São mais facilmente entendidos • Consultas mais rápidas e com menor número de usuários e menor volume de dados • Importante • Garantir a consistência dos dados • Mudanças nos dados das fontes podem gerar necessidade de atualização dos DM

  21. Data Mart • Razões Adicionais para Criação de DM • Permitir aos usuários, acesso aos dados que eles analisam mais frequentemente • Menor tempo de resposta por causa da redução do volume de dados acessados • DM são mais facilmente extraídos, transformados,carregados e integrados • Implementação de DM é mais simples do que de um DW inteiro • Custo de implementação de DM é também menor

  22. DW x DM

  23. Conceitos e Terminologia de SDW • O que é Banco de Dados Multidimensional? • O que é Data Warehouse (DW)? • O que é Data Mart (DM)? • O que são ETL e ODS? • O que é Data Warehousing(DWing)? • O que são Sistemas de DW e OLAP?

  24. ETL e ODS (Staging) • ETL = ExtractionTransformationandLoad • Ferramentas de ETL • Responsáveis pela conversão dos dados do ambiente operacional para o de suporte à decisão • Realizam Acesso, Extração, Limpeza, Transformação, Validação e Carga dos dados

  25. ETL e ODS (Staging) • OperationalDatastore (ODS) ou Staging • Repositório de dados operacionais integrados • Intermediário entre as fontes de dados e o DW • Benefícios • Otimiza a criação do DW • Possibilita a realização de consultas relacionais sobre todos dados históricos

  26. ETL e ODS • Abordagem Top-Down (DW ⇒ DMs) • Visão DW corporativo • Grande abrangência

  27. ETL e ODS • Abordagem Botton-Up (DMs ⇒ DW) • Visão DW departamental • Probabilidade de ilhas de dados • Pode acontecer dos DM não se integrarem

  28. Conceitos e Terminologia de SDW • O que é Banco de Dados Multidimensional? • O que é Data Warehouse (DW)? • O que é Data Mart (DM)? • O que são ETL e ODS? • O que é Data Warehousing (DWing)? • O que são Sistemas de DW e OLAP?

  29. Data Warehousing • Processo de criação e manutenção do DW

  30. Data Warehousing • Processo de construção do DW como uma base de dados dimensional

  31. Conceitos e Terminologia de SDW • O que é Banco de Dados Multidimensional? • O que é Data Warehouse (DW)? • O que é Data Mart (DM)? • O que são ETL e ODS? • O que é Data Warehousing(DWing)? • O que são sistemas de DW e OLAP?

  32. Sistemas de DW/OLAP • Possuem Front end • Provêem diferentes níveis de análise • São chamados de sistemas analíticos • Permitem que usuários naveguem nos diferentes níveis de detalhes sobre os dados • Dados são organizados por meio de modelagem dimensionais • Resultados de consultas são interpretados em uma variedade de visões multidimensionais • Consultas são providas pelas ferramentas OLAP (On-Line AnalyticalProcessing)

  33. Sistemas de DW

  34. Sistemas de DW • Principais objetivos dos Sistemas de DW • Tornar a informação da organização facilmente acessível • Exibir a informação de forma consistente • Ser adaptativo e acomodar facilmente mudanças • Servir de base para a tomada de decisão • Satisfazer as necessidades de análise dos usuários • Garantir a segurança das informações mantidas no DW

  35. Sistemas de DW • Responsabilidades do administrador do Sistema de DW • Identificar que decisões seus usuários desejam tomar • Escolher o subconjunto de dados a ser mantido pelo DM • Monitorar a precisão dos dados e dos relatórios gerados • Garantir interfaces e aplicações sejam simples de usar

  36. Bibliografia • Data Warehousing, Data Mining & OLAP, Alex Berson, Stephen J. Smith. McGraw-Hill • The Data Warehouse Toolkit. Ralph Kimball, Margy Ross. John Wiley & Sons, Inc. • Data Warehouse Brasil (http://www.dwbrasil.com.br/) • Artigos de Kimball (http://www.ralphkimball.com/html/articles.html) • Data WarehousingInstitute (http://www.dw-institute.com/) • OLAP Report - (http://www.olapreport.com/)

More Related