1 / 55

Ferramentas de ETL Por: Ellison Siqueira (erms)

Ferramentas de ETL Por: Ellison Siqueira (erms). Ferramentas de ETL. Fonte dos dados: Banco de Dados de Exemplo do MS Acess Formato: Access (.mdb) Nome do Banco Northwind Descrição da base

aileen
Download Presentation

Ferramentas de ETL Por: Ellison Siqueira (erms)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Ferramentas de ETL Por: Ellison Siqueira (erms)

  2. Ferramentas de ETL • Fonte dos dados: • Banco de Dados de Exemplo do MS Acess • Formato: • Access (.mdb) • Nome do Banco • Northwind • Descrição da base • A base contém dados fictícios de uma empresa onde são registradas informações sobre vendas e estoque de produtos. • Ferramentas • DTS (Microsoft) – Data Transformation Services • Kettle (Pentaho)

  3. Ferramentas de ETL • Destino dos Dados: • DW em MS SQL Server • Nome do Banco • DWNorthwind • Descrição • Base de dados no modelo estrela. Os assuntos do modelo são Vendas e Estoque • Objetivos • Extrair os dados da base Access, aplicar transformações e carregá-las no banco SQL Server

  4. Modelo Northwind

  5. Modelo Estrela Vendas

  6. Modelo Estrela Estoque

  7. Modelos SQL • Este Slide possui um comentário que contém o Script de criação da base de dados do DW.

  8. Ferramentas ETL • Considerações • A validação de chaves do banco de dados do DW não será desativada • Assim, o processo primeiro deve ser aplicado as Dimensões e, depois, aos Fatos

  9. Ferramentas ETL Microsoft DTS

  10. Microsoft DTS • É disponibilizado através do SQL Server Enterprise Manager • Exige a “presença” de um servidor SQL Server ativo, mesmo que o Processo de ETL não envolva bases SQL Server • A Ferramenta aplica o conceito de pacotes. Atividades do processo de ETL são agrupadas nestes pacotes.

  11. Microsoft DTS

  12. Microsoft DTS • Criar um novo pacote e inserir as conexões

  13. Microsoft DTS • Conexões Acces e SQL Server

  14. Microsoft DTS • Criação das transformações

  15. Microsoft DTS • Criação das transformações

  16. Microsoft DTS • Criação das transformações

  17. Microsoft DTS • Auxílio na seleção dos dados na fonte

  18. Microsoft DTS • Criação das transformações • Tipos de Transformações

  19. Microsoft DTS • Transformação ActiveX Script

  20. Microsoft DTS • Transformação ActiveX Script

  21. Microsoft DTS • Transformação ActiveX Script

  22. Microsoft DTS • Transformações - Dimensões • Clientes • Fornecedores • Funcionários • Transportadoras • Produtos • Tempo Obs: Este Slide contém comentários com os comandos SQL de seleção das fontes e os scripts ActiveX das dimensões, quando o script for necessário

  23. Microsoft DTS • Criação das transformações - salvar Pacote

  24. Microsoft DTS Este Slide também possui comentários com instruções SQL e Scripts ActiveX • Criação das transformações • Repetir o mesmo para os Fatos • Vendas • Estoque

  25. Microsoft DTS • Criação de Pacote para automação do processo • O pacote deve • (1) Excluir os dados do DW; • (2) Exportar os dados das tabelas de dimensão; e, • (3) Exportar os dados das tabelas de fato • É necessário • (1) A criação de uma conexão com a base SQL Server para possibilitar apagar os dados; • (2) Um script SQL que apegue os dados; • (3) Em caso de sucesso na eliminação dos registros, chamar o pacote de extração dos dados das dimensões; e, • (4) Em caso de sucesso na extração dos dados das tabelas de dimensão, chamar o pacote de extração dos dados das dimensões.

  26. Microsoft DTS • Criação de Pacote para automação do processo Aqui tem um comentário com o SQL para eliminar os dados das tabelas de fato e dimensão

  27. Ferramentas ETL Kettle http://kettle.pentaho.org/

  28. Kettle • Ferramentas • Spoon • Pan • Chef • Kitchen

  29. Kettle • Welcome to Spoon

  30. Kettle • Spoon

  31. Kettle • Mais opções ao usuário

  32. Kettle • Transformações Primeiro é necessário criar conexões ODBC para as bases de dados de entrada e saída

  33. Kettle • Assistente para conexão - Access

  34. Kettle • Assistente para conexão - Access

  35. Kettle • Assistente para conexão – SQL Server

  36. Kettle • Assistente para conexão – SQL Server

  37. Kettle • Conexões criadas e Transformação salva

  38. Kettle • ETL Mini Dimensões

  39. Kettle • ETL Dimensões

  40. Kettle • Componentes utilizados • Input -> Input table • Transform -> Select values • Output -> Insert/Update • Scripting -> Java Script Value • Transform -> Calculator • Join -> Database Join

  41. Kettle • Input Table Informar a conexão • Script SQL para Dimensões • Cliente • Fornecedor • Funcionário • Transportadora • Produto • Tempo Este Slide possui os scripts SQL em comentários

  42. Kettle • Select Values

  43. Kettle • Criar Relação entre componentes

  44. Kettle • Insert/Update

  45. Kettle • Java Script Value • Script Java Script para • Nome + Sobrenome • Status Produto • Manipula Datas Este slide contém os scripts dentro de comentários

  46. Kettle • Calculator

  47. Kettle • Database Join Script Join Localização

  48. Kettle • ETL Fatos • Criar uma nova transformação (conexão e componentes) para as tabelas de fato • Scrits SQL • Vendas • Estoque • Script Java Script • ValorEstoque Este Slide também possui os Scripts • Scrits Join

  49. Kettle • Criação do Job de automação

More Related