140 likes | 289 Views
pw.ETL. Agenda. Conceito de ETL Características e Estrutura Modelagem de p acote s de extração Conectores procwork Extração de dados Validação e transformação Carga dos dados Serviços operacionais Serviços de gerenciamento. Conceito de ETL.
E N D
Agenda • Conceito de ETL • Características e Estrutura • Modelagem de pacotes de extração • Conectores procwork • Extração de dados • Validação e transformação • Carga dos dados • Serviços operacionais • Serviços de gerenciamento
Conceito de ETL • A sigla significa Extract, Transform e Load (Extração, transformação e carga) • Em português, é comum usar a sigla ETC no lugar de ETL • Processos de ETL ou ETC estão tradicionalmente associados à projetos de Data warehouses, que consolidam dados de diferentes fontes • O PW.ETL tem como objetivo, periodicamente ou não, extrair dados de uma origem, validá-los ou transformá-los num formato comum e carregá-los em um destino
Características e Estruturas Modelagem de pacotes de extração Banco de Dados TXT XML SAP R3 Aplicações Legadas Banco de Dados TXT XML SAP R3 Aplicações Legadas Serviços operacionais Serviços de gerenciamento Conectores Procwork Carga dos dados Validação e transformação Extração dos dados Conectores Procwork
Modelagem de Pacotes de Extração • Permite a montagem do pacote de extração • Armazena os pacotes em arquivos XML para fácil gerenciamento
Conectores • TXT por tamanho ou delimitado • Padrão XML • Banco de Dados nativos: Oracle e SQL Server • Banco de Dados via ODBC, OLEDB • SAP R3 (RFC) • WebService • Custom • Permite a montagem em .NET de um novo adaptador para extração de dados direto de uma origem diferente das disponíveis. Ex.: Mainframe
Extração de Dados • Permite informar no pacote qual será a origem e o destino dos dados dentre as possíveis
Validação e Transformação • Efetua validação padrão de tipo de dados • Permite a criação de colunas que são resultado de várias origens • Construção das formulas de validação e transformação em C# • Disponibiliza toda infra-estrutura da plataforma .NET
Carga de Dados • Permite definir o destino dos dados transformados
Serviços Operacionais • Permite ao usuário agendar e executar tarefas de ETL
Serviços Operacionais • Permite ao usuário agendar e executar tarefas de ETL
Serviços de Gerenciamento • Permite ao usuário monitorar, visualizar eventos, logs, e tratar situações de erro na execução das tarefas de ETL
Serviços de Gerenciamento • Permite ao usuário monitorar, visualizar eventos, logs, e tratar situações de erro na execução das tarefas de ETL