310 likes | 394 Views
Projeto de um Data Warehouse para a Saúde Pública. Ricardo S. Santos - DIS/Unifesp Marco Antônio Gutierrez - INCOR Sérgio Furuie - INCOR Umberto Tachinardi - SES-SP. AGENDA. Introdução A proposta do projeto Metodologia e Estratégia de Desenvolvimento A carga dos Dados
E N D
Projeto de um Data Warehouse para a Saúde Pública Ricardo S. Santos - DIS/Unifesp Marco Antônio Gutierrez - INCOR Sérgio Furuie - INCOR Umberto Tachinardi - SES-SP
AGENDA • Introdução • A proposta do projeto • Metodologia e Estratégia de Desenvolvimento • A carga dos Dados • A exibição da Informação • Resultados e Discussão • Conclusões
OBJETIVO O objetivo deste trabalho é apresentar um projeto de implementação de um Data Warehouse (DW) destinado à gestão da saúde pública. O DW pretende suprir a Secretaria de Estado de Saúde de São Paulo (SES-SP) com informação gerencial obtida através da integração de dados provenientes de diversas fontes isoladas. KDD – Knowledge Discovering in Databases
DEFINIÇÕES Plataforma que contém os dados da organização, centralizados e organizados de forma que usuários, de maneira muito simples, possam extrair relatórios analíticos, complexos, contendo informações gerenciais para apoio à decisão. (Shams, 2001).
OLAP Server Metadata Analysis Query Reports Data mining Serve Data Warehouse Extract Transform Load Refresh Data Marts Data Storage OLAP Engine Front-End Tools Contexto do DW other sources Operational DBs Data Sources
DEFINIÇÕES • Metadados: Dados a respeito de dados • Descrevem completamente os dados (bases) que representam, permitindo ao usuário decidir sobre a utilização desses dados da melhor forma possível. • Um item de um metadado pode dizer do que se trata aquele dado, geralmente uma informação inteligível por um computador. • Os metadados facilitam o entendimento dos relacionamentos e a utilidade das informações dos dados.
DEFINIÇÕES • Ferramentas ETL • ETL - Extração, Transformação e Carga de Dados • O ETL ou ETT (Extração, Transformação e Transporte) • Parte do Data Warehouse responsável por ler os dados do sistema origem, Tratar, Limpar, Transformar e Carregar esses dados no Data Warehouse. • Uma das fases mais criticas de um Data Warehouse: envolve a movimentação dos dados. • Poderosa fonte de geração de metadados, e que contribuem muito para a produtividade da equipe de TI. • 1. definir fontes de dados e fazer a extração deles • 2. transformar e limpar os dados, padronizar (reduzir inconsistência e lixo) • 3. integrar todas fontes de dados num único banco (garantir integridade dos dados)
DEFINIÇÕES • Ferramentas OLAP - On-lineAnalyticalProcessing • Voltadas para o suporte à decisão. • para acesso e manipulação de grandes depósitos de dados; • integração de informações provenientes de fontes diversas • software que permite analisar e visualizar dados corporativos de forma rápida, consistente e principalmente interativa • permitem análises estatísticas sofisticadas e simulação eficiente de novas associações entre os dados. • espaço multidimensional, onde cada eixo representa uma dimensão e os pontos neste espaço com um valor medido correspondente a interseção dos elementos correspondentes em dada dimensão . • ferramenta de Business Inteligente utilizada para apoiar as empresas na análise ad-hoc de suas informações, visando obter novos conhecimentos que são empregados na tomada de decisão.
Hierarquia: • Geografia • País • Estado • Cidade • Etc... Cubo Dimensões Membros Termos do Olap Produto Florianópolis Lages Geografia Medidas: É representada por uma dimensãoespecial utilizada para realizar comparações. Inclui membros como: custos, lucros ou taxas. Trombudo Central Curitibanos 1999 Leite Pão 2000 Chá 2001 Tempo Água 2002
DEFINIÇÕES • Data mining • estudo comportamental dos dados • vinculado à disciplinas como redes neurais, inteligência artificial e lógica nebulosa • Objetivo: fazer modelos de previsão e apresentar tendências e relações ocultas entre os dados
EXEMPLOS DE FERRAMENTAS COMERCIAIS • Ferramentas ETL • DTS (Data TransformationService) • Data Stage, ETI, Acta e Sagent • Cognos Business IntelligencePlatform • MicroStrategy; 7i Platform; Aplix • Ferramentas OLAP • OLAP Option, da Oracle • AnalysisServices, da Microsoft. • DSS MicroStrategy • Maestro • Ferramentas Data mining • SAS Enterprise Miner • IBM IntelligentMiner • Oracle Darwin Data Mining Software
ESCOPO DO PROJETO As fontes de dados correspondem às bases de dados provenientes dos sistemas do DATASUS, além de planilhas e documentos internos. As informações produzidas devem atender aos gestores municipais, diretores regionais e os coordenadores.
ESTRATÉGIA PROPOSTA A estratégia adotada é a criação de um banco de dados relacional (operacional) além do dimensional. O principal motivo é manter os dados fontes em um meio mais seguro.
ETAPAS DA CARGA Na primeira fase os dados dos sistemas fontes (DATASUS) são carregados em um banco relacional, e posteriormente, são transportados para o banco dimensional. Oracle Warehouse Buider Ferramenta Desenvolvida
FERRAMENTA DESENVOLVIDA Efetua Download, compara e atualiza a estrutura, verifica conteúdo e unifica movimentos.
FERRAMENTA OLAP - Cadastramento das descrições dos dados e das regras de negócio no metadados. - Desenvolvimento de relatórios e consultas pré-definidos para atender os principais requisitos.
STATUS DO PROJETO • Fase final de implementação do primeiro módulo (SAI - Sistemas de Informações Ambulatoriais). • Considerando apenas o módulo SIA, o volume mensal de dados para serem carregados no DW é de 1.800.000 registros, que corresponde a aproximadamente a 211 Mb. Acrescentando as tabelas auxiliares, este número aproxima-se de 250 Mb. Isto corresponde a 2,9 Gb por ano. • Os tempos para o processo de carga estão plenamente satisfatórios, mesmo sendo realizados os testes de performance em um ambiente muito inferior ao ambiente de produção. (Primeira fase = 2 Horas, Segunda fase = 10 Minutos)
O estágio atual do projeto, mostra um resultado positivo que supera as expectativas iniciais e encoraja a implementação dos demais módulos. • O projeto foi desenvolvido utilizando um conjunto de ferramentas robustas e adotando metodologia adequada para garantir o sucesso do empreendimento. • Os fatores mensuráveis apresentaram números positivos. O volume de dados é razoável, comparado a outros projetos, e o desempenho dos procedimentos de carga está plenamente satisfatório. • Os próximos passos, já em andamento, são a avaliação da satisfação dos usuários para o módulo desenvolvido e a implementação dos demais módulos.
Projeto de um Data Warehouse para a Saúde Pública Contato: rsantos-pg@dis.epm.br rsantos@compumedica.com.br