Uma Metodologia para Definição de Requisitos em Sistemas Data Warehouse

1. Uma Metodologia para Definição de Requisitos em Sistemas Data Warehouse Dissertação de Mestrado de Fábio Rilston Silva Paim Orientador Jaelson Brelaz de Castro Universidade Federal de Pernambuco - Centro de Informática

2. Agenda • Motivação e Escopo • Engenharia de Requisitos • Sistemas Data Warehouse • Metodologia • Estudo de Caso • Contribuições • Trabalhos Futuros

3. Agenda • Motivação e Escopo • Engenharia de Requisitos • Sistemas Data Warehouse • Metodologia • Estudo de Caso • Contribuições • Trabalhos Futuros

4. Introdução • Sistemas Data Warehouse são cada vez mais necessários às organizações para garantir: • Tomada de Decisão eficiente • Competitividade no mercado CONTUDO • A grande maioria dos projetos data warehouse fracassa em sua implantação.

5. Especificação pobre dos requisitos do Data Warehouse Um processo organizado é essencial para uma definição eficiente de requisitos em Projetos Data Warehouse. Razões para o fracasso … • Especificação direcionada para aspectos operacionais. • Projetos que não consideram necessidades do cliente. • Ausência de uma metodologia padrão. • Distância entre usuários e desenvolvedores. • Esquema definido pouco escalável.

6. Escopo da Dissertação • Definição de uma Metodologia para definição de requisitos em sistemas data warehouse. • Processo de Engenharia de Requisitos tradicional ajustado às necessidades do domínio. • Modelo em fases (processos, técnicas e artefatos) e de fácil utilização. • Análise das influências entre requisitos e projeto arquitetônico. • Não se propõe a especificar soluções arquitetônicas.

7. Agenda • Motivação e Escopo • Engenharia de Requisitos • Sistemas Data Warehouse • Metodologia • Estudo de Caso • Contribuições • Trabalhos Futuros

8. Requisitos • Requisitos são: • uma capacidade do software necessitada pelo usuário para resolver um problema e atingir um objetivo; • uma capacidade que um sistema (ou um seu componente) deve atingir ou possuir para satisfazer um contrato, padrão, especificação, ou outra documentação formalmente imposta. (DORFMAN e THAYER, 1990) • Um bom entendimento dos requisitos é um passo fundamental no sentido de atender as necessidades do cliente.

9. Engenharia de Requisitos (ER) • Processo sistemático de desenvolvimento dos requisitos por meio de: • processo iterativo e cooperativo de análise do problema. • documentação das observações resultantes numa variedade de formatos. • checagem da acurácia do entendimento obtido. (LOUCOPOULOS e KARAKOSTAS, 1995)

10. Processo Tradicional de ER Gerência dos Requisitos (KOTONYA e SOMMERVILLE, 1997)

11. Agenda • Motivação e Escopo • Engenharia de Requisitos • Sistemas Data Warehouse • Metodologia • Estudo de Caso • Contribuições • Trabalhos Futuros

12. Data Warehouse • Segundo INMON (1996), é “uma coleção de dados • Orientada a Assunto: organizado conforme diferentes visões de negócio. • Integrada: a partir de fontes de dado heterogêneas. • Não Volátil: sempre inserido, nunca excluído. • Variante no Tempo: posições históricas das atividades no tempo. ”

13. Processo de Data Warehousing FONTES PROVEDORAS ÁREA DE TRABALHO DATA WAREHOUSE SUPORTE À DECISÃO Bases de Sistemas ______________________________________________________ Relatórios Dados de Sistemas ERP DATA MARTS INCOME ANNUAL REPORT ___ ___ ____ _____ ___ __ ___ ___ ____ _____ ___ __ ___ ___ ____ _____ ___ __ EXTRAÇÃO ADEQUAÇÃO LIMPEZA DERIVAÇÃO AGREGAÇÃO DATA WAREHOUSE SIG Dados Locais OLAP Dados Externos Análise Financeira & Estatística Dados WEB [Adaptado de SunExpert Magazine, Outubro 1998.]

14. Esquema Estrela Hierarquia • Uma tabela-fato rodeada de tabelas-dimensão. IDProduto Descrição Marca Categoria Produto Tabela Fato No. Venda IDCliente IDProduto Emissão Quantidade Vendas IDCliente Nome Categoria Cliente Dia Mês Ano Tempo Métrica Tabela Dimensão Atributo

15. OLAP (OnLine Analytical Processing) • Dado visto de diferentes ângulos e sobre diferentes níveis de agregação. • Operações OLAP agem sobre Cubos de Dado. Métrica Célula Roll-up Drill-down Pivot … Dimensão 1 Hierarquia Dimensão 2

16. Processo de Construção • Estratégia “Dividir para Conquistar”. • Data Marts blocos de construção. Data Mart 2 Data Mart 1 Data Mart-n Data Warehouse

17. Agenda • Motivação • Engenharia de Requisitos • Sistemas Data Warehouse • Metodologia • Estudo de Caso • Contribuições • Trabalhos Futuros

18. Requisitos em Data Warehouse • Representar fatos e suas propriedades. • Distinguir dimensões adequadamente e conectá-las aos fatos. • Garantir Agregabilidade. • Correta integração com fontes provedoras. • Acompanhamento pontual de mudanças. • Documentação de alto nível. • Conformidade entre aspectos comuns.

19. Controle da Gerência de Requisitos Metodologia (Modelo em Alto Nível) Domínio de Negócios da Aplicação Necessidades do Data Mart Necessidades do Cliente Requisitos do Data Warehouse Requisitos Iniciais do Data Warehouse Requisitos do Data Warehouse Atualizados Stakeholder Engenheiro de Requisitos Especificação de Requisitos Diretrizes Gerais Mudanças Acordadas Baseline de Requisitos Usuário Final Planejamento da Gerência de Requisitos Engenheiro de Software Validação de Requisitos Fonte Provedora Líder de Projeto Release Final de Requisitos do Data Mart Notação: Rational Unified Process 2001-A

20. Refinar Baseline Desenvolvimento orientado a DW Necessidades Usuário Release final do Data Mart Validação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Elicitação Análise Priorizar e Definir Correlações Conformidade Analisar RNFs DW Documentação Controle da Gerência de Requisitos Definir Regras Negócio Definir Solução Multidim. Global Domínio do Negócio Especif. Requisitos Data Mart. Definir Escopo Data Mart Núcleo da Metodologia Ciclo de Requisitos em DW Gerência dos Requisitos

21. Domínio de Negócios da Aplicação Necessidades do Cliente Requisitos Iniciais do Data Warehouse Diretrizes Gerais Planejamento da Gerência de Requisitos Planejamento da Gerência Domínio de Negócios da Aplicação Necessidades do Data Mart Necessidades do Cliente Requisitos do Data Warehouse Requisitos Iniciais do Data Warehouse Requisitos do Data Warehouse Atualizados Stakeholder Engenheiro de Requisitos Especificação de Requisitos Diretrizes Gerais Mudanças Acordadas Baseline de Requisitos Usuário Final Planejamento da Gerência de Requisitos Engenheiro de Software Validação de Requisitos Fonte Provedora Líder de Projeto Release Final de Requisitos do Data Mart Controle da Gerência de Requisitos

22. F1. Planejamento da Gerência • Propósito • Determinar o foco da análise dimensional. • Estabelecer premissas de integração com fontes. • Regras para identificação de requisitos. • Consenso quanto a objetivos do projeto. • Estabelecer as políticas e processos de gerência dos requisitos. • (outros aspectos gerenciais…)

23. F1. Planejamento da Gerência • Produtos • Planode Gerência de Requisitos. • Visões Preliminares • Documento Visãodo Data Warehouse. • Especificação dos Requisitos Multidimensionais. • Glossário do Projeto.

24. Especificação de Requisitos Domínio de Negócios da Aplicação Necessidades do Data Mart Necessidades do Data Mart Necessidades do Cliente Requisitos do Data Warehouse Requisitos do Data Warehouse Requisitos Iniciais do Data Warehouse Requisitos do Data Warehouse Atualizados Requisitos do Data Warehouse Atualizados Stakeholder Engenheiro de Requisitos Especificação de Requisitos Especificação de Requisitos Diretrizes Gerais Mudanças Acordadas Baseline de Requisitos Baseline de Requisitos Usuário Final Planejamento da Gerência de Requisitos Engenheiro de Software Validação de Requisitos Fonte Provedora Líder de Projeto Release Final de Requisitos do Data Mart Controle da Gerência de Requisitos

25. F2. Especificação de Requisitos • Propósito • Fornecer uma especificação bem definida dos requisitos, que é acordada e entendida por todos os envolvidos. • Subprocessos • Elicitação • Análise & Negociação • Documentação • Conformidade de Requisitos

26. F2. Especificação de RequisitosF2.1Elicitação de Requisitos • Propósito • Descoberta de requisitos do Data Warehouse/Data Mart. • Entendimento do domínio pela interação com stakeholders. • Investigação de Aspectos Multidimensionais (Fatos, Dimensões, Restrições, Correlações, …). • Técnicas • Entrevistas/Workshops • Prototipação • Cenários (Template de Casos de Uso em UML) • DW-ENF Framework(PAIM e CASTRO, 2002a) ( extensão do FrameworkNFR (CHUNG et al., 2000) )

27. F2. Especificação de Requisitos F2.2Análise & Negociação • Propósito • Identificação de omissões, overlaps, e inconsistências. • Adequação a padrões organizacionais. • Resolução de conflitos e aderência dos requisitos ao escopo multidimensional. • Técnicas • Checklist de Requisitos para Data Warehouse.

28. F2. Especificação de Requisitos F2.3Documentação • Propósito • Produzir uma documentação detalhada e completa dos requisitos elicitados. • Meio para garantir acordo comum entre stakeholders. • Identificar explicitamente as necessidades de suporte à decisão da aplicação (multidimensionalidade, granularidade, aditividade,…) • Técnicas • Templates de Artefatos para DW • Recursos de Ferramentas de Gerenciamento de Requisitos

29. F2. Especificação de Requisitos F2.3Documentação • Artefatos Atualizados • Plano de Gerenciamento de Requisitos. • Glossário do Projeto. • Visão do Data Warehouse. • Especificação de Requisitos Multidimensionais. • Artefatos Gerados • Documento de Visãodo Data Mart. • Especificações de Caso de Uso. • Especificação de Regras de Negócio. • Especificação de Requisitos Não-Funcionais.

30. F2. Especificação de Requisitos F2.4Conformidade de Requisitos • Propósito • Garantir que os requisitos do Data Mart estão em conformidade com o modelo de requisitos do Data Warehouse Corporativo. • Eliminar overlapping, similaridades, redundâncias, ambiguidade. • Promover o reuso de requisitos.

31. F2. Especificação de Requisitos F2.4Conformidade de Requisitos • Benefícios • Assegurar a integração da informação ao longo da arquitetura do Data Warehouse. • Possibilitar a navegação entre Data Marts. • Melhoria da qualidade pelo reuso de requisitos de eficiência consagrada. • Melhoria da consistência da interface e do conteúdo dos dados da aplicação. • Facilitar a evolução do Data Warehouse.

32. F2. Especificação de Requisitos F2.4Conformidade de Requisitos • Técnicas • Análise dos Documentos de Requisitos • Recursos das Ferramentas de Gerenciamento

33. Validação de Requisitos Domínio de Negócios da Aplicação Necessidades do Data Mart Necessidades do Cliente Requisitos do Data Warehouse Requisitos Iniciais do Data Warehouse Requisitos do Data Warehouse Atualizados Stakeholder Engenheiro de Requisitos Especificação de Requisitos Especificação de Requisitos Diretrizes Gerais Mudanças Acordadas Baseline de Requisitos Usuário Final Planejamento da Gerência de Requisitos Engenheiro de Software Validação de Requisitos Fonte Provedora Líder de Projeto Release Final de Requisitos do Data Mart Controle da Gerência de Requisitos

34. F3. Validação de Requisitos • Propósito • Analisar documentos para identificar inconsistências (se ainda restantes). • Certificar que os requisitos se ajustam com as necessidades dos stakeholders. • Técnicas • Revisões • Prototipação • Produtos • Relatório de Revisão (Lista de Ações).

35. Controle da Gerência de Requisitos Gerência de Requisitos Domínio de Negócios da Aplicação Necessidades do Data Mart Necessidades do Cliente Requisitos do Data Warehouse Requisitos Iniciais do Data Warehouse Requisitos do Data Warehouse Atualizados Stakeholder Engenheiro de Requisitos Especificação de Requisitos Especificação de Requisitos Diretrizes Gerais Mudanças Acordadas Baseline de Requisitos Usuário Final Planejamento da Gerência de Requisitos Engenheiro de Software Validação de Requisitos Fonte Provedora Líder de Projeto Release Final de Requisitos do Data Mart

36. Extremamente Recomendado F4. Gerência de Requisitos • Propósito • Acompanhamento pontual de mudanças em requisitos. • Rastreabilidade das mudanças. • Análise de Impacto (Requisitos + Projeto). • Técnicas • Matrizes de Rastreabilidade • Ferramentas de Gerenciamento de Requisitos • CASEs para Controle de Projeto

37. Refinar Baseline Desenvolvimento orientado a DW Necessidades Usuário Release final do Data Mart Validação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Elicitação Análise Priorizar e Definir Correlações Conformidade Analisar RNFs DW Documentação Controle da Gerência de Requisitos Definir Regras Negócio Definir Solução Multidim. Global Domínio do Negócio Especif. Requisitos Data Mart. Definir Escopo Data Mart Núcleo da Metodologia Ciclo de Requisitos em DW Gerência dos Requisitos

38. Agenda • Motivação e Escopo • Engenharia de Requisitos • Sistemas Data Warehouse • Metodologia • Estudo de Caso • Contribuições • Trabalhos Futuros

39. Estudo de Caso • Projeto S.A.F.E. • Sistema de Análises Fiscais Estratégicas. • Experimento de 2 anos. • 2 Data Marts implementados, 2 outros em desenvolvimento. • 21 equipes distintas. • 4.306 requisitos alocados. • Missão da Metodologia: • Especificar Integração com Fontes Provedoras • Mapeamento Multidimensional • Controle das Mudanças em Requisitos do Usuário

40. Data Mart “Visão Ação Fiscal PJ” • Visão integrada das ações fiscais sobre o contribuinte pessoa jurídica. • Acesso às bases de Declaração, Cadastros, CPMF, dentre outras. • Equipe: • 6 Engenheiros de Software • 1 Especialista em Data Warehouse • 1 DBA Projetista • 2 Engenheiros de Requisitos • 2 iterações, 1 baseline intermediária.

41. Ciclo de Requisitos em SAFEP1.Planejando a Gerência de Requisitos Refinar Baseline Validação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Elicitação Análise Priorizar e Definir Correlações Conformidade Analisar RNFs DW Documentação Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

42. Planejando a Gerência do DW • Workshop com envolvimento entre clientes e time de projeto. • Estabelecidas regras para definição e gerência dos requisitos (com respectivos papéis). • Benefícios imediatos: • Nivelou o entendimento de todos na tecnologia. • Evitou concepções errôneas sobre o DW. • Identificou limites e restrições do projeto. • Ajudou a aumentar a confiança dos clientes. • Plano de Gerenciamentocomo guia para o desenvolvimento.

43. Elicitação Análise Conformidade Documentação Desenvolvimento do SAFEP2.Definindo o Escopo do DW Refinar Baseline Validação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Priorizar e Definir Correlações Analisar RNFs DW Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

44. Definindo o Escopo do DW • Workshop e Entrevistas estabeleceram: • Papéis e Responsabilidades • Cenário e Oportunidade de Negócio • Abrangência e Público Alvo • Características da Interface • Visão Multidimensional Geral • (entre outros...) • Produtos Gerados • Documento de Visão do Data Warehouse. • Glossário do Projeto.

45. Elicitação Análise Conformidade Documentação Desenvolvimento do SAFEP2.Definindo o Escopo do DW Refinar Baseline Validação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Priorizar e Definir Correlações Analisar RNFs DW Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

46. Análise dos RNFs em SAFE • Entrevistas permitiram discutir: • Freqüência de atualizações • Volume máximo de dados • Quantidade de acessos simultâneos • Flexibilidade da interface • Restrições legais • (entre outros...) • Framework DW-ENF como checklist. • Produto • Especificação de Requisitos Não-Funcionais.

47. Elicitação Análise Conformidade Documentação Desenvolvimento do SAFEP2.Definindo o Escopo do DW Refinar Baseline Validação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Priorizar e Definir Correlações Analisar RNFs DW Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

48. Investigando a Solução Multidimensional • Uso de Análise & Negociação. • Framework DW-ENF permitiu investigar os seguintes aspectos: • Qual o melhor esquema de Indexação a adotar? • O paralelismo de dados é vantajoso para SAFE? • Normalizar ou Desnormalizar as tabelas? • Como atender à necessidade de consulta entre tabelas-fato? • Custo X Benefício entre “Atualidade dos dados” e “Frequência de carga”?

49. Elicitação Análise Conformidade Documentação Desenvolvimento do SAFEP2.Definindo o Escopo do DW Refinar Baseline Validação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Priorizar e Definir Correlações Analisar RNFs DW Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

50. Definição do Escopo “Visão PJ” • Workshop discutiu o propósito do Data Mart e identificou: • Público Alvo • Papéis envolvidos • Necessidades • Funcionalidades • Prioridades e Relevância • Produtos Gerados • Documento de Visão do Data Mart. • Repositório de Requisitos.