Ferramenta de Avaliação de Rotina da Qualidade de Dados (ARQD) MEASURE Evaluation

1. Ferramenta de Avaliação de Rotina da Qualidade de Dados(ARQD)MEASURE Evaluation

2. Evolução da ferramenta ARQD • Ferramenta de Auditoria de Qualidade de Dados criada pelo Projeto do Fundo Global, MEASURE Evaluation, outros parceiros • Objetivo de avaliar a qualidade de dados para financiamentos baseados em desempenho • Utiliza a metodologia GAVI DQA(AQD) para avaliar a exatidão de dados de cobertura de imunização • Técnica de Amostragem por Conglomerados • Estimativa de qualidade de dados a nível nacional • Dois componentes: 1) Verificação de dados 2) Avaliação do sistema • Programas/projetos expressaram a necessidade de uma ferramenta para utilizar como auto-avaliação, capacitação e preparação para auditorias externas

3. AVALIAÇÃO DA QUALIDADE DE DADOS FERRAMENTA DE AVALIAÇÃO DE ROTINA DA QUALIDADE DE DADOS (ARQD) FERRAMENTA DE AUDITORIA DA QUALIDADE DE DADOS (AQD)

4. Utilização das versões de Auditoria e Auto-Avaliação/Rotina Versão Auto-Avaliação... VersãoAuditoria… • Avaliação pela agência financiadora • Método padrão para implementação • Realizada pela equipa de auditoria externa • Limitada participação do Programa/Projeto nas recomendações feitas • Simplificada, com base na versão de auditoria • Utilização flexível pelo programa, equipa de IE (Informação Estratégica) para monitorar e supervisionar ou em preparação para uma auditoria externa • Auto-avaliação, pelo programa, do seu próprio sistema de M&A • O programa elabora e implementa o seu próprio plano de ação • A equipa de IE pode monitorar a qualidade dos dados entre os parceiros num país

5. Objectivos da ARQD • OBJETIVOS: • VERIFICAR rapidamente 1) a qualidade dos dados divulgados em referência aos indicadores chave nos centros selecionados; e 2) a capacidade dos sistemas de gestão de dados para recolher, gerir e divulgar dados de qualidade. • IMPLEMENTAR medidas através de planos de ação adequados para reforçar o sistema de gestão e divulgação de dados e melhorar a qualidade dos dados. • MONITORAR o melhoramento da capacidade e do desempenho do sistema de gestão e divulgação de dados, para produzir dados de qualidade.

6. Dimensões da Qualidade (Anexo 1, Quadro 1) Dimensões da Qualidade (Anexo 1, Quadro 1) Dados de Qualidade Dados de Qualidade Exatidão, Totalidade, Fiabilidade, Pontualidade, Exactidão, Totalidade, Fiabilidade, Pontualidade, Confidencialidade, Precisão, Integridade Confidencialidade, Precisão, Integridade Componentes Funcionais Necess Componentes Funcionais Necess á á rios de um Sistema de Gestão rios de um Sistema de Gestão de Dados para Assegurar a Qualidade dos Dados de Dados para Assegurar a Qualidade dos Dados (Anexo 1, Quadro 2) (Anexo 1, Quadro 2) I I Capacidades, Fun Capacidades, Fun ç ç ões e Responsabilidades de M&A ões e Responsabilidades de M&A rios rios RIOS RIOS Unidade de M&A Unidade de M&A ó ó II II Forma Forma ç ç ão ão Ó Ó III III Requisitos de Divulga Requisitos de Divulga ç ç ão dos Dados ão dos Dados IV IV Defini Defini ç ç ões de Indicadores ões de Indicadores Gestão de Dados e Gestão de Dados e N N í í veis Intermedi veis Intermedi á á rios de Agrega rios de Agrega ç ç ão ão Sistema de Relat Sistema de Relat VEIS DE RELAT VEIS DE RELAT (Ex: Distritos, Regiões) (Ex: Distritos, Regiões) V V Fomul Fomul á á rios/Ferramentas para Recolha e Divulga rios/Ferramentas para Recolha e Divulga ç ç ão dos Dados ão dos Dados VI VI Processos de Gestão de Dados Processos de Gestão de Dados Í Í VII VII N N Mecanismos e controlos da Qualidade dos Dados Mecanismos e controlos da Qualidade dos Dados Pontos de Servi Pontos de Servi ç ç o o VIII VIII Liga Liga ç ç ões com o sistema nacional de relat ões com o sistema nacional de relat ó ó rios rios Modelo Conceitual de ARQD

7. Funções da ARQD A ARQD foi concebida para ter flexibilidade em sua utilização e pode desempenhar várias funções: • Verificações de rotina da qualidade de dados como parte de uma supervisão contínua de apoio • Avaliações iniciais e de seguimento dos sistemas de gestão e divulgação de dados – medição das melhorias de desempenho no decorrer do tempo: • Fortalecimento da capacidade técnica dos profissionais do programa em gestão e divulgação de dados: • Preparação para uma auditoria formal da qualidade de dados· • Avaliações externas realizadas por parceiros, outros intervenientes

8. Etapas de implementação Normalmente, a ARQD pode ser implementada em seis etapas: • Identificar o objetivo da ARQD • Selecionar os níveis e centros a serem incluídos • Identificar indicadores, fontes de dados e período dos relatórios. • Realizar visitas aos pontos de prestação de serviço / centros. • Examinar os resultados e as conclusões. • Elaborar um plano de reforço do sistema, incluindo medidas de seguimento.

9. FASE 1 FASE 2 FASE 3 FASE 4 PREPARAÇÃO IMPLEMENTAÇÃO PLANO DE AÇÃO SEGUIMENTO • 1. Definir a abrangência da AQD • 4. Avaliar o sistema de gestão de dados • 6. Resumir as conclusões e elaborar o plano de ação • 7. Implementar as atividades e realizar o seguimento • 2. Definir os indicadores, as fontes de dados e o período • 5. Verificar os dados • 3. Identificar e notificar aos pontos de prestação de serviço A implementação é realizada na Unidade de M&A, nos pontos de prestação de serviços e nos níveis intermediários de agregação, dependendo da abrangência da AQD Cronologia e etapas da ARQD

10. Exemplo: Seleção de indicadores

11. Metodologia da ARQD • Verificação de dados • Análise de documentação • Recontagem dos resultados – rastrear e verificar • Verificações cruzadas – comparar com fontes de dados alternativos • Desempenho na divulgação de dados • Pontualidade, totalidade, disponibilidade (nível intermediário e superior) • Avaliação do sistema • Há elementos de estrutura implementados para assegurar a qualidade dos dados divulgados?

12. Metodologia da ARQD Componente de verificação de dados Unidade de Gestão de M&A Pontos de Prestação de Serviços / Organizações Níveis Intermediários de Agregação (ex., Distrito, Região) Rastrear e verificar os dados referentes aos indicadores Rastrear e verificar os resultados divulgados • OBJETIVO: Avaliar em escala limitada se os Pontos de Prestação de Serviços e os Centros Intermediários de Agregação estão a recolher e divulgar dados de forma precisa e pontual. • A etapa de verificação de dados ocorre em dois estágios: • Verificações aprofundadas nos Pontos de Prestação de Serviços; e • Verificações de seguimento nos Níveis Intermediários de Agregação (Distritos, Regiões) e na Unidade de M&A.

13. Unidade de M&A/Nacional Relatório mensal TOTAL 435 Distrito 3 Distrito 2 Distrito 1 Relatório mensal Relatório mensal Relatório mensal Distrito 4 Relatório mensal CPS 1 TOTAL TOTAL CPS 3 Distrito 4 CPS 4 CPS 6 CPS 2 Distrito 2 TOTAL Distrito 1 CPS 5 Distrito 3 250 20 45 50 200 45 75 45 75 45 65 250 75 ILUSTRAÇÃO TOTAL 65 Centro de Prestação de Serviços 1 Centro de Prestação de Serviços 4 Centro de Prestação de Serviços 6 Relatório mensal Centro de Prestação de Serviços 5 Centro de Prestação de Serviços 3 Centro de Prestação de Serviços 2 Relatório mensal Relatório mensal No. ARV 45 Relatório mensal Relatório mensal Relatório mensal No. ARV 75 No. ARV 200 No. ARV No. ARV No. ARV 45 20 50 Documento-Fonte 1 Documento-Fonte 1 Documento-Fonte 1 Documento-Fonte 1 Documento-Fonte 1 Documento-Fonte 1 Verificação de dados da ARQD

14. Pontos de Prestação de Serviços – Verificação de Dados

15. Verificação de Dados - ARQD

17. Metodologia de ARQD Componente de Avaliação do Sistema Unidade de Gestão de M&A Pontos de Prestação de Serviços / Organizações Níveis Intermediários de Agregação (ex., Distrito, Região) Avaliação do sistema de gestão e divulgação de dados Avaliar o sistema de gestão e divulgação de dados • OBJETIVO: Identificar potenciais riscos à qualidade dos dados criados pelo sistema de gestão e divulgação de dados em: • Unidade de Gestão de M&A; • Pontos de Prestação de Serviços; • Qualquer Nível Intermediário de Agregação (Distrito ou Região). • A ARQD avalia tanto (1) a concepção; como (2) a implementação do sistema de gestão e divulgação de dados. • A avaliação abrange 8 áreas funcionais (RH, Formação, Processos de Gestão de Dados, etc.)

18. Áreas Funcionais de um Sistema de M&A que afetam a qualidade dos dados

19. Áreas funcionais de um Sistema de M&A que afetam a qualidade dos dados

20. Avaliação do Sistema de ARQD

21. Resultados da ARQD 1- Solidez do Sistema de M&A,avaliaçãobaseada numa revisão do sistema de gestão e divulgação de dados do programa/projeto, incluindo respostas para as questões resumidas gerais sobre a qualidade da concepção e implementação do sistema; 2-Fatores de verificaçãogerados no exercício de recontagem de rastreamento e verificação realizado com os registos primários e/ou relatórios agregados (ou seja, o razão entre o valor recontado do indicador e o valor relatado); 3- Relatórios disponíveis, pontuais e completos percentagens calculadas no Nível Intermediário de Agregação e na Unidade de M&A; 4-Plano de ação para reforçar o sistema em cada nível avaliado.

22. Estatísticas resumidas da ARQD – Painel do Nível Específico

23. Estatísticas Resumidas de ARQD – Painel Global

24. Resultado da ARQD - Plano de Ação para Fortalecer o Sistema

25. ILUSTRAÇÃO Ilustração – Conclusões sobre os sistemas na Unidade de M&A (VIH/SIDA)

27. Principais fatores de êxito para a qualidade dos dados Sistemas de informação eficientes Definição dos indicadores clara e utilizada com uniformidade em todos os níveis Descrição das funções e responsabilidades em todos os níveis Cronogramas específicos de divulgação de dados Formulários / ferramentas de recolha e divulgação de dados padronizados / compatíveis, com instruções claras Procedimentos de revisão de dados documentados, a serem executados em todos os níveis Procedimentos para resolver problemas de qualidade de dados (dados em falta, contagem repetida, pacientes perdidos para seguimento…) Política de armazenamento e práticas de preenchimento que permitam a recuperação de documentos para fins de auditoria

28. PREPARAÇÃO: Finalidade da documentação solicitada 1 Lista de pontos de prestação de serviços com os resultados mais recentes Para ajudar a selecionar os pontos de prestação de serviço a serem visitados. 2 Descrição do sistema de divulgação de dados Para compreender como os dados são registados e divulgados pelos Pontos de Prestação de Serviços para a Unidade de M&A. 3 Modelos de formulários Para familiarizar a Equipa de Avaliação com os formulários e relatórios a serem examinados. 4 Outros documentos Para possibilitar o entendimento da concepção do Sistema de Gestão e Divulgação de Dados.

29. Algumas Experiências com a ARQD • Nigéria • Quénia • Tanzânia • Costa do Marfim • Guiana • Haiti • Moçambique

30. Exercício • Em pares analisem os dados dos relatórios e utilizem a ferramenta ARQD – Parte 1 Verificação de Dados para o nível intermediário e Unidade de M&A. • Calcule os índices quanto a: • Fator de Verificação • Disponibilidade • Pontualidade e • Relatórios Completos

31. A MEASURE Evaluation é financiada pela Agência de Desenvolvimento Internacional dos EUA (USAID) por meio do Acordo de Cooperação GHA-A-00-08-00003-00 e é implementada pelo Centro Populacional da Carolina, Universidade da Carolina do Norte, em parceria com Futures Group, John Snow, Inc., Macro International Inc., Management Sciences for Health, e Tulane University. Visite-nos on-line em http://www.cpc.unc.edu/measure.