O grupo de avaliação define: os parâmetros que serão avaliados, desenvolvem os questionários,

1. Metodologia de avaliação da qualidade dos dados da imunização[DQS](Data quality self-assessment ) [1] - [Eduardo S. Ponce Maranhão – o ppt](Grupo de apoio ao PAI-PNI e APS na Ensp- Fiocruz2004 • A metodologia da avaliação da qualidade dos dados da imunização foi criada pela OMS para avaliar diferente aspectos da imunização “ o sistema de monitoramento” • O monitoramento da imunização se refere a medida rotineira da cobertura de vacinação e outros indicadores do programa. • Esta metodologia foi adaptada da metodologia de auditoria da qualidade dos dados ( Data Quality Audit) [DQA] que foi desenvolvida dentro da referencia do GAVI ( Global Alliance for Vaccines and Immunization) • Os objetivos do DQS são: avaliar a qualidade, a oportunidade e a confiabilidade(accuracy) dos dados produzidos pelo sistema de monitoramento da imunização do país • O DQS necessita ser flexível. • Ajuda os gerentes a identificar problemas • e propor recomendações para melhoria da informação do programa • O DQS é para ser usado pelo pessoal que coleta e utiliza os dados de imunização nos níveis central nacional, estadual / provincial, regional, local

2. 2 • O grupo de avaliação define: • os parâmetros que serão avaliados, • desenvolvem os questionários, • conduzem a avaliação em campo[no terreno], • analisam os achados, • e propõem as recomendações • O grupo de avaliação inclui: • Pessoal de atenção primária de saúde • Epidemiologistas regionais e locais, • Enfermeiros de saúde pública, • Estatísticos, • Gerentes do programa de imunização, • Outros gerentes de níveis + altos do sistema

3. 3 • É necessário se descrever o Sistema de Monitoramento de Imunização do país avaliado • Os 3 componentes gerais do DQS são: • A qualidade do sistema de monitoramento -- -> é avaliado usando questionários desenhados pelo grupo avaliador • A confiabilidade(accuracy) dos dados é avaliada comparando os dados disponíveis nos formulários[fichas] de coleta de dados dos diferentes níveis do sistema • Dados diários das vacinas administradas nas unidades de saúde são comparados com dados agregados notificados do nível local e estadual /provincial e os dados disponíveis no nível central nacional . A periodicidade do envio dos dados é avaliado verificando quando as unidades notificaram ou receberam os informes de dados registrados, encaminhados e ou recebidos

4. O sistema de monitoramento de um país [4] • Geralmente fornece a imunização através do Programa de imunização[PAI / PNI] • O Programa se realiza através de muitas unidades de saúde[Centros,Postos, Hospitais] que se distribuem nas áreas de saúde e regiões de saúde • O Programa de imunização usa um sistemas computadorizado( no Brasil o API) para o registro de doses de vacinas administradas • Este sistema de registro da vacinação tem sido implementado em todas ou em várias regiões ou áreas, e nas unidades primárias de saúde • O PAI / PNI é o provedor geral das imunizações, ( em alguns países a área materno-infantil ou vigilância epidemiológica ou em saúde é a entidade coordenadora/ regulatória) • Administrativamente, em geral o programa está organizado em municípios, regiões e áreas de saúde • Cada área, ou município recebe os dados de imunização de suas unidades de saúde e de instituições privadas . • A área ou município consolida a informação e conduz a análise adequada • Toda a informação sobre cobertura está estratificada por distrito ou município de residência

5. Sistema de monitoramento da qualidade da imunização[5] • Os aspectos(componentes) avaliados incluem : • A qualidade dos registros e prática de arquivamento • A analise dos dados • O planejamento • A capacitação[treinamento] • A supervisão • Um formulário[formato] específico é desenhado para cada nível do sistema de saúde( unidades de saúde, hospital, área ou região, município) • Os questionários são desenhados para respostas dicotômicas e para o escore de acordo com pontos [sistema de pontuação] • Dividindo o escore obtido para cada local visitado(US) pelo escore máximo possível para cada componente se obtém o Índice de Qualidade • Para se dispor de Índices de Qualidade, para os componentes avaliados, expressos em porcentagem e facilitar a comparação entre os níveis equivalentes( unidades de saúde,áreas, regiões,municípios). Utilizam-se os gráficos radares[pode-se usar o MS-Excel] apresentar o gráfico

6. Confiabilidade do dado[Data Accuracy)[6] • Para avaliar a “acurácia” do dado • Os dados disponíveis nos níveis local são comparados com os dados encontrados nas áreas de saúde ou municípios [SMSs] com os dados dos níveis regional/estadual[SESs] e do nível central nacional [MS-PNI] quando possível • A razão de acurácia ( Accuracy ratio), expressa como uma percentagem é usada como medida de acurácia do dado • Esta razão é : No de doses de vacina, verificadas ou contadas no nível local dividida pelo No de doses de vacina informadas ao nível + alto, multiplicado por cem • Ex: razão de acurácia[razão de exatidão] de dados enviados por uma unidade de saúde = No de doses DPT3 ( crianças<1ano) registradas durante um determinado mês / No de doses DPT3(crianças <1ano) encontrada nos informes daquela unidade de saúde da área ou município[SMSs] no mesmo mês X 100

7. Oportunidade(periodicidade) [ 8 ] • Dados são coletados para avaliar a oportunidade(periodicidade). • Para se considerar o informe dentro da oportunidade( periodicidade), se estabelece o momento[deadlines] no mês para informar ao nível superior • Este componente só pode ser avaliado quando a data de envio ou a data do registro está presente

8. Confiabilidade dos dados (Data Accuracy) [7] • Obs:Se verificamos que nem todas as doses informadas ao nível superior podem ser verificadas no nível inferior , o coeficiente de acurácia será <100%, • Indicando uma sobre-informação(over-reporting) • Isto seria o caso se + doses são encontradas na região [ou município] do que as registradas nas unidades sanitárias ou na unidade sanitária em questão • Do mesmo modo , se + doses são encontradas nos informes diários de uma unidade de saúde, que numa área de saúde , região ( ou município), o coeficiente de acurácia será >100% indicando uma sub-informação(under-reporting) • * Obs: A agregação dos coeficientes de acurácia( no mesmo nível) para se obter um coeficiente de um distrito ou município, província ou estado é possível ponderando[dando o peso] de acordo com o tamanho da população.Entretanto , a agregação deve ser feita com cuidado, pois o resultado pode falsamente sugerir dados de acurácia tendendo simultaneamente p/ sobre e sub-informação

9. Implementação do DQS[8] • O DQS está dividido em 3 estágios: • 1. Oficina inicial O grupo de avaliação dedica os primeiros 3 dias da avaliação para definir o escopo (abrangência) da avaliação • Desenvolve os questionários ,formulários,formatos[quadros, tabelas] que serão testados em campo( para ver como eles funcionam) • A metodologia DQS utiliza amostragem aleatória ou seleção de conveniência das unidades locais • Obs: geralmente os locais selecionados se baseiam em critérios logísticos e outras considerações práticas

10. Implementação[9] • 2.Trabalho de campo  Durante os 3 dias seguintes, os grupos(times) visitam regiões, ou municípios(SMSs), Unidades Sanitárias[centros, postos de saúde, hospitais, instituições privadas que oferecem vacinação) • 3.Oficina de Análise  Durante os últimos 2 dias, cada grupo(time) analisa os achados e apresentam aos outros grupos(times) Um resumo dos achados gerais e as recomendações propostas são apresentadas as autoridades nacionais [ estaduais ] no final dos trabalhos

11. Os resultados[10] • Um informe final com os resultados detalhados e recomendações é preparado e distribuído a todo o pessoal relevante e para todos os locais visitados. • Os resultados são apresentados com os aspectos fortes e aspectos fracos de cada nível

12. Questões padrão para avaliar a qualidade do sistema de monitoramento • Componentes: • Registro (distrito/município) • Arquivamento (distrito/município) • Arquivamento computadorizado (distrito/município) • Informe[notificação] ( distrito/ município) • Informação demográfica (distrito/município) • Resultados centrais/ análises ( distrito/município) • Evidencia do uso dos dados para ação (distrito/município) • Registro ( U.S) • Informe[notificação]( U.S) • Arquivamento (U.S) • Informação demográfica (U.S) • Resultados centrais / análises (U.S) • Evidencia do uso dos dados para ação (U.S)

13. Países onde foi realizado o DQS • Congo • Indonésia • Tanzânia • Moçambique • Bulgária • Tunísia • Lao • Nepal Na América: • Costa Rica • Nicarágua • Haiti

14. Referências • WHO-The immunization data quality self-assessment(DQS)tool . ,2004 • PAHO-Immunization Data Quality Self-assessment: The Costa Rica Experience.; Immunization Newsletter- Vol XXVIII, number 1-Feb 2006 • O. Ronveaux; D.Rickert;S Handler;H.Groom;. Contrôle de la qualité des données de vaccination: vérification de la qualité et de la cohérence de systèmes de vaccinovigilance –Bull.World Health Organ vol.83 no.7 Genebra July 2005

15. EX: resultados gerais –Costa Rica[resumo] • Um informe final com resultados detalhados e com recomendações foi preparado e distribuído para todos os grupos de interesse relevantes( stakeholders) e para todos os locais visitados. • Os resultados foram apresentados com os aspectos fortes e aspectos fracos de cada nível. • Entretanto, a consolidação dos resultados foi difícil devido a aspectos fortes encontrados em alguns lugares e fracos em outros • Também, a seleção dos locais não foi aleatória, restringindo a possibilidade de generalizar o encontrado • Olhando a qualidade do sistema de monitoramento da imunização, aspectos fortes e fracos foram encontrados em cada nível . • Em geral, as práticas de registro e arquivamento foram adequadas a todos os níveis, com exceções em alguns hospitais nacionais e instituições privadas. • A forma de registro primário de doses diárias não inclui a variável “sexo”( embora esta é capturada no sistema computadorizado SISVAC, em muitas USs ) • E os grupos de idade não incluem a categoria de pessoas > 65 anos, limitando a capacidade de monitorar o impacto sazonal da vacinação influenza, no calendário de vacinação desde 2004

16. Ex:Costa Rica(continuação) • As áreas para verificar o melhoramento da utilização do SISVAC foram identificadas • Os dados de análise da imunização são produzidos em todos os níveis • Entretanto, a análise é geralmente restrita as vacinas BCG,OPV3,DTP3 e MMR 1 , relacionada ao uso de indicadores como taxas de abandono é limitado No de crianças que receberam a 1*dose – No de crianças que receberam a 3* dose / No de crianças que recebem 1 dose X 100 • Os dados são apresentados em gráficos e mapas • As atividades de imunização são sempre incluídas no planejamento e treinamento/capacitação e tópicos do sistema de qualidade de dados são considerados • Entretanto, o apoio ao nível + alto de coleta e informe[notificação] assim como o uso do SISVAC, é fraco • A supervisão do componente informação é incipiente, geralmente limitado a avaliação do período da data de transmissão dos dados [ oportunidade] • Verificando os dados de acurácia [confiabilidade] a legislação da Costa Rica coloca como compulsória a notificação das doses de vacina administradas para todos os provedores de vacinas a população • Entretanto, sub-notificação foi verificada em muitos hospitais e instituições privadas • Em 1 hospital onde foi possível quantificar a notificação incompleta [ sub-notificação]as razões de exatidão( r. de acurácia) chegaram a, 141% BCG; 143% Hepatite B; representando 41 % e 43% de sub-notificação[notificação incompleta] respectivamente

17. Ex:Costa Rica(continuação) • As regiões não recebem informes com a quantidade de todas as doses administradas nas suas áreas de saúde • Não existe mecanismos padrões para gerenciar a notificação de pessoas que recebem a vacinas fora do seu distrito de residência • Doses de vacinas administradas a não residentes não puderam ser monitoradas • Quanto ao período de notificação, muito lugares visitados registram dados e recebem notificação e informes • Atrasos foram encontrados , a maioria em hospitais • Dados notificados[informados] tardiamente podem aumentar o risco de sub-notificação