Avaliação de Testes Diagnósticos

1. Avaliação de Testes Diagnósticos Métodos de Investigação Epidemiológica em Doenças Transmissíveis

2. Avaliação de Testes Diagnósticos Delinear e analisar estudos para avaliar a reprodutibilidade e determinar a validade de um teste diagnóstico Conceitos Chave: • Reprodutibilidade • Validade • Sensibilidade e Especificidade

3. Conceitos Gerais Em epidemiologia o conceito de “testes diagnósticos” pode ser aplicado a diferentes tipos de procedimentos incluindo: Testes de Laboratório Entrevistas Clínicas Exames Físicos

4. Conceitos Gerais A avaliação adequada de um teste diagnóstico requer informação sobre: • Reprodutibilidade – habilidade do teste em produzir resultados repetidos e consistentes • Validade – Capacidade de um teste em produzir o resultado real daquilo que está sendo medido

5. Relação Entre Reprodutibilidade e Validade Validade Alta Baixa Valores obtidos Alta Verdadeiro valor Reprodutibilidade Valores obtidos Baixa Verdadeiro valor Ambos os indicadores devem ser observados na avaliação de um teste diagnóstico

6. Reprodutibilidade/Repetibilidade Pesquisa clinica e epidemiológica dificilmente atingem os altos valores de repetibilidade obtidos em laboratório Reprodutibilidade pode ser avaliada utilizando diferentes tipos de variáveis: • Dicotômica (positivo / negativo) • Categórica (normal / anormal / limítrofe) • Contínua (miligramas, mililitros)

7. Avaliação da Reprodutibilidade • Taxa Global de Concordância • Indicador Kappa

8. Índice Kappa () “” representa a proporção de concordância que ocorre acima daquela esperada de ocorrer ao acaso O valor de  varia de “-1” [discordância completa] a “1” [Concordância completa]; “0” equivale a leitura ao acaso • Expressa a reprodutibilidade de um teste diagnóstico • Reflete o grau de concordância entre observadores ou de medidas da mesma variável categórica que não acontece ao acaso

9. Kappa Concordância < 0.00 Nenhuma 0.00-0.20 Fraca 0.21-0.40 Sofrível 0.41-0.60 Regular 0.61-0.80 Boa 0.81-0.99 Ótima 1.00 Perfeita Escala de Concordância Kappa

10. Po - Pe a + d [(a+b) (a+c)] + [(c+d) (b+d)] K = Po = Pe = 1 - Pe a + b + c + d (a + b + c + d)2 • Concordância entre dois observadores - • Leitura de lâminas para pesquisa de hematozoários Observador 1 Total (+) ( - ) Observador 2 (+) 18 (a) 12 (b) 30 (-) 2 ( c) 88 (d) 90 Total 20 100 120 Onde: Po = proporção de concordância observada Pe = proporção de concordância esperada ao acaso

11. Fatores que afetam a Interpretação do  • Fatores avaliados: tipo de evento, fatores relacionados ao examinador, procedimento testado, ambiente, número de categorias de resultados • Prevalência do evento na população estudada • Independência da avaliação: testes devem ser repetidos ignorando-se resultados prévios

12. Validade de um Teste Diagnóstico • Validade refere-se à quanto um teste é útil para diagnosticar ou predizer um evento • Na determinação da validade os resultados do teste são comparados com um teste padrão Padrão Ouro

13. Validade de um Teste Diagnóstico Doença (Padrão Ouro) Presente Ausente verdadeiro positive falso positivo Positivo (a) a + b (b) Teste (c) c + d (d) falso negativo verdadeiro negativo Negativo Sensibilidade : a/(a+c) Especificidade: d/(b+d) Prevalência (verdadeira): (a + c)/N Prevalência estimada (teste) : (a+b)/N Valor preditivo positivo: a/(a+b) Valor preditivo negativo: d/(c+d) Classificação correta: (a+d)/N Classificação incorreta: (b+c)/N N a + c b + d

14. Sensibilidade e Especificidade • Sensibilidade – capacidade de um teste em identificar indivíduos verdadeiro positivos (fazendo diagnóstico correto de doentes) • Especificidade – capacidade de um teste de detectar indivíduos verdadeiro negativos (identificando sadios) O melhor teste diagnóstico seria aquele que identifica poucos falso negativos e falso positivos: alta sensibilidade e especificidade

15. Relação entre Sensibilidade e Especificidade • O teste ideal (com 100% de sensibilidade e 100% de especificidade) raramente é encontrado na prática • Tentativas de aumentar a sensibilidade geralmente resultam em perda de especificidade É necessário definir o ponto de corte (dependente do objetivo do teste de rastreamento/diagnóstico) quando os resultados de um teste são apresentados em forma de variável contínua

16. Valor Preditivo (VP) de um Teste • Dado um resultado positivo (ou negativo) de um teste, qual é a probabilidade que o indivíduo realmente tenha (ou não tenha) a doença? • VP depende da sensibilidade, da especificidade do teste, e também da prevalência da doença na população estudada

17. Relação entre Valor Preditivo e Prevalência Valor Preditivo Positivo (VPP) – proporção de indivíduos doentes entre aqueles com resultado positivo Valor Preditivo Negativo (VPN) – proporção de indivíduos sadios entre aqueles com resultado negativo VPP aumenta com a prevalência (maioria dos testes positivos são de pessoas doentes), enquanto VPN diminui com a prevalência (mais resultados falso negativos)

18. Erro aleatório ao estimar Sensibilidade e Especificidade • Erros ao acaso podem ser avaliados através do cálculo de intervalos de confiança para a sensibilidade e especificidade do novo teste • O intervalo de confiança indica o espectro de variação dos resultados obtidos para que possam ser comparados com os testes convencionais

19. Minimizando Erros ao Acaso • Estime o tamanho da amostra necessário para determinar a validade do teste • Requer a definição de intervalos de confiança com espectros que incluam o valor da sensibilidade e especificidade desejadas para o teste

20. Tamanho da amostra para avaliação da Sensibilidade e Especificidade Informação necessária: 1. Proporção esperada de positividade na população 2. Amplitude desejada do intervalo de confiança 3. Definição do nível de confiança N = Z * Z[P (1 - P)]/(D * D) Onde: P = proporção esperada D = semi-amplitude do intervalo de confiança Z = 1.96 (para nível de confiança = 0.05 e 95% IC)

21. Erro Sistemático na Avaliação de Testes Diagnóstico Os três tipos mais comuns de viés: • Viés de amostragem -- a amostra não é representativa da população alvo na qual o teste deverá ser utilizado • Viés de mensuração – o conhecimento prévio de quais participantes tem ou não a doença afeta os resultados do estudo • Viés de publicação – tendência em se publicar somente de estudos que mostrem o “sucesso” de testes diagnóstico

22. Minimizando Erros Sistemáticos • Viés de amostragem – selecionar amostras de população semelhante a qual o teste deverá ser utilizado • Viés de mensuração – o investigador deve permanecer mascarado em relação à realização dos testes diagnósticos • Viés de publicação – planejar o estudo com tamanho de amostra suficiente para assegurar credibilidade e divulgação dos resultados

23. Princípios Básicos para Determinar a Validade de um Teste • Randomização e mascaramento – testes devem ser comparados de forma mascarada na mesma amostra aleatória para eliminar variações externas • Testagem em campo -- estudos de validação devem ser conduzidos nas mesmas condições onde o teste será utilizado

24. Roteiro para Determinar a Validade de um Teste Diagnóstico • Certifique-se da necessidade do teste • Estabeleça o critério de amostragem • Descreva o teste e o padrão de referência • Descreva os procedimentos para aplicação do teste e do padrão de referência • Calcule o tamanho da amostra • Esclareça as questões éticas • Analise os dados - calcule sensibilidade, especificidade e valores preditivos com respectivos IC95% Adaptado de Hulley & Cummings, 1988