VALIDAÇÃO, INTEGRIDADE E MONITORAMENTO DAS DOENÇAS NIGEL PANETH

1. VALIDAÇÃO, INTEGRIDADE E MONITORAMENTO DAS DOENÇAS NIGEL PANETH

2. MEDIDAS DE INTEGRIDADE TERMINOLOGIA INTEGRIDADE é análoga à precisão. VALIDAÇÃO é análoga à segurança da exatidão. INTEGRIDADE é como um observador classifica melhor o mesmo indivíduo sob diferentes circunstâncias. VALIDAÇÃO é como uma prova reproduz melhor um resultado comparado à outra prova de maior segurança conhecida.

3. INTEGRIDADE E VALIDAÇÃO • INTEGRIDADE inclui: • avaliações feitas pelo mesmo observador em diferentes períodos de tempo – INTEGRIDADE INTRAOBSERVADOR. • avaliações feitas por observadores diferentes ao mesmo tempo – • INTEGRIDADE INTEROBSERVADOR. • INTEGRIDADE presume que todas as provas e observadores sejam iguais. • VALIDAÇÃO presume que haja um padrão de ouro com o qual a prova e o observador serão comparados.

4. AVALIANDO INTEGRIDADE Como avaliamos a integridade? Uma maneira é observar simplesmente a percentagem de concordância. - Percentagem de concordância é a proporção de todos os diagnósticos classificados da mesma maneira por dois observadores.

5. EXEMPLO São dadas a dois médicos 100 radiografias para analisar independentemente, e lhes é perguntado se há a presença de pneumonia ou não. Quando ambos os seus diagnósticos são comparados, encontramos que 95% dos diagnósticos são os mesmos.

6. Há integridade nos diagnósticos? A percentagem de concordância é suficiente para indicar integridade? 95% de concordância entre os dois médicos e a ausência ou presença da doença em uma amostra de 100 pacientes sempre indica boa concordância? Você se sentiria tranqüilo se seu hospital fizesse um constante trabalho de leitura de Raios X do tórax, e se elas apresentassem 95% de integridade?

7. COMPARE AS DUAS TABELAS ABAIXO: TABELA 1 TABELA 2 Em ambos os exemplos, os médicos concordaram em 95% de vezes. Os dois médicos são igualmente íntegros nas duas tabelas?

8. QUAL A DIFERENÇA ESSENCIAL ENTRE AS DUAS TABELAS? • O problema surge da facilidade de concordância em eventos comuns (Ex: não existindo pneumonia na primeira tabela). • Uma medida de concordância deverá levar em consideração a “facilidade” de concordância devida somente ao acaso.

9. USO DE KAPPA PARA AVALIAR INTEGRIDADE KAPPA é um teste de concordância INTER e INTRA-observadores (ou integridade) amplamente utilizado, que corrige por concordância o acaso.

10. KAPPA VARIA DE +1 à -1 +1 significa que os dois observadores concordaram perfeitamente. Eles classificaram a todos exatamente da mesma forma. 0 significa que não existe nenhuma relação entre as classificações dos dois observadores, acima da concordância de acasos que seriam esperadas. -1 significa que os dois observadores classificaram exatamente o oposto. Se um observador diz SIM, o outro sempre diz NÃO.

11. GUIA PARA USO DE KAPPA EM EPIDEMIOLOGIA E EM MEDICINA: KAPPA  0,80 é considerado excelente. KAPPA 0,60 – 0,80 é considerado bom. KAPPA 0,40 – 0,60 é considerado regular. KAPPA  0,40 é considerado ruim

12. PRIMEIRA MANEIRA DE CALCULAR KAPPA: • Calcule a concordância observada (células nas quais os observadores concordaram/totais de células). Em ambas as TABELAS 1 e 2 são de 95%. • Calcule a concordância esperada(acaso de concordância) baseada nas marginais totais.

13. OS TOTAIS MARGINAIS DA TABELA 1 SÃO:

14. Como calculamos o N esperado por acasos (azar) em cada célula? Supondo que cada célula reflete as distribuições marginais, ex: as proporções das respostas SIM e NÃO deverão ser as mesmas dentro de uma tabela de quatro células como os totais marginais.

15. Para chegar a isso, encontramos a proporção das respostas em cada coluna (3% e 97%, SIM e NÃO respectivamente, para MD1) ou na coluna (4% e 96%, SIM e NÃO respectivamente, para MD2) dos totais marginais, e aplicamos uma das duas proporções no outro total marginal. Ex: 96% dos totais das colunas na categoria “NÃO”. Portanto, 96% de NÃO poracasos de MD1, deveriam também, estar na coluna de NÃO. 96% de 97 são 93,12.

16. Por subtração, todas as outras células serão preenchidas automaticamente, e cada distribuição de células SIM/NÃO refletirá a distribuição marginal. Qualquer célula poderá ser usada para fazer o cálculo, uma vez que, se cada célula é especificada numa tabela 2X2 com distribuições marginais fixadas, todas as outras células também, serão especificadas.

17. Agora você pode ver que somente por operação de acaso, 93,24 das 100 observações deveriam ser concordantes para os dois observadores (93,12 + 0,12)

18. Agora comparemos a concordância atual com a concordância esperada: A concordância esperada é 6,76% distante da concordância completa de 100%, (100% - 93,24% = 6,76%).  A concordância atual foi de 5,0% da concordância completa de 100%, (100% – 95%).  Assim, nossos dois observadores foram 1,76% melhores que o acaso (azar), mas se eles tivessem concordado completamente, deveriam ter sido 6,76% melhores que o acaso (azar). Logo, eles são melhores em somente cerca de 0,26% que o acaso (azar) ou seja, 1,76/6,76 ¼.

19. ABAIXO ESTÁ A FÓRMULA PARA O CÁLCULO DE KAPPA DA CONCORDÂNCIA (C) ESPERADA: C. observada – C. esperada 1 – Concordância esperada 95% - 93,24% = 1,76 = 0,26% 1 – 93,24%6,76

20. UM KAPPA DE 0,26% É BOM? KAPPA  0,80 é considerado excelente. KAPPA 0,60 – 0,80 é considerado bom. KAPPA 0,40 – 0,60 é considerado regular. KAPPA  0,40 é considerado ruim.

21. No segundo exemplo, a concordância observada foi também, de 95%, mas os totais marginais foram muito diferentes.

22. Calculamos a concordância esperada N, para qualquer célula, usando o mesmo procedimento anterior baseado nos totais marginais. Ex: a célula de valor mais baixo à direita é 54% de 55, que é 29,7.

23. E, por subtração as outras células que estão abaixo. As células que indicam concordância estão ressaltadas em amarelo e somam 54,4%.

24. ENTRE AS DUAS CONCORDÂNCIAS (C) NA FÓRMULA: C. observada – C. esperada 1 – Concordância esperada 95% - 50,4% = 44,6% = 0,90 1 – 50,4% 49,6% Neste exemplo, os observadores têm a mesma % de concordância, mas agora eles são muito diferentes do acaso (azar). O KAPPA de 0,90 é considerado excelente.

25. OUTRA FORMA DE CALCULAR KAPPA: 2(AD – BC) N1N4 + N2N3 Onde, os valores Ns são totais marginais, assim denominados:

26. VEJA NOVAMENTE NA TABELA DO SLIDE 7. Para a TABELA 1: 2 (94 x 1 – 2 x 3) = 176 = 0,26 4 x 97 + 3 x 96 676 Para a TABELA 2: 2 (52 x 43 – 3 x 2) = 4460 = 0,90 46 x 55 + 45 x 54 4960

27. NOTE O PARALELISMO ENTRE: A ODDS RATIO - RAZÃO DE PROBABILIDADES O QUI-QUADRADO ESTATÍSTICO O KAPPA ESTATÍSTICO Note que são centrais nas três expressões os produtos cruzados das tabelas de quatro células e suas relações com os totais marginais.

28. VALIDAÇÃO E MONITORAMENTO AS TRÊS MEDIDAS CHAVES DA VALIDAÇÃO: SENSIBILIDADE ESPECIFICIDADE VALORES PREVISTOS

29. TABELA DE QUATRO CÉLULAS PARA AVALIAR A RELAÇÃO DE TESTE-DOENÇA

30. SENSIBILIDADE Ela nos indica o quanto um teste positivo detecta a doença. É definida como a fração dos doentes com resultados positivos nos testes. Seus complementos são as taxas dos testes falso negativos, definidas como a fração de doentes que dão resultados negativos nos testes. A sensibilidade e a taxa de falsos negativos somam UM.

31. ESPECIFICIDADE Nos indica o quanto um teste negativo é bom para detectar nenhuma doença. É definida como a fração dos não-doentesque deram testes negativos. Seu complemento é a taxa de falsos positivos definida como a fração dos não-doentes cuja prova foi positiva. Especificidade mais a taxa de falsos positivos dão UM.

32. VALORES PREVISTOS VALOR PREVISTO POSITIVO é a proporção de todas as pessoas com resultados positivos que têm a doença. VALOR PREVISTO NEGATIVO é a proporção de todas as pessoas com resultados negativos que não têm a doença. Em geral, o valor previsto positivo é o mais utilizado. O valor previsto positivo e a sensibilidade são talvez, os dois parâmetros mais importantes para o entendimento da utilização de um teste sob as condições de campo.

33. PONTOS CHAVES PARA RELEMBRAR Sensibilidade, especificidade, falsos positivos e falsos negativos são todos os denominadores comuns para doentes e não doentes (utilizamos no total das colunas). Ao contrário, os valores previstos são denominadores para o status do teste, positivo ou negativo (utilizamos no total das seqüências). Sensibilidade e especificidade não variam de acordo com a prevalência da doença na população. Os valores previstos de um teste, sem dúvida, são ALTAMENTE DEPENDENTES sob a prevalência da doença na população.

34. CALCULANDO SENSIBILIDADE, ESPECIFICIDADE E OS VALORES PREVISTOS Um teste é utilizado em 50 pessoas com uma doença e 50 pessoas sem a doença. Estes são os resultados:

35. Sensibilidade = 48/50 x 100 = 96% Especificidade = 47/50 x 100 = 94%. Valor previsto positivo = 48/51 x 100 = 94%. Valor previsto negativo = 47/49 x 100 = 96%.

36. Agora, vamos aplicar este teste numa população onde 2% das pessoas têm a doença, não os 50% como no exemplo anterior. Suponha que existem 10.000 pessoas, e a mesma sensibilidade e especificidade anterior, com valores de 96% e 94% respectivamente.

37. AGORA, QUAL O VALOR POSITIVO PREVISTO? 192/780 X 100 = 24,6%. Quando a prevalência de uma doença é de 50%, 94% dos testes positivos indicam a doença. Mas quando a prevalência é de somente 2%, menor que 1 em quatro nos resultados dos testes, estes indicam uma pessoa com a doença, e que atualmente 2% deveriam apresentar uma doença comum. Os resultados falsos positivos tendem a esconder-se em verdadeiros positivos nas populações, devido a que muitas doenças que testamos são raras.

38. MUDANDO O LIMITE DE UM TESTE Quando a doença é definida por um limiar num teste contínuo, as características do teste podem ser alteradas mudando-se o limite ou o PONTO DE CORTE (CUT-OFF). Diminuir o limite melhora a sensibilidade, mas muitas vezes a custo de diminuir a especificidade (ex: mais falsos positivos). Aumentar o limite melhora a especificidade, a custo da diminuição da sensibilidade (ex: mais falsos negativos). Isto é especificamente importante quando a distribuição de uma característica é UNIMODAL, como a pressão arterial, colesterol, peso, etc (devido à zona cinza – borderline - ser muito ampla).

39. PROBLEMAS DE MONITORAMENTO • Temos um correto limiar? • Há um tratamento verdadeiramente efetivo disponível para a doença diagnosticada? • Este tratamento é mais efetivo nos casos monitorados que nós não monitorados? • Quais são os efeitos adversos do processo de monitoramento? • O quanto eficiente é o monitoramento? • Ex: Quantas pessoas têm que ser monitoradas para se encontrar um caso?

40. EXEMPLO: Um ensaio randomizado (aleatório) é implementado para se avaliar um programa de monitoramento para o câncer de colon. O grupo da intervenção tem monitoramento regular, o grupo controle é deixado a mercê de seus próprios recursos.

41. APÓS CINCO ANOS ENCONTRAMOS QUE:  Mais casos são descobertos no grupo monitorado que no grupo controle. Os casos são descobertos com antecedência aos estágios do câncer no grupo monitorado. A sobrevida a cinco anos é maior nas pessoas com câncer monitoradas. Podemos concluir que este programa de monitoramento é necessariamente efetivo?

42. NÃO, O PROGRAMA NÃOÉ NECESSARIAMENTE EFETIVO. Os benefícios aparentes só demonstram os efeitos do RISCO DEPENDENTE DO TEMPO. Sendo possível diagnosticar uma condição de forma antecipada, isso não melhorará a sobrevida depois do diagnóstico; o programa de monitoramento terá uma super representação de casos diagnosticados mais cedo, cuja sobrevida será aumentada por exatamente o tempo em que seu diagnóstico foi feito de forma mais antecipada pelo programa de monitoramento. Assim, eles não serão beneficiados, mas a quantidade de tempo que eles saberão que têm câncer terá aumentado.

43. CONSIDERE COMO O TEMPO DO DIAGNÓSTICO MUDA COM O MONITORAMENTO NO CENÁRIO ABAIXO: GRUPO SEM MONITORAMENTO: Dx MORTE IDADE 50 51 52 53 54 55 GRUPO MONITORADO: Dx MORTE IDADE 50 51 52 53 54 55

44. OUTROS RISCOS (BIAS) NO MONITORAMENTO: RISCO (BIAS) DE AMPLITUDE DE TEMPO • Muitas doenças crônicas, especialmente cânceres, não progridem com a mesma rapidez em todos os pacientes. • Qualquer grupo de doentes incluirá alguns para os quais a doença se desenvolve mais lentamente e em outros se desenvolve mais rápido. • Preferencialmente, o monitoramento incluirá doenças de desenvolvimento lento (com maior oportunidade de serem monitoradas) e que normalmente terá melhor prognóstico.

45. No cenário anterior, a incidência de doença é inicialmente mais alta, o diagnóstico é feito mais cedo, o estagio do diagnóstico é mais antecipado e a duração da sobrevida desde o diagnóstico é mais ampla. Todos eles nos dão a impressão de benefícios do monitoramento. Todavia o paciente não é beneficiado, visto que a morte não é adiada. A única evidência de efetividade no programa de monitoramento é uma redução da morbidade ou mortalidade específica por total de idade, idealmente demonstrado num ensaio randomizado (aleatório).

46. Exercício de mamografia (Mamógrafo) 1. Menos de 50 anos, a sensibilidade é de 75%; acima dos 50 anos, a sensibilidade é de 90%. 2. Menos de 50 anos, 640 mamografias anormais foram confirmadas com 17 cânceres, a razão FP/TP é 623/17 = 36,7. Acima dos 50 anos, 100 mamografias anormais, foram confirmadas 14 cânceres; a razão FP/TP é 86/14 = 6,1. Expressando-os como valores previstos positivos, teremos respectivamente: 17/640 x 100 = 2,7% e 14/100 x 100 = 14%.  

47. Exercício de mamografia (Mamógrafo) (continuação) 3. Menos de 50 anos, a incidência é de 1,42/1000/ano (baseado em 37 mortes em 10000 em 10 anos). Acima dos 50 anos, a incidência é de 2,5/1000/ano (baseado em 1/40/10 anos). MORTALIDADE – 0,67/1000/ano (baseado em 1/150 em 10 anos).