8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales

1. CURSO DE EPIDEMIOLOGÍA BÁSICA 8b. Propiedades de las pruebas de diagnósticoCómo determinar los valores umbrales Juan José Romero Zúñiga, DMV, PhD Programa de Investigación en Medicina Poblacional Escuela de Medicina Veterinaria Universidad Nacional Centro de Capacitación – Alto de Ochomogo Lunes, 3 de mayo 2010

2. Valor umbral (cut off) de una prueba diagnótica • Es un valor límite para la positividad y negatividad delaprueba. En función de éstos se determinará la sensibilidad (Se), la especificidad (Sp) y los valores predictivos (VP) de dicha prueba. • Se puede hacer mediante (al menos) dos métodos: • Usando la distribución de las muestras controles (positivos y negativos). • Mediante curvas de ROC (Receiver Operating Characteristic) • Cambiar el punto de corte modifica la sensibilidad, especificidad y valores predictivos de un estudio, y por ende, la forma en que este se utiliza.

3. Método de “desviaciones estándar” • Se requiere de al menos 100 muestras de controles positivos y 300 muestras de controles negativos (Se debe esperar una distribución normal !!!) • Se debe aplicar la prueba y medir el resultado. • Posteriormente se describen los datos para obtener la desviación estándar de cada grupo de muestras control (positivas y negativas). • Se selecciona el número de desviaciones estándar en que los resultados de las muestras incógnita serán clasificadas como positivos o negativos.

4. Método de “desviaciones estándar” Controles negativos Controles positivos 1 2 3 3 2 1 Zona de problema

5. Método de curvas ROC • Método desarrollado en la década de los 50 para discriminar entre las señales de radar y el ruido. • Fue empleado por primera vez en medicina para la valoración radiológica • Hanley J.A., McNeil B.J. (1982) The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology. 143: 29-36 • Hanley J.A., McNeil B.J. (1983) A method of comparing the areas under receiver operating characteristic curves derived from the same cases. Radiology.148: 839-43

6. Método de curvas ROC • Gráfica que representa la sensibilidad (Y) versus el complementario de la especificidad (1-espec) para todos los valores de corte posibles. • Permite obtener una valoración gráfica sobre la utilidad de una prueba diagnóstica, independientemente de la incidencia de la enfermedad en la población.

7. Método de curvas ROC • Las áreas a la derecha del valor de corte x corresponden a la sensibilidad (áreas clara y oscura) y 1-especificidad (área oscura), equivalente a los falsos positivos x

8. Método de curvas ROC • Una prueba diagnóstica perfecta se ubicaria en la esquina superior izquierda • Una prueba que no discrimina haría una curva de 45º, desde el 0 hasta la esquina superior derecha

9. Método de curvas ROC • Se cuantificaron los valores de T4 de 125 pacientes, 32 de los cuales eran conocidos hipotiroideos (mediante gamma)

10. Método de curvas ROC • Se calcula la sensibilidad y especificidad para cada valor, mediante tablas de 2x2. • Nuestro punto de corte definira quién se tomará como “positivo” y “negativo” Sensibilidad: 0.56 Especificidad: 0.99 Sensibilidad: 0.78 Especificidad: 0.81

11. Método de curvas ROC • Conociendo estos valores, se puede elaborar la gráfica

12. Método de curvas ROC • Área bajo la curva • El área bajo la curva se puede emplear para conocer en forma simple la exactitud global se una prueba • Area total hacia la izq= 1 (prueba perfecta) • Area de la diagonal= 0.5 • Entre más cercana a 1, la prueba es mejor • Permite hacer comparaciones entre pruebas

13. Método de curvas ROC • 0.90-1 = excelente • 0.80-0.90 = bueno • 0.70-0.80 = regular • 0.60-0.70 = pobre • 0.50-0.60 = fallida

14. Método de curvas ROC • Ventajas • Representación gráfica simple y de fácil comprensión. • Incluye todos los rangos de valores posibles, facilita toma de decisiones con respecto al valor más adecuado. • Es independiente de la prevalencia • Facilita la comparación visual entre varias pruebas • Aplicable a pruebas con resultados tanto ordinales, como escalonados o continuos

15. Método de curvas ROC • Aspectos operativos • Toma en cuenta los resultados de muestras diagnosticadas con una prueba de oro, la cual mide el resultado de muestras controles positivas y negativas. • Se debe correr las muestras incógnitas tanto en la prueba de oro como en la alternativa. • Luego se debe hacer una tabla comparativa para determinar, por clases (rangos de valores para la prueba alternativa), cuántas muestras fueron clasificadas como positivas o negativas.

16. Método de curvas ROC

17. Método de curvas ROC

18. Propiedades de las pruebas de diagnósticoMedidas de concordancia entre pruebas

19. Prueba de concordancia entre pruebas diagnósticas (valor kappa). • En esta prueba se analiza, mediante una tabla de contingencia, la concordancia entre dos pruebas diagnósticas, o entre el diagnóstico de dos clínicos. • Se utiliza cuando no se conoce la sensibilidad o especificidad de una nueva prueba, o cuando se quiere probar si se puede utilizar una prueba más barata o rápida. En este caso se corren las dos pruebas y los resultados se comparan tomando como buenos los del “golden standard test”.

20. Prueba de concordancia entre pruebas diagnósticas (valor kappa). • Kappa expresa la proporción de concordancia más allá del azar. • La concordancia entre dos pruebas diagnósticas no indica que ambas posean la misma sensibilidad y especificidad ni sirve como medida de las mismas. • Kappa no indica cual es el método que da los mejores resultados en términos del número correcto de individuos sanos o enfermos diagnosticados.

21. Goldenstandard test (ó clínico 1) + - Prueba + a b a+b alternativa - c d c+d (ó clínico 2) a+cb+d N Tabla de contingencia para determinar el valor kappa.

22. a + d Ea + Ed N N Ea + Ed N - Kappa= - 1 Fórmula de cálculo para kappa Donde: Ea es igual a : [(a + b) * (a + c)] / N Ed es igual a : [(c + d) * (b + d)] / N Ea+Ed/N : proporción esperada o de resultados iguales debidos al azar

23. 0.0 - 0.4 malo 0.4 - 0.5 moderado 0.5 - 0.6 aceptable 0.6 - 0.8 bueno 0.8 - 1.0 perfecto Valores de kappa: Interpretación de kappa • Comparando los diagnósticos de dos experimentadores clínicos debería obtenerse un valor de kappa alrededor de 0.6. • La concordancia de los diagnósticos clínicos realizados sobre los mismos sujetos en diferentes ocasiones por un mismo experimentador debería dar un valor de kappa entre 0.6 y 0.8

24. El cálculo usando WinEpiscope

25. Propiedades de las pruebas de diagnósticoUso de múltiples pruebas

26. Pruebas diagnósticas múltiples • Algunas veces se necesario el uso de dos pruebas diagnósticas o más para aumentar la fiabilidad de un diagnóstico realizado. • Se pueden realizar pruebas múltiples de dos formas • En serie • En paralelo

27. Pruebas en paralelo • Se considera que dos pruebas se realizan en paralelo cuando ambas se hacen simultáneamente. • Se consideran negativas aquellas muestras que obtienen resultados negativos para ambas pruebas, y positivas a todas las demás (con cualquiera de las dos pruebas positivas). • El resultado es un aumento de la Sensibilidad.

28. Pruebas en serie • Se realizan aplicando una prueba en primer lugar y a continuación se aplica una segunda prueba a aquellas muestras positivas a la primera. • Se consideran positivas las muestras que dan positivo a ambas pruebas, y negativas todas las demás. • El resultado es un aumento de la Especificidad.

29. Se y Sp usando múltiples pruebas

30. El cálculo usando WinEpiscope

31. Links recomendados • http://www.stat.uiuc.edu/~jeffdoug/medstats/medov5.pdf • http://www.emedicine.com/emerg/TOPIC779.HTM#section~Bayes'TheoremandLikelihoodRatios • http://www.aepap.org/EvidPediatr/numeros/vol3/2007_numero_1/2007_vol3_numero1.24.htm • http://books.google.co.cr/books?id=HhxhlETYsfgC&pg=PT204&lpg=PT204&dq=caracter%C3%ADsticas+de+las+pruebas+diagn%C3%B3sticas&source=web&ots=Jkbh2YIOG7&sig=P6uBr5nj8h47oGVmb1v9EFMHuSM&hl=es&sa=X&oi=book_result&resnum=3&ct=result#PPT6,M1

32. Consideraciones finales, discusión y consultas.