Evaluación de la validez interna y externa de un ensayo clínico

1. Pere Ventayol Servei de FarmàciaHospital Universitari Son Dureta Evaluación de la validez interna y externa de un ensayo clínico

2. VIA: Válidos, Importantes, Aplicables ¿son válidos? ¿son importantes? ¿son aplicables a mis pacientes? Para aplicar los resultados me tienen que convencer de: VALIDEZ EXTERNA VALIDEZ INTERNA

3. Evaluar la validez interna • validez interna:grado en que los resultados obtenidos proporcionan o no una respuesta correcta a la pregunta planteada • la definición clara y precisa del objetivo del estudio -> donde está la pregunta? • la elección del diseño adecuado • rigor metodológico www.bandolier.com May 2003

4. 1.¿dónde está la pregunta? • Dejar claro qué tratamiento se evalúa • Qué intervención es la de referencia • Qué variable se utiliza y cuando se mide • Definición del tipo de sujetos a estudiar

5. Objetivo Variable (cualitativa) Introdución Variable (cuantitativa) Métodos Momento Métodos Resultados Discusión Población estudiada:

6. Población estudiada:

7. 2.¿Es el diseño adecuado? ? ? ?

8. 2.¿Es el diseño adecuado? Aleatorización • Factor aparetemente simple • No predecible • Aplicarse después de decidir incluir al paciente • El azar tiende a producir grupos comparables • Produce distribución equilibrada variables pronósticas • Conocidas • Desconocidas: factores de confusión • Cuanto mayor sea N mayor equilibrio • Previene sesgos y permite cálculo de probabilidades (P) • Distintos tipos de aleatorización: Bloques, estratificada, adaptativas

9. 2.¿Es el diseño adecuado? Ciego • No confundir con ocultación de la secuencia de aleatorización • El ciego protege la aleatorización una vez se ha producido la asignación • Simple ciego, doble, triple, cuadruple…. • No siempre puede cegarse: Ej: Dietas, procedimientos quirúrgicos, ARV,… • Cuanto más subjetiva la variable más necesario es el cegado (analgesia, • calidad de vida, etc…)

10. 2.¿Es el diseño adecuado? Enmascaramiento • Procedimiento que garantiza el proceso del cegado • Pretende evitar las espectativas/prejuicios de pacientes, investigadores,… • Ej: hipolipemiantes • Presentar un formato del fármaco lo más idéntico posible • Se puede romper por toxicidad, efectos secundarios

11. 2.¿Es el diseño adecuado? Comparabilidad • Seguimiento exhaustivo de los pacientes • Diagramas de flujo de pacientes • Drop-outs o pérdidas • Withdrawals o retiradas • La aceptabilidad del estudio depende no tanto del número de pérdidas • sino de los motivos que las hayan condicionado • % de perdidas similares pueden invalidar los resultados? • Hay algún % de pérdidas considerado máximo?

12. Objetivo: CV <400 a las 48 semanas 2.¿Es el diseño adecuado? Estrategia de análisis Randomizados N=100 Datos disponibles a 48 semanas N=75 Datos no disponibles a 48 semanas N=25 CV<400 N=65 CV>400 N=10 CV<400 N=11 CV>400 N=14 Análisis PP 87% (65/75) ITT (ultima observación) 76% (65+11/100) ITT (perdidas=F) 65% (65/100) Dilución de la respuesta: ¿Cuál es la verdadera?

13. 3.¿Se ha realizado con rigor? • El grado con el que el diseño, desarrollo, análisis y presentación de los datos ha minimizado o evitado sesgos

14. Perfectafeno el mejor analgésico www.bandolier.com December 2001 ¿Convencimiento de que no está sesgado? • "Inclinación parcial de la mente" • la existencia de sesgos favorece que los resultados sobreestimen el efecto de los tratamientos 30% 20% 25% 40% 30%

15. Sesgos

16. ¿Cómo medir la Validez Interna? • Existen al menos 9 check-list y 25 escalas • Jadad • CONSORT

17. Escala de Jadad ESCALA DE VALIDACIÓN DE ENSAYOS CLÍNICOS ( A. JADAD) ¿Se describe el estudio como aleatorizado? (*) ¿Se describe el estudio como doble ciego? (*) ¿Se describen los abandonos y exclusiones del estudio? (*) (*) SÍ= 1 / NO= 0 ¿Es adecuado el método de aleatorización? (**) ¿Es adecuado el método de doble ciego? (**) (**) SÍ= 1 / NO= -1 - Rango de puntuación: 0-5 Estudio de baja calidad: Puntuación < 3

18. Escala de Jadad ESCALA DE VALIDACIÓN DE ENSAYOS CLÍNICOS ( A. JADAD) ¿Se describe el estudio como aleatorizado? (*) ¿Se describe el estudio como doble ciego? (*) ¿Se describen los abandonos y exclusiones del estudio? (*) (*) SÍ= 1 / NO= 0 ¿Es adecuado el método de aleatorización? (**) ¿Es adecuado el método de doble ciego? (**) (**) SÍ= 1 / NO= -1 - Rango de puntuación: 0-5 Estudio de baja calidad: Puntuación < 3 *actualmente el manual metodologico Cochrane 2009 desaconseja explicitamente la escala JADAD y recomienda una serie de puntos adicionales

19. Consort www.consort-statement.org Ensayos superioridad Ensayosequivalencia/No inferioridad • Formada por 22 items • 1 Titulo y resumen • 1 Introducción • 10 sobre métodos • 7 sobre resultados • 3 Sobre discusión Lectura crítica e interpretación

20. HUSD: Aplicación de la Lista-Guía CONSORT en ensayos publicados Los criterios que menos se cumplen son: métodos usados para garantizar calidad de la medida de los resultados (12%) descripción detallada de cómo se aplica la aleatorización (12%) evaluación del proceso y éxito de cegar (20%) criterios de suspensión del ensayo (33%) presentación de resultados con intervalos de confianza (50%).

21. Conclusiones en validez interna • La publicación de un estudio no es garantía de su validez metodológica • En “Métodos” se encuentran la mayoría de respuestas • La validez interna es condición necesaria pero no suficiente

22. VIA: Válidos, Importantes, Aplicables ¿son válidos? ¿son importantes? ¿son aplicables a mis pacientes? Para aplicar los resultados me tienen que convencer de: VALIDEZ EXTERNA VALIDEZ INTERNA

23. Eficacia Probabilidad de que un promedio de individuos, en una población determinada, se beneficie de la aplicación de una tecnología sanitaria a la resolución de un problema de salud concreto, bajo condiciones IDEALES de actuación establecidas previamente Relación Válidez interna - Válidez externa Efectividad Probabilidad de que un individuo, en una población indeterminada, se beneficie de la aplicación de una tecnología sanitaria a la resolución de un problema de salud determinado, bajo condiciones REALES de aplicación por personal de salud Office of Technology Assessment. Assessing the Efficacy and Safety of Medical Technologies. Washington: Government Printing Office, 1978 (Modificada)

24. 1.¿son importantes? Cualidad:¿Qué se mide? Cantidad: ¿Cúal es la magnitud?

25. Cualidad:¿Qué se mide?

26. Cualidad:¿Qué se mide? • En ocasiones se “magnifica” el efecto de variables secundarias • Un buen resultado en una variable subrogada no implica un buen resultado clínico

27. Cualidad:¿Qué se mide? • Consenso SORT (Strenght Of Recommendation Taxonomy) establece un algoritmo de gradación de la evidencia con 3 niveles de evidencia (1, 2 y 3) • Solo alcanza el nivel 1 o 2 • estudios que se centran en • variables finales clínicas • Un metanálisis con variable • intermedias no tiene calificación • superior a 3

28. Cualidad: Las variables combinadas ¿Qué se mide? • El uso de variables combinadas es cada vez más frecuente • Se suele emplear cuando el efecto esperado sobre cada uno de los desenlaces de interés es pequeño • Puede que el efecto se haya producido sobre uno de los componentes y se atribuya erróneamente a todos • Ej: AAS en Prevención del reinfarto y ACV de cualquier etiología • Hay que analizar la variable combinada y tener en cuenta los efectos por separado

29. Cualidad: Las variables combinadas ¿Qué se mide? • La diferencia en el efecto combinado se debe ppalmente a las flebografías subclínicas pero no ha mostrado reducción en trombosis venosa sintomática ni en embolia pulmonar.

30. Cualidad: Análisis de subgrupos ¿Qué se mide? • La realización de múltiples comparaciones aumenta la probabilidad de encontrar un resultado estadísticamente significativo • Si el subgrupo es de pequeño tamaño el análisis puede ser incapaz de detectar diferencias relevantes • Si el estudio presenta análisis de subgrupos: • Magnitud del efecto clínicamente relevante • Efecto estadísticamente muy significativo • Hipótesis planteada a priori • Análisis realizado dentro de una estrategia de comparaciones múltiples • Resultados consistentes con otros estudios • Evidencia indirecta que avale los resultados (plausibilidad biológica)

31. Cualidad: Análisis de subgrupos ¿Qué se mide? • Efecto de factor de confusión en EECC para enfermedad con elevada mortalidad (n=78) H T Diferencia 27/40 18/38 Mortalidad % 67,5 47,4 20,1 H T Pacientes alto riesgo 32/40 14/38 % 80% 36,8%

32. Cualidad: Análisis de subgrupos ¿Qué se mide? • Efecto de Factor de confusión en EECC para enfermedad con elevada mortalidad (n=78) H T Diferencia 2/8 4/18 Bajo riesgo % 25% 22,2% 2,8% 25/32 18/38 Alto riesgo % 78,1% 70% 8,1% • La distinta distribución del factor pronóstico ha producido un fenómeno de confusión y la diferencia inicial (20%) estaba distorsionada)

33. Cualidad: Análisis de subgrupos y multivariante • Incorporar la estadística al análisis de subgrupos = análisis de subgrupos; evaluar el efecto del tto sobre la variable respuesta dentro de cada estrato H T Diferencia 2/8 4/18 Bajo riesgo % 25% 22,2% 2,8% p>0.05 25/32 18/38 Alto riesgo % 78,1% 70% 8,1% p<0.05 • Las técnicas multivariante implican un modelo matemático. • Variable dependiente (respuesta) • Variable independiente ppal (tto) • Variables independientes a controlar (estimación de coeficiente de regresión)

34. Tratamiento estándar superior Tratamiento nuevo no inferior -% Cantidad:¿Cuál es su magnitud? ¿Con quién nos comparamos? ¿Cuánta debe ser la diferencia? Tratamiento nuevo superior 0%

35. Con quien nos comparamos? Elección del comparador no coincide con el tratamiento estándar. Estudio Ramsey WB. NEJM 1999. Eficacia Tobramicina inhalada vs placebo (no colistina) Estudio Zeuzem S., NEJM 2000; Heathhcote E., 2000; Reddy KR., 2001.Peg-interferon alfa 2-avsInterferon alfa 2-a, ambos en monoterapia Herbrecht R, NEJM 2002. Voriconazol en aspergilosis invasiva vs anfotericina deoxicolato Dosificación del fármaco en estudio o del comparado no coincidente con la ficha técnica del nuevo fármaco o con las dosis admitidas del comparador (dosis aas Caprie es 325mg, que no es lo habitual, dosis dobutamina en Lido vs levosimendan) Duración de tratamiento no adecuada. Tto antibiótico exacerbaciones EPOC - incluyen pacientes desde 18 años - % no fumadores

37. 2. ¿son aplicables a mis pacientes?

38. La dilución de la respuesta... 100% Población Hipertensa 90% Cobertura Programa Registro 76% Eficacia Fármaco 95% Precisión Diagnóstica 66% Prescripción correcta 65% Cumplimiento paciente EFECTIVIDAD 28% Mejoría salud Tugwell P, Bennet KJ, Sackett DL, Haynes B. The measurement operative loop: a framework for the critical appraisal of need, benefits and costs of health interventions. J Chron Dis 1985; 38: 339-351.

39. Población total (mujeres) Población diana (mujeres 13-48 años) Población accesible (13-48 que vienen a consulta) Muestra (incluimos estudio) La representatividad de la muestra es el condicionante de la validez externa. M.Bobenrieth

40. Los 5 demasiados: Selectos restringidos breves reducidos controlados Válidez externa en efectos secundarios… • Tratamientos en nuestro medio • Efectos 2ºs • medios, capacidades, accesibilidad y seguimiento

41. Preguntas para establecer la validez externa: • ¿Considera adecuado el comparador? • ¿Son importantes clínicamente los resultados? • ¿Considera adecuada la variable medida utilizada? • ¿Considera adecuados los criterios de inclusión/exclusión de los pacientes • ¿Cree que los resultados pueden ser aplicados directamente a la práctica clínica? • Otros sesgos o limitaciones encontradas en el estudio

42. Conclusiones en Validez Externa Magnitud Cuidado con: variables combinadas Análisis por estratos o subgrupos Tipo de medida u objetivo Aplicabilidad Cuidado con: Tipo de población estudiada Comparador adecuado la dilución de la respuesta

43. Las ilusiones cognitivas se subdividen en:- ambigüedades- deformaciones- paradojas- ficciones

44. Ejemplo: Fingolimod en EM

45. Ejemplo:Fingolimod en EM

46. Ejemplo:Fingolimod en EM