1 / 39

Conferencia Ernest Lluch Cesar G Victora Universidade Federal de Pelotas XII CONGRESO SESPAS Barcelona, 20/06/2007

LOS SIETE PECADOS CAPITALES DE LA EVALUACION DE IMPACTO. Conferencia Ernest Lluch Cesar G Victora Universidade Federal de Pelotas XII CONGRESO SESPAS Barcelona, 20/06/2007. Hieronymus Bosch (1450–1516) . S. Bernardo de Claraval, 1091-1153. “El infierno está lleno de buenas intenciones”.

major
Download Presentation

Conferencia Ernest Lluch Cesar G Victora Universidade Federal de Pelotas XII CONGRESO SESPAS Barcelona, 20/06/2007

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. LOS SIETE PECADOS CAPITALES DE LA EVALUACION DE IMPACTO Conferencia Ernest Lluch Cesar G Victora Universidade Federal de Pelotas XII CONGRESO SESPAS Barcelona, 20/06/2007

  2. Hieronymus Bosch (1450–1516)

  3. S. Bernardo de Claraval, 1091-1153 “El infierno está lleno de buenas intenciones”

  4. Los 7 pecados capitales

  5. Los 7 pecados capitales de la evaluación de impacto No evaluar Iniciar tardíamente la evaluación Evaluar impacto sin evaluar proceso Usar un método inapropiado No involucrar los gestores Ignorar el contexto No evaluar desigualdades

  6. Los 7 pecados capitales de la evaluación de impacto No evaluar Iniciar tardíamente la evaluación Evaluar impacto sin evaluar proceso Usar un método inapropiado No involucrar los gestores Ignorar el contexto No evaluar desigualdades

  7. Los 7 pecados capitales de la evaluación de impacto No evaluar Iniciar tardíamente la evaluación Evaluar impacto sin evaluar proceso Usar un método inapropiado No involucrar los gestores Ignorar el contexto No evaluar desigualdades

  8. AIEPI (IMCI)

  9. Bangladesh: efecto del AIEPI en la utilización de los servicios de salud AIEPI Fuente: Arifeen et al, 2004

  10. ACSD implementation & surveys: Mali 2001 2002 2003 2004 2005 2006 2007 Actividades Estudios EPI + ITN IPTp AIEPI DHS Servicios Comunidad ACSD-CDC DHS Evaluación externa Clave: Las barras representan distritos en el siguiente orden: Kolokani, Bla, Djenné, Banamba, Niono, Koro

  11. Los 7 pecados capitales de la evaluación de impacto No evaluar Iniciar tardíamente la evaluación Evaluar impacto sin evaluar proceso Usar un método inapropiado No involucrar los gestores Ignorar el contexto No evaluar desigualdades

  12. Modelo de impacto del AIEPI Introducción y Planeamiento Mejoras en los sistemas de salud: medicamentos, vacunas, supervisión, etc Entrenamiento de los trabajadores de salud y visitas de seguimiento Intervenciones en las familias y en las comunidades Mejoras en la cualidad de atención en los servicios de salud Mejoras en el manejo domiciliario y en el cumplimiento de las recomendaciones Mejoras en la búsqueda de cuidados a la salud y en el aumento de la utilización Redución de la mortalidad Mejoría del estado nutricional

  13. Tipos de indicadores:enfoque paso-a-paso • La intervención es adecuada a la realidad epidemiológica y asistencial? • Hay oferta adecuada de servicios: • en las unidades de salud? • en la comunidad? • La utilización es adecuada? • Fueron alcanzadas las metas de cobertura? • Hubo impacto sobre • morbi-mortalidad? • otros resultados biológicos o del comportamiento?

  14. Los 7 pecados capitales de la evaluación de impacto No evaluar Iniciar tardíamente la evaluación Evaluar impacto sin evaluar proceso Usar un método inapropiado No involucrar los gestores Ignorar el contexto No evaluar desigualdades

  15. Estudios de eficacia • La intervención funciona cuando es implantada en condiciones ideales? • Características de los estudios: • Implementación integral • Cualidad excelente • Alta cobertura poblacional • Incluyendo los más pobres • La intervención es altamente necesaria • Factores contextuales son raramente descriptos

  16. Estudios de efectividad • La intervención funciona en mi comunidad? • Características de los estudios: • Implementación imperfecta • Cualidad media • Cobertura parcial • Probable exclusión de los más pobres • Necesidad de la intervención puede ser menor que en los lugares donde se realizaron estudios de eficacia • Factores contextuales esenciales pueden estar ausentes

  17. Tipos de inferencia en evaluaciones de impacto • Adecuación (estudios descriptivos) • Los cambios esperados están aconteciendo • Plausibilidad (estudios observacionales) • Los cambios observados parecen ser debidos al programa • Probabilidad (ensayos randomizados) • Estudios randomizados muestran que el programa tiene un impacto estadísticamente significativo

  18. Evaluaciones de adecuación • Los objetivos iniciales fueron alcanzados? • Ex.: reducir en 20% la mortalidad de menores de 5 años • Las tendencias en los indicadores de impacto fueron • en la dirección esperada? • de la magnitud adecuada?

  19. Programa de reducción de la mortalidad infantil, Pelotas, RS Datos no publicados

  20. Programa de reducción de la mortalidad infantil, Pelotas, RS • Metas: • Reducir la mortalidad infantil de 20 para 15 por mil • 15,5 POR MIL • Menos de 65 muertes por año en Pelotas • 66 muertes

  21. Cáncer de cervix en Rio Grande do Sul, Brasil, 1980-2000

  22. Evaluaciones de plausibilidad • Es probable que el impacto observado sea debido a la intervención? • Requiere descartar la influencia de factores externos: • Necesidad de grupo de comparación • Ajuste para factores de confusión • También denominados de “casi- experimentos”

  23. Desempeño del profesional de salud: 4 provincias, Brasil Fuente: Amaral et al, 2005

  24. Impacto del AIEPI sobre la mortalidad infantil, 3 provincias, Brasil

  25. Evaluaciones de probabilidadEnsayos controlados randomizados • Priorizan la validez interna • Asignación al azar reduce sesgo de selección y confusión • Cegamiento reduce sesgo de información • Esenciales para determinar la eficacia de nuevas intervenciones • Adecuados para cadenas causales cortas • Efecto biológico de drogas, vacunas, suplementos nutricionales etc. • Generalmente miden eficacia y no efectividad

  26. Ejemplo de una intervención en salud pública: ECR de aconsejamiento nutricional Programa nacional implementado Trabajadores de salud entrenados Niños 12-17.9 meses al ingresar en el estudio Ganancia de peso: Intervención = 1.48 kg Control = 1.14 kg (p<0.05) Conocimiento de T.S. aumenta Desempeño de T.S. mejora Conocimiento de las madres aumenta Dieta del niño mejora Ingesta energética aumenta Estado nutricional mejora Source: Santos, Victora et al. J Nutr 2001

  27. Ejemplo de una intervención en salud pública: ECR de aconsejamiento nutricional Programa nacional implementado Trabajadores de salud entrenados Conocimiento de T.S. aumenta Desempeño de T.S. mejora 0.807=0.21 Conocimiento de las madres aumenta Dieta del niño mejora Ingesta energética aumenta Estado nutricional mejora Source: Santos, Victora et al. J Nutr 2001

  28. Ensayos randomizados en la evalución de la efectividad de los servicios La respuesta cierta para la pregunta errada?

  29. Los 7 pecados capitales de la evaluación de impacto No evaluar Iniciar tardíamente la evaluación Evaluar impacto sin evaluar proceso Usar un método inapropiado No involucrar los gestores Ignorar el contexto No evaluar desigualdades

  30. Planeamiento de la Evaluación de AIEPIBrasilia, Oct 2001

  31. Devolución para los gestores Fuente: Amaral et al, 2005

  32. Los 7 pecados capitales de la evaluación de impacto No evaluar Iniciar tardíamente la evaluación Evaluar impacto sin evaluar proceso Usar un método inapropriado No involucrar los gestores Ignorar el contexto No evaluar desigualdades

  33. AIEPI lleva a mejoras en el rendimiento de los trabajadores de salud Fuente: Paryio et al, 2005

  34. Los 7 pecados capitales de la evaluación de impacto No evaluar Iniciar tardíamente la evaluación Evaluar impacto sin evaluar proceso Usar u método inapropiado No involucrar los gestores Ignorar el contexto No evaluar desigualdades

  35. Cobertura de AIEPI según tasa de pobreza en el municipio, 2000 Fuente: Victora, Amaral et al, 2006

  36. Screening para cáncer de cuello uterino, según ingreso familiar, Pelotas, 2002 Fuente: Quadros & Victora 2004

  37. Los 7 pecados capitales de la evaluación de impacto No evaluar Iniciar tardíamente la evaluación Evaluar impacto sin evaluar proceso Usar un método inapropiado No involucrar los gestores Ignorar el contexto No evaluar desigualdades

More Related