Evaluación de Programas/Iniciativas en Salud Mental/Adicciones.

1. Evaluación de Programas/Iniciativas en Salud Mental/Adicciones. Dr. Jaime C. SapagSpecial Advisor/Project CoordinatorCAMH’s Office of International Health Curso sobre Salud Mental y Adicciones en Atención Primaria Chile– Perú (Enero-Abril, 2011) Semana Presencial, 10-14 de Enero de 2011.

2. Cronograma • Necesidad de Evaluación y Definiciones. • Niveles y Tipos de Evaluación. • La Matriz de Evaluación. • Algunas Consideraciones Técnicas y Metodológicas en Evaluación. • Recolección de Datos. • Gestión y Logística en Proyectos de Evaluación. • Gestión del Conocimiento en Evaluación.

3. 1. Necesidad de Evaluación y Definiciones.

4. Salud Mental/Adicciones: La Necesidad de Evaluar. • Problemas de salud mental/adicciones representan un desafío central para la Salud y para los Servicios de Salud en el mundo, así como en Chile y Perú. • Se asocian a índices de mortalidad/morbilidad y de discapacidad y afectan la calidad de vida. • Problema en individuos, familias y comunidades. • Ustedes trabajan directamente con usuarios que necesitan ayuda en lo relativo a salud mental/adicciones. • Se requiere evaluariniciativas orientadas a prevenir, promocionar la salud, detectar, tratar y rehabilitar personas que enfrentan problemas de salud mental/adicciones.

5. La Evaluación de Servicios y Sistemas de Salud Mental y Adicciones ¿Por qué necesitamos evaluar lo que hacemos? ¿Qué desafíos y temores tenemos? ¿Qué nos puede ayudar a enfrentar/superar esos desafíos?

6. ¿Qué Dicen los Poetas? PAUSADe vez en cuando hay que hacer una pausa contemplarse a sí mismo sin la fruición cotidiana examinar el pasado rubro por rubro etapa por etapa baldosa por baldosa y no llorarse las mentiras sino cantarse las verdades. Mario Benedetti

7. OPS: Estrategia y Plan de Acción Sobre Salud Mental en la Región. (2009) • Área estratégica No. 1: Formulación y ejecución de políticas, planes y leyes nacionales de salud mental • Área estratégica No. 2: Promoción de la salud mental y prevención de los trastornos psíquicos, haciendo hincapié en el desarrollo psicosocial de la niñez • Área estratégica No. 3: Prestación de servicios de salud mental centrados en la atención primaria de salud. Definición de condiciones prioritarias y ejecución de las intervenciones • Área estratégica No. 4: Fortalecimiento de los recursos humanos • Área estratégica No. 5: Fortalecimiento de la capacidad para producir, evaluar y utilizar la información sobre salud mental

8. ¿Qué Entendemos por Evaluación?

9. ¿Qué les parece este bus?

10. ¿Qué les parece este camión?

11. 1 2 3 4 ¿Cuál es el mejor bolso?

12. ¿Qué Entendemos por Evaluación? La evaluación consiste en la recogida sistemática de retroalimentación acerca de un programa o intervención. La retroalimentación se utiliza en la toma de decisiones. Proporcionar información de la cual se deriven criterios útiles para la toma de decisiones en relación con la administración y desarrollo del programa, proyecto o estrategia a evaluar.

13. ¿Por Qué y Para Qué Evaluar? Las razones varían, dependiendo de los grupos dentro del contexto • ¿Quién está interesado/a en la evaluación? • ¿Agencias sostenedoras: (estado/fundación privada)? • ¿Directores o administradores de programas – proyectos de programas? • ¿Profesionales de un programa? • ¿Consultores de programas (académicos/profesionales)? • ¿Científicos/académicos/investigadores? • ¿Público/opinión pública?

14. La retroalimentación puede ser sobre muchas cosas Necesidades comunitarias en relación a los objetivos y prioridades del programa Naturaleza y calidad respecto a la implementación u operación del programa Cómo los/as participantes se sienten con el programa El impacto - los resultados alcanzados El costo del programa Los resultados en relación a los costos del programa

15. Potenciales Barreras para Evaluación Falta de interés entre los co-trabajadores u otras personas clave; no suficiente prioridad para evaluación Preocupación acerca de la exactitud del proceso de evaluación, la gente puede preferir no ser honesta (para evitar que se conozcan los problemas) Falta de claridad respecto a qué tipo de evaluación (expectativas no concordantes) Necesidad de habilidades de evaluación; parece complicado – no se sabe por dónde empezar Miedo a la evaluación (preocupación por malas noticias; preocupación por ser personalmente evaluado) Falta de tiempo y de recursos

16. 2. Niveles y Tipos de Evaluación.

17. ¿Qué se Evalúa?Niveles de Evaluación. • Caso único: se focaliza en un caso individual en la práctica clínica, para generar un feedback continuo que permite correcciones respecto al tratamiento inicialmente diseñado. • Actividad: evaluación de un tratamiento o técnica específicos (p.ej., determinado fármaco, prevención de recaídas, etc.). • Programa: evaluamos el tratamiento ofertado por un servicio o programa específico (p. ej., Plan Primera Respuesta, Plan Ambulatorio, Residencial, programa depresión APS. etc.). • Servicio: constituye la evaluación de todos aquellos servicios prestados por una mismo Servicio de salud. • Sistema: se trata del nivel más complejo y con mayor trascendencia socio-política.

18. ¿Evaluación Interna o Externa? ¿Interna? • Planificada y ejecutada por miembros del equipo de trabajo ¿Externa? • Ejecutada por personas que no han participado en el programa

19. Principales Tipos de Evaluación • Necesidades: previa a la planificación e implementación del programa de tratamiento. ¿Qué necesidades existen en la comunidad, relacionadas con el problema?. • Proceso: ¿cómo está desarrollándose el programa de tratamiento?. ¿Hasta qué punto está realizándose según se planificó?. • Resultados: ¿cómo han cambiado los pacientes y en qué medida son atribuibles estos cambios al tratamiento?. • Satisfacción: ¿cuál es la visión del tratamiento, por parte del paciente?. • Costos: ¿cuál es el costo de cada componente del tratamiento?. ¿Y el total?. • Económica: ¿el tratamiento es más eficiente que otras opciones? Marsden et al., 2000

20. Justificación – Eficacia – Eficiencia – Efectividad – Destinatarios • Evaluación ex ante o de diseño • Evaluación de término medio o de proceso • Evolución ex post evaluación económica evaluación de resultados satisfacción usuaria evaluación de proceso evaluación de necesidades Estableciendo una Cultura Saludable de Evaluación Interna

21. Relación entre Planificación y Evaluación Necesidades identificadas/ priorizadas Metas y objetivos establecidos Re-diseño/ mejoría Diseño de programa/sistema Evaluación Implementación

22. El Seguimiento/Monitoreo vs. la Evaluación Ambos sirven para medir resultados/procesos, pero… El seguimiento/monitoreo: Enfoque en la ejecución del proyecto y la probabilidad de éxito en lograr los objetivos Típicamente manejado internamente La evaluación: Proporciona información más detallada sobre los temas visto antes (justificación/pertinencia, eficiencia, eficacia, destinatarios, impacto) Manejada interna o externamente

23. Calidad en la Evaluación Utilidad– debe servir los requerimientos de los destinatarios Viabilidad / Factibilidad – en cuanto a tiempo y recursos disponibles Ética – que la evaluación siga los marcos legales/éticos, que tome en cuenta el bienestar de los involucrados Fidelidad – selección de indicadores, métodos de análisis apropiados, interpretación de resultados, recomendaciones

24. Teoría y marcos de evaluación: una perspectiva histórica. • Diferentes, pero no mutuamente excluyentes etapas (Shadush, 1991): 1. “Métodos de investigación tradicionales" (1960-1980): promueve formas muy precisas para definir, implementar y evaluar las intervenciones, y está representado por evaluadores como Scriven (1991) y Campbell (1969). 2. “Modelos alternativos de evaluación” (1970-1985), que básicamente aboga por la integración de métodos cualitativos y el uso de resultados de la evaluación de la acción y el cambio social. 3. Enfoque de integración (1985 hasta ahora) de las teorías anteriores y la adición de nuevas perspectivas, como los del pensamiento sistémico ( (Jackson, 2003; Williams & Imán, 2007).

25. Algunos Modelos Teórico-Conceptuales de Evaluación La evaluación clásica La evaluación basada en asociados (o partes interesadas La evaluación participativa La evaluación naturalística

26. En la práctica… Típicamente se decide en un modelo para guiar la evaluación, adaptando conceptos y metodologías de los otros modelos Importancia de incorporar marco teórico pertinente

27. Aday et al. Marco para Aplicar Investigacion de Servicios de Salud en la Evaluación de Políticas de Salud.

28. Broemeling et al. Modelo para Medir “Performance” en Atención Primaria.

29. 3. La Matriz de Evaluación.

30. Diseño de una Evaluación Preguntas iniciales: ¿ Ya está en marcha el programa, o recién se piensa implementarlo? ¿ Cuál forma de evaluación mejor se adecua a los intereses de las partes interesadas? - ¿de Proceso? ¿de Impactos? ¿ Cuáles recursos están disponibles?

31. Diseño de una Evaluación ¿ Cuál es el área geográfica y jurisdicción o jurisdicciones del programa a ser evaluado? ¿ Ya existe una base de datos sobre el alcance o resultados del programa? ¿ Ya existe una evaluación de un programa similar en otra jurisdicción? ¿ Es relativamente fácil, o difícil, identificar el grupo meta de la intervención?

32. La Matriz de Evaluación

33. Matriz de Evaluación

34. El Marco Lógico de Programa (MLP) NO es la Matriz de Evaluación. Permite visualizar/comprender y definir más detalladamente el “objeto” de evaluación.

35. Desagregando la “lógica” de iniciativas de salud mental y adicciones Insumos Actividades Productos Efectos Directos Impactos Caso Hipotético 65% de usuarios pudieron identificar uno o mas cambios positivos en su vida debido al tratamiento 5 personas, T/C; 4 medicos, T/P; 7 horas atención medica/día Detección de personas con depresión; diagnóstico; tratamiento; seguimiento 800 personas tratadas y evaluadas por año. Índice de remisión de síntomas bajó en un prom- edio anual de 3%.

36. 4. Algunas Consideraciones Técnicas y Metodológicas en Evaluación.

37. Medición, Diseño y Recolección de DatosEstán Estrechamente Conectados ¿Qué se necesita medir y qué indicadores utilizar? ¿Cómo organizaremos y recolectaremos los datos? • Problemas de validez y confiabilidad • Viene el chequeo de realidad: ¿Tenemos los recursos?

38. Respondiendo las Preguntas de Evaluación con Variables, Indicadores y Datos Variables son las cosas/conceptos que Uds. están interesados en medir (ej. uso de droga) Indicadores son las formas en las cuales Uds. medirán las cosas o conceptos (ej. cantidad consumida por día, frecuencia por semana, problemas relacionados con el uso) Datos son las observaciones reales que obtienen (mediciones de los/as participantes del programa u otras fuentes)

39. Confiabilidad y Validez Estas son propiedades importantes de sus mediciones. Resultan críticas para la confianza que Uds. y otros tendrán en sus resultados. Confiabilidad: muchos tipos de confiabilidad, pero habitualmente se refiere a qué tan consistentemente Uds. medirán la variable con el indicador o la herramienta de medición en particular ( ej. qué tan consistente en el tiempo, considerando varios observadores… ) Validez: la habilidad/capacidad del indicador o herramienta de medición para realmente medir lo que se está pensando que se está midiendo (ej. ¿le has apuntado o has perdido el blanco?)

40. Aproximaciones Cuantitativa versus? Cualitativa Se puede usar una como complemento de la otra Amplitud versus profundidad cuantitativa cualitativa

41. Cuantitativa: Buscando la comprensión amplia a través de mucha gente Usualmente, toma menos tiempo para poder ser reportada La generalización es importante A menudo, se ajusta mejor con las expectativas de la gente que usará los resultados (especialmente evaluación de resultados) Buenos instrumentos de medición disponibles

42. Ejemplos de Aproximaciones Cuantitativas Cuantitativos Encuestas cuantitativas (ej. ítems estructurados, y categorías de respuestas) Bases de datos del programa / sistema de información Observación y escalas de rating Evaluación directa

43. Cualitativa Busca la profundidad de la comprensión Puede identificar los aspectos clave para focalizar posteriormente las mediciones cuantitativas No tiene interés en la generalización Si tienen el tiempo para el análisis de datos (ej. dos analistas) No tiene tamaño muestral o mediciones razonables cuantitativas Si se trata de una evaluación de resultados, tener una audiencia bien informada para el reporte La expertise debería estar disponible, especialmente al usar una aproximación cualitativa para la evaluación de resultados

44. Examplos de Aproximaciones Cualitativas Cualitativas Grupos focales Observación y notas de campo Entrevistas semi-estructuradas Revisión de documentación del programa

45. ¿Cuándo cada aproximación funcionará “mejor” para Ustedes? No hay una regla dura y rápida, pues es posible usar cualquier aproximación en casi todas las situaciones Es preferible usar métodos mixtos más que elegir uno u otro Guías generales…..

46. Implicancias para Proyectos de Evaluación Intente identificar indicadores que podrían ayudarles a responder sus preguntas de evaluación Use indicadores tanto cuantitativos como cualitativos, cuando sea posible Use la matriz de estrategia de evaluación para registrar sus ideas

47. 5. Recolección de Datos.

48. La Encuesta/Cuestionario Puede ser muy útil tanto para el componente cuantitativo como el cualitativo de una evaluación

49. Elementos Clave en el Diseño de un Cuestionario Coherencia con los objetivos del estudio y el diseño de evaluación Las preguntas propiamente tales El formato de respuestas y las categorías Cualquier instrucción especial que aparezca en el cuestionario La longitud de la encuesta El formato de la encuesta, en su conjunto

50. Aplicación de la Encuesta En Persona vs. Auto-administrada Medios: Por teléfono Por correo Por Internet Avisos Previos y Seguimiento de Respuesta Importancia de preparación de entrevistadores Seguimiento y control de calidad Importante: Estrategias para alcanzar la máxima tasa de respuesta posible.