TALLER SOBRE EVALUACIÓN

1. TALLER SOBRE EVALUACIÓN PROGRAMA DE REHABILITACIÓN Y EXTERNACIÓN ASISTIDA (PREA) Parte II Julio 14 de 2009

2. AGENDA DE TRABAJO 9:00 – 10:00 Revisión trabajo sobre objetivos del programa. 10:00 – 11:00 Generalidades sobre la evaluación en salud mental. Presentación de algunas herramientas. 11:00 – 12:00 Algunas herramientas existentes a la luz del PREA: revisión. Ideas sobre la evaluación en la formulación del programa. 12:00 – 12:30 Cierre, cómo seguir…

3. Recordando el Trabajo sobre los Objetivos • Conformar grupos de acuerdo a los dispositivos de trabajo en los que se organiza el programa. • Revisar los objetivos generales del programa, discutiendo si es necesario hacer modificaciones en los mismos, cuáles serían tales cambios y por qué. • Explicitar los que considera son los objetivos actuales del programa, y cómo el dispositivo en el cual trabaja aporta al logro de tales objetivos. • Formular cuáles serían los objetivos del dispositivo en el cual trabaja.

4. HISTORIA EVALUACIÓN EN SALUD MENTAL • Siglo XIX. Interés por evaluación de servicios de salud: Recolección de datos estadísticos de movimiento hospitalario. Crecimiento demográfico y preocupación de administraciones públicas al respecto. Movimientos liberales retoman inquietud de la población sobre condiciones atención sanitaria. • Informe Flexner (USA, 1910):Crítica organización enseñanza en facultades de medicina. Necesidad de estándares para mejorar calidad de enseñanza. • Comisión Conjunta para la Acreditación de los Hospitales (1951, USA). Organizaciones profesionales privadas en respuesta al aumento de demandas de responsabilidad. Propone auditoría externa a los hospitales cada tres años, para evaluar calidad y corregir problemas detectados.

5. 60s y 70s. Consolidación de la evaluación de programas y servicios de salud. Cambio de foco desde evaluación de hospitales hacia política global de los servicios de salud. Aumento de la cantidad de tipos de cuidado y variaciones de costos observados para el mismo tipo de prestaciones en diferentes lugares, necesidad de comparaciones. • 80s. Se acentúa la necesidad de la racionalización del uso de recursos y la contención de gastos de los sistemas de salud. Surgen otros actores interesados en la evaluación: grupos de interés directo de los servicios, entre ellos los usuarios.

6. GENERACIONES EN LA EVALUACIÓNGuba y Lincoln (1989) • Primera generación. “Orientada a la medición”. • Segunda generación: “Orientada a los objetivos”. Aplicación de métodos científicos a una serie de objetivos. Considera que la medición no se corresponde con la evaluación, sino que es una de las muchas técnicas que se pueden utilizar. • Tercera generación. “Orientada al juicio”. Objetivos pueden ser en sí mismos problemáticos, por lo cual éstos y el desempeño deben evaluarse. Si los objetivos planteados no son claros ni apropiados para el marco de evaluación, ésta puede resultar inefectiva. Se incluye la evaluación del proceso.

7. Cuarta generación . “Orientada a la negociación”. Se fundamenta en el paradigma constructivista: • Inclusión de las perspectivas de los diversos actores implicados en la institución o programa evaluado. • Aproximación desde el evaluador, subjetivista y transaccional para examinar el fenómeno en cuestión • Inclusión de metodologías hermenéuticas y dialécticas en el proceso evaluativo.

8. Evaluación de la Atención en Salud Mental • Surge a la par del proceso de reforma de los servicios de SM. • 60s Primeros estudios: Época de expansión de las modalidades alternativas de atención al hospital psiquiátrico tradicional. • Razones económicas más pregunta por la calidad. • Mediados de los 80s: Desarrollo herramientas de evaluación de atención en salud mental a nivel internacional. Escasa difusión y aplicación, en particular en América Latina. • Cuando han sido utilizadas, la metodología ha respondido a criterios puramente técnicos (dejando de lado dimensión subjetiva).

9. Dificultades en la evaluación de programas para pacientes psiquiátricos • Atención psiquiátrica está en proceso de cambio de estructura: hacia servicios cada vez más heterogéneos y diversificados. Tal diversidad conlleva pluralidad de equipos y profesionales. • Los problemas que presentan no se circunscriben a un solo ámbito y nivel del sistema sanitario. • El “enfermo mental” requiere de un cuidado prolongado: La continuidad como elemento fundamental a considerar. • Problemas del diagnóstico en psiquiatría: dificultan la evaluación de resultados.

11. Dificultades en la evaluación de programas para pacientes psiquiátricos • Gran incidencia de factores “externos” en el curso de una enfermedad mental. • Objetivos de los programas escasamente explicitados, y si lo son, resultan difícilmente operacionalizables. • La “carga doctrinal” de la reforma de la atención psiquiátrica ha impedido que se adelante un análisis riguroso de sus defectos. • Situación actual de algunos programas: población de personas que fueron hospitalizadas (pacientes psiquiátricas) más población de personas con trastorno mental no hospitalizadas, y posiblemente no tratadas.

12. ALGUNAS HERRAMIENTAS DE EVALUACIÓN Elaboradas por la Organización Mundial de la Salud. • Clasificación Internacional de los Cuidados en Salud Mental • Evaluación de la Calidad de la atención en Salud Mental • Estándares técnicos. Guías para la Promoción de los Derechos Humanos de las Personas con Enfermedades Mentales

13. CLASIFICACIÓN INTERNACIONAL DE LOS CUIDADOS EN SALUD MENTAL (1988, 1993, 1997) • 1987 Inicio proyecto para desarrollar herramienta para clasificar servicios que proveen cuidados en salud mental. Oficina Europea OMS, Centro colaborador del Dpto. de Psiquiatría Social, Universidad de Groninger, Holanda. • Necesidad de mayor desarrollo de sistemas de atención en salud, en el marco de “Salud para todos en el año 2000”. • Antecedente: Estudios OMS (1976) sobre clasificación de servicios de salud mental en 21 centros participantes europeos. • Se evidenció la necesidad de una herramienta que permitiese comparar cuidado brindado en instituciones y regiones diferentes. Parámetros de cuidado, estándares de atención.

14. 1988, reunión de expertos. Borrador cubría solamente métodos ortodoxos en psiquiatría. Se recomienda desarrollar cuatro apartados: actividades curativas, preventivas, de rehabilitación, y de investigación y formación. • 1990-1992. Debate conveniencia de separar las clasificaciones por tipos de actividades. Se consideró necesario enfatizar que las actividades curativas y de rehabilitación hacen parte de un mismo enfoque: integrarlas en una sola clasificación. • Importancia de relacionar esta clasificación con otras: Clasificación Internacional de las Enfermedades (CIE) y Clasificación Internacional de Daños, Discapacidades y Minusvalías (consecuencia de enfermedades)

15. Diez modalidades de cuidado en salud mental, incluyendo en la evaluación el nivel de preparación y/o formación requerido en las personas encargadas de proveerlo 1. Establecimiento de contacto y su mantenimiento 2. El problema y su valoración funcional 3. Coordinación de los cuidados 4. Cuidados generales de salud 5. Hacerse cargo de las actividades de la vida diaria 6. Intervenciones psicofarmacológicas y otras intervenciones somáticas 7. Intervenciones psicológicas 8. (Re)educación de las capacidades básicas, interpersonales y sociales 9. Actividades diarias 10. Intervenciones dirigidas a la familia, parientes y otros. • Nivel de calidad alto (valor 3), Nivel de Calidad Medio (valor 2), Nivel de Calidad Bajo (valor 1), No aplicable a este módulo (0).

16. Evaluación de la Calidad de la Atención en Salud Mental (1994, 1997) • Calidad de la Atención: Medida que evalúa si los servicios alcanzan o no los resultados deseados y si éstos son coherentes con las actuales prácticas basadas en la evidencia (OMS, 2003). • Garantía de la Calidad (QualityAssurance: QA). Enfoque que implica la creación de una serie de estándares y la comparación de los servicios con éstos. • Si los estándares se cumplen se considera que los servicios son de una calidad apropiada. En caso contrario se generan planes para solucionar los problemas detectados y lograr alcanzar los estándares.

17. Personas con trastornos mentales Clínico Servicio de salud mental Población general Gestor político nacional.

18. Instrumento Evaluación de la Calidad de la Atención en Salud Mental: Ejemplo del enfoque de garantía de la calidad. • 1990. Consultoría grupo expertos y representantes grupos de interés: Establecer lineamientos a nivel internacional para evaluación de calidad de la atención en salud mental. • 1994. Primer Volumen. Consta de seis módulos y un apartado de información adicional(versión OPS es un séptimo módulo): 1. Políticas de Salud Mental 2. Programas de Salud Mental 3. Atención Primaria de la Salud 4. Servicios de Atención Ambulatoria en Salud Mental 5. Servicios de Internamiento Psiquiátrico 6. Servicios Residenciales para el paciente psicogeriátrico 7. Información Básica.

19. 1997. Segundo volumen. Balance de la opinión de un grupo de expertos calificados. • Consta de seis módulos: 1. Derechos de los usuarios de los servicios de salud mental 2. Servicios de apoyo de base comunitaria 3. Hospitales de día 4. Hospitales de día para adultos mayores 5. Centros de día [centros de rehabilitación psicosocial] 6. Facilidades de psiquiatría forense. • Calificación: Si cada uno de los estándares ha sido: Adecuadamente cumplido (2), parcialmente cumplido (1) o no cumplido (0).

20. Enfoque de la calidad se fundamenta en planteamientos clásicos de Donabedian (1966) de evaluar: estructura, procesos y resultados. Se agrega el “contexto”, pues se considera fundamental para comprender acciones e intervenciones en salud mental. • Se pasa de evaluar intervenciones y servicios a evaluar el sistema de salud mental, en donde actividades específicas de atención serían una parte de éste. • Se establecen tres niveles de indagación para la evaluación de la calidad:

21. Estructura: Recursos materiales, físicos, financieros, humanos. • Procesos: Actividades y procedimientos, interacciones entre prestadores y usuarios. • Resultados: Efectos de las actividades. Ejemplo: TALLERES A LA COMUNIDAD

22. INDICADORES EN SALUD MENTAL • Indicadores : Variables que ayudan a medir el cambio, directa o indirectamente. Deben verificar el grado en el cual los objetivos y mentas de un programa han sido alcanzados. • En la “reforma de la atención psiquiátrica” representan valores, estrategias e ideologías. Deberán ser objetivables, pero no neutros. • Suelen clasificarse de acuerdo al modelo de Donabedian, en indicadores de estructura, proceso y resultados. • Aunque la estructura es fundamental para la atención (por ejemplo, el espacio físico de un hospital) no termina de dar cuenta de la atención que se provee a las personas.

23. Sobre los de proceso se plantea que sólo aquellos que hayan probado ser efectivos mediante un análisis metodológico cuidadoso deberían ser evaluados. Pero contar con tal descripción y formalización de los procesos en salud mental no suele ser usual. • En ausencia de “evidencia”, los grupos de expertos, entre ellos los profesionales de los servicios, son quienes pueden dar cuenta de cuáles son los indicadores de una adecuada atención. • Siguiendo la lógica de los “eventos centinela” (resultados) se pueden construir indicadores de procedimientos no admisibles.

24. Sobre los de resultados los problemas suelen ser: cuáles elegir y cómo explicarlos, pues la atención en salud es sólo una de las múltiples variables que incide en el curso de la patología. • Una manera es establecer estándares de resultados esperados. Esto permitiría evaluar los resultados desde el punto de vista de diversas poblaciones objetivo, por ejemplo: • Los pacientes, más interesados en el funcionamiento social y en la calidad de vida. • Las familias, más preocupadas por la accesibilidad a la atención en salud, el apoyo financiero y cotidiano. • Planificadores de salud: Interesados en la contención de gastos • Etc...

25. Cada indicador puede ser evaluada en términos duros (cuantitativos) o blandos (cualitativos), y posiblemente sea importante mirarlos en estas dos dimensiones. Ejemplo: Indicador de estructura: Espacio físico.

26. ESTÁNDARES TÉCNICOS Declaraciones y resoluciones internacionales como guía de evaluación para contrastar la práctica: si se adecúa o no a ellos. • Declaración de Caracas • Principios para la Protección de las Personas con Trastorno Mental y para el mejoramiento de la atención en salud mental • Guías para la Promoción de los Derechos Humanos de las Personas con Enfermedades Mentales

27. Estándares en Salud Mental • Los estándares pueden derivarse de estudios de eficacia confiables (ensayos clínicos controlados) • Pueden basarse y formarse a partir de valores éticos (por ejemplo, los de derechos humanos). El criterio acá es el “consensus gentium”. • Otros estándares pueden utilizar un mix de estudios cuasi-experimentales y conferencias de consenso de técnicos y expertos, por ejemplo, señalando los “eventos no admisibles” conocidos como eventos centinela.

28. Guías para la Promoción de los Derechos Humanos de las Personas con Enfermedades Mentales(1996) • 1978. ONU comienza a estudiar la cuestión de la protección de las personas detenidas con base en una enfermedad mental. • 1991. Resolución 46/119 por medio de la cual se adoptan los 25 Principios para la Protección de los Enfermos Mentales y el Mejoramiento de la Atención en Salud Mental. • Cómo darle vida a los 25 principios para que fueran efectivamente aplicados. • Se requería una herramienta adicional que facilitara la comprensión e implementación de los Principios. OMS es designada para desarrollarla.

29. Consultas con expertos y ONGs, se producen unas guías en formato de preguntas, que describían a profundidad y operacionalizaban los 25 Principios. • Se fundamentan en una evaluación cualitativa cuyo fin es mostrar cuáles son algunos hechos prácticos que evidencian el seguimiento y cumplimiento de los principios. • Además hay una lista de chequeo para indagación breve general de las condiciones en materia de derechos humanos de las personas con trastorno mental en un país, región o área local. • Muchos de los actores consultados para las guías estuvieron en desacuerdo con el texto final de los 25 Principios de las Naciones Unidas, y por ende, con las guías. Los Principios debieron enfatizar los “derechos humanos básicos de la gente” y no “los derechos en el tratamiento”

30. EVALUACIÓN CONTEMPLADA EN EL PREA(DOCUMENTO DEL PROGRAMA, 1999) La evaluación permanente del programa enfocará el análisis tanto del proceso como de sus resultados, detectando los obstáculos, así como todo aquello que facilite el logro de los objetivos planteados en cada caso. Este análisis que singularice la observación y el seguimiento de la experiencia será uno de los pilares de apoyo en la toma de decisiones sobre la marcha del programa. En relación a esto, la evaluación deberá aplicarse a los distintos dispositivos del programa y sus articulaciones estableciendo modos de acceder a la información necesaria que refleje:

31. Resultados logrados en relación a los objetivos del programa. • Grado y calidad de realización de las actividades previstas. • Uso eficiente de los recursos humanos y materiales. La evaluación está planteada como un proceso continuo que atraviesa cada momento del desarrollo del PREA y su implementación se adecuará a los distintos contextos y actividades. La evaluación contemplará básicamente tres aspectos: • Evaluación de contexto: Examinará las condiciones para la implementación del programa en los ámbitos social e institucional, contextuadas temporalmente en cada lugar de implementación del PREA. • Evaluación de implementación: Evaluará cada dispositivo del programa en marcha y sus articulaciones. • Evaluación de resultados: Evaluará los resultados del programa en el corto, mediano y largo plazo

32. Los tres componentes de la evaluación focalizan en aspectos diferentes del programa. Teniendo en cuenta que en cada momento uno u otro será predominante, el uso conjunto de los tres, puede mejorar la efectividad y promover la futura sustentabilidad y crecimiento del PREA. Gran parte de los alcances futuros que pueden esperarse del PREA están ligados a su posibilidad de articulación con otras instancias del sistema de Salud provincial, como los Servicios de Atención en Crisis, los Servicios de Salud Mental en hospitales generales, los Hospitales de Día, y otros. Estas articulaciones constituirán un aspecto privilegiado para las tareas de evaluación. Los múltiples sectores intervinientes en el PREA hacen necesario que la evaluación sea realizada en relación a todos ellos así como a la articulación con las organizaciones de la comunidad, estatales y no gubernamentales de cada zona.

33. Los objetivos generales de rehabilitación de pacientes internados a través de su inserción asistida en la comunidad, enunciados en el programa, tendrán en cada lugar de implementación, características propias. Las herramientas de evaluación deberán ser acordes con esta diversidad, para dar cabida a los múltiples recursos y posibilidades que irán apareciendo en cada caso. Los distintos partícipes del PREA contribuirán en cada fase del programa a determinar esas herramientas y procedimientos de evaluación. También al diseño de indicadores que permitan evaluar los resultados obtenidos en relación a las necesidades a las que intenta responder el programa. La documentación y registro de las acciones del PREA deberá constituir un cúmulo de datos fiables, cualitativos y cuantitativos, del proceso de pacientes asistidos en su externación. Estos datos podrán ser utilizados en futuros programas e investigaciones.

36. TRABAJO SOBRE HERRAMIENTAS DE EVALUACIÓN Y SU UTILIDAD PARA EL PREA A partir de los aspectos señalados por las personas en el cuestionario sobre “qué se debe evaluar en el PREA”, revisar: • Si agregarían algún otro aspecto a evaluar al listado. • Si los instrumentos de evaluación propuestos contribuirían a evaluar tales aspectos, y de qué manera. • Si los instrumentos de evaluación propuestos dan ideas de cómo construir indicadores, preguntas o herramientas para evaluar eso que se considera debe ser evaluado en el PREA.

38. Algunos textos de referencia • Aparicio, V. (1993) Evaluación de los servicios de salud. Conceptos y componentes. • Bertolote, J.M. (1997) A framework for quality assurance in mental health care. • González de Chávez, M. (1993) Posibles indicadores para el análisis de las reformas psiquiátricas • Richards, H. y Barham, P. (1993). The consumer contribution to qualitative evaluation in mental health. • Saraceno, B., Frattura, L. & Bertolote, J.M. (1993) Evaluation of psychiatric services. Hard and Soft Inidicators.