Modelos de evaluación para programas de capacitación

1. Modelos de evaluación para programas de capacitación Anibal Velásquez epiweb@hotmail.com

2. Objetivos de la presentación • Exponer algunos modelos de evaluación de Programas de Capacitación

3. Pseudo evaluaciones • La que se hace para relaciones públicas (solo se muestra las fortalezas de un programa, y a veces se manipulan los datos para resaltar lo positivo). • La que se maneja políticamente (se esconde información que no conviene).

4. Evaluación basada en objetivos • Propuesto por Tyler (1966)[1], es un modelo tradicional de evaluación para determinar si los objetivos del programa han sido alcanzados. • [1] Tyler R. The objective and plans for a national assessment of educational progress, Journal of Educational Measurements, 1966; 3,1-10, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: 7-106

5. Evaluación basada en objetivos (cont) • Este modelo esencialmente especifica objetivos operacionales y recolecta y analiza información pertinente para determinar cuán bien cada objetivo fue alcanzado. • Para demostrar la causalidad utiliza diseños experimentales. • Este tipo de evaluación es especialmente aplicable en evaluaciones de programas que tienen objetivos claros y medibles.

6. El PCMI Programa de Capacitación Materno Infantil Proyecto 2000

7. Intervención en los 5 componentes • Programa de • capacitación para la • calidad en servicios • materno perinatales. • Detección de • problemas de la • calidad y PMCC • Determinación • de indicadores y • estándares • Supervisón externa • de la calidad CALIFICACION (Acreditación)

8. Lo anterior demuestra que el PCMI tuvo un impacto?

9. Un ejemplo de evaluación de impacto

10. Factores Individuales Área de programa Calidad de los servicios del Parto Institucional Factores de la comunidad Marco conceptual

11. Factores Individuales Tasa de MM Área de programa Calidad de los servicios del Parto Institucional Mortalidad materna 1997 Factores de la comunidad Capacidad Resolutiva Marco conceptual

12. Modelo Basado en la Teoría [1] • Por lo difícil que es obtener los requerimientos experimentales, se utiliza este modelo. • [1] se refiere al uso de la teoría de programas (o modelos lógicos) como un marco para la determinación de causalidad. • Inicia con una teoría bien desarrollada y validada, partiendo de la premisa que programas de un cierto tipo con similares características pueden producir los mismos resultados. • [1] Davidson J. Ascertain Causality in Theory-Based Evaluation. New Directions for Evaluation, 2000; 87: 17-26

13. Modelo Basado en la Teoría (Cont) • El principal procedimiento típico de este modelo es usar la lógica de programas. • Esto puede ser un diagrama de flujo de cómo se piensa que los “in puts” deben ser procesados para producir resultados previstos. • El análisis de esta red causal es un proceso de teorización que involucra a los evaluadores y personas quienes se supone conocen cómo se espera que opere el programa y produzca resultados.

14. TEORIASi mejora la calidad y la capacidad resolutivaSe incrementa el acceso al parto institucional y luego entonces se reduce la moratalidad materna y perinatal

15. Relación entre la proporción de partos atendidos por profesionales de salud con la razón de muerte materna en 50 países en vías de desarrollo.

16. Letalidad obstétrica

17. Letalidad neonatal

18. Esto demuestra un efecto

19. Limitaciones de los modelos anteriores • Están enfocados en obtener información de la relación causal, y que por lo general ésta no es oportuna ni pertinente para mejorar los procesos de los programas. • Además que la evaluación en sí, no contribuye a que se cumpla con las responsabilidades de cada actor del Programa. • Por este motivo la evaluación de resultados debe incluir los cambios que se producen en los actores sociales, y de cómo estos cambios se relacionan con los resultados obtenidos por el programa.

20. Evaluación de Responsabilidades (accountability). • La ventaja de este modelo es que al medir el cumplimiento de las responsabilidades, por personas o instituciones externas a cada actor social, se constituye en sí misma un fuerte estímulo para que los actores sociales cumplan con sus responsabilidades.

21. Evaluación de Responsabilidades (accountability). Cont. • Este modelo llega a ser prominente en la década de los 70, fue propuesto por Lessinger (1970)[1], y surge debido a que había amplio descontento con los reportes de evaluación que casi ninguno de los programas sociales masivos estuvieron haciendo algo positivo (al no encontrar diferencias estadísticamente significativas cuando se comparaba con áreas no intervenidas). • [1] Lessinger L. Every kid a winner: Accountability in education. New York: Simon and Schuster,1970, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: 7-106

22. Evaluación de Responsabilidades (accountability). Cont.2 • Para asegurar que los proveedores de servicios cumplan sus responsabilidades y para mejorar los servicios, y que los evaluadores encuentren los efectos de los programas y determinen qué personas y grupos tuvieron éxito y cuales no. • El componente clave de muchos sistemas de rendición de cuentas son el empleo de estándares que permiten determinar si los cumplieron o no, este modelo se acompaña de premios y sanciones.

23. Avance Global de la Calidad en Establecimientos que han reportado Autosupervisiones

24. La desventaja del modelo anterior es que se desarrolla en un marco de verticalidad, con escasa participación de los actores sociales en el proceso de evaluación. • Por lo que necesita combinarse la medición de las responsabilidades con un modelo más participativo que delibere los resultados de esta evaluación. • Este modelo se denomina Evaluación Democrática Deliberativa, y fue propuesto por House y Howe (1998[1], 2000[2]) • [1] House E, Howe K. Deliberative democratic evaluation in practice. Boulder: University of Colorado, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: 7-106 • [2]House E, Howe K. Deliberative democratic evaluation. New Directions for Evaluation, 2000; 85: 3-12.

25. Evaluación democrática y deliberativa • El modelo de evaluación democrática y deliberativa funciona dentro de un marco democrático explícito. • La evaluación democrática deliberativa tiene tres dimensiones principales: • participación democrática, • diálogo para examinar y autenticar los aportes de los actores sociales, y • la deliberación para llegar a evaluaciones defendibles de los méritos y valores de un programa.

26. Evaluación democrática y deliberativa. Cont.1 • Los métodos empleados pueden incluir discusiones con los actores sociales, encuestas, y debates. • La inclusión, el diálogo y la deliberación son considerados relevantes en todos los estadios de la evaluación (discusión del modelo causal, diseño, implementación, análisis, síntesis, relato, presentación y discusión).

27. Relación proveedor- usuario-comunidad Estandarizació de procedimientos Decisiones basadas en evidencia- uso de datos Gestión y disponibilidad de recursos Educación permanente Plan Anual MCC Prestación ¿Quieren? ¿Pueden? ¿Saben? Planes Trimestrales Gerencia Brecha Estado actual de los estándares Evaluación externa Autosupervisión Implementación

28. Avance de Procesos de los Establecimientos de Salud que han reportado autosupervisiones

29. Control de Procesos: Control de Calidad y Validación Anibal Velásquez epiweb@hotmail .com

30. La lógica del control de procesos • Es muy simple. • Consiste en comparar con estándares el cotidiano accionar de un servicio. • Es fácil de hacerlo. • Pero tiene barreras que no tienen que ver con el método o técnica. • El problema principal es que a nadie le gusta que le pidan cuentas • Y el sistema es propicio para favorecer el no cumplimiento.

31. LOS PROCESOS DEBEN SER: • Objetivos, Logran los resultados • Efectivos, Minimizan los recursos • Flexibles, Se adaptan a los cambios • Repetibles, Todos lo harán igual • Medibles, Se controlan y mejoran

32. LOS PROCESOS • “ A menos que usted modifique el proceso, ¿Cómo podría usted esperar que el resultado cambie?

33. ANÁLISIS DE PROCESOS • Identificar el proceso • Desarrollar un diagrama de flujo del proceso. • Analizar el diagrama para simplificarlo y asignar puntos de control

34. IDENTIFICACIÓN DE PROCESOS • Un proceso de trabajo: Que se hace REALMENTE • Diferencias entre el DEBE SER y el ES. • Cada persona puede hacerlo distinto. • No hay acuerdo en la mejor manera de hacerlo. • Que se produce: Un producto, reportes, decisión, información ? • Quien usa ese producto.......REALMENTE!

35. Diagramas de Flujo de un Proceso Empezar/Terminar Acción Punto de Decisión Dirección del Flujo Esperas

36. Usos del Diagrama • Ilustra la relación entre varias etapas del proceso • Ayuda a identificar ineficiencias • Indica las etapas claves donde el proceso falla • Ayuda a la comunicación entre clientes internos o externos • Ilustra pasos innecesarios • Ayuda a entrenar nuevos empleados en el proceso.

37. EN TODO PROCESO .... ITEMS DE VERIFICACIÓN ITEMS DE CONTROL CAUSA CAUSA CAUSA RESULTADOS Índices Numéricos CAUSA CAUSA CAUSA

38. CONTROL POR DETECCIÓN INSPECCIÓN MASIVA PROCESO CLIENTE Medio Ambiente Mano de Obra SI BUENO? PRODUCTO NO Máquinas Materiales Método REPROCESAR DESPERDICIO

39. CONTROL POR PREVENCIÓN PROCESO VERIFICACIÓN DEL PRODUCTO Medio Ambiente Mano de Obra CLIENTE Máquinas Materiales Método CONTROL DE PROCESO

40. PREVENCIÓN Trabaja para el futuro Evita el desperdicio Busca el mejoramiento permanente Se compromete con el proceso Si algo está mal, la misma área lo detecta DETECCIÓN Trabaja para el pasado Tolera el desperdicio Busca cumplir la especificación Se compromete con el producto Es el producto, en el área de inspección, quien dice que algo anda mal

41. CONTROL Y MEJORA DE LOS PROCESOS PROCESO BAJO CONTROL MEJORA PROCESO BAJO CONTROL

42. MEJORAMIENTO CONTINUO Desempeño Desempeño Tiempo Tiempo

43. Reflexión final

44. Todo se puede medir? • Si, solo se necesitan indicadores. • Si algo varía o cambia quiere decir que existe algo que nos permite darnos cuenta de que cambia.

45. Dime qué es lo más difícil de medir? • La verdad • Hay algún cambio? • Si... una gama entre lo verdadero y falso • Entonces será verdad cuando cumpla con nuestro criterio de verdad=indicador dicotómico SI y NO • Si nuestro criterio considera que la verdad es relativa, entonces será más verdadero cuando se cumpla con más criterios.= indicador de magnitud nivel de verdad, escala de medición cuantitativa.

46. Lema de los evaluadores: • No money • No measure • No data • No nathing