Monitoreo y Evaluación para la Gestión para Resultados

1. Monitoreo y Evaluación para la Gestión para Resultados TALLER DE LANZAMIENTO DE PROYECTOS EFECTIVIDAD DEL DESARROLLO Y GESTIÓN PRESUPUESTARIA POR RESULTADOS 23-27 DE OCTUBRE DE 2006 MONTEVIDEO - URUGUAY Angel Saz-Carranza angel.saz@nyu.edu

2. Contenido • 9.30-11.00 • Introducción • La evaluación 10.30 • Sistemas de evaluación (1) • 11.15-12.30 • Sistemas de evaluación (2) 11.45 • GpR en Francia 12.15 • GpR en NYC • (GpR en UK)

3. Introduccion

4. Evaluación y Monitoreo Evaluación: la valoración puntual de una intervención. Monitoreo: la valoración esporádica y/o continua del avance de una intervención.

5. EM de resultados • Énfasis en las consecuencias, productos o impactos de una intervención • Diferente de la gestión para resultados • la evaluación de resultados es una herramienta para la gestión por resultados

6. La evaluación de los resultados de la gestión pública • No es un fin en sí mismo • No es una herramienta neutral

7. La organización pública como sistema de producción INSUMOS Autorización Recursos humanos Tecnologías & información Recursos financieros PROCESO Procesos de producción y prestación de servicios (sistemas de gestión) OUTPUT Servicios & Productos Resultados (cambio) Criterios de evaluación: Eficiencia/Economía Efectividad Calidad/Impacto Responsividad Legalidad/Equidad Legitimidad Transparencia

8. EM de resultados: una herramienta para la gestión por resultados La efectiva evaluación y el monitoreo de los resultados de la gestión pueden promover una cultura orientada a resultados: • información útil para tomar decisiones en varios niveles • retroalimentación para mejoramiento continuo de procesos, sistemas y funciones • información útil para la rendicion de cuentas en varios niveles

9. La Evaluación en el Sector Público • La evaluación cumple funciones diversas en distintos países: • Las prácticas varían de acuerdo con: • Quién comisiona la evaluación? • Qué se va a evaluar? • Quién realiza la evaluación? • Quién utiliza la información y las recomendaciones?

10. Tres grandes “eras” en la evaluación de lo público (programas, políticas y reformas)

11. Evaluación y Monitoreo de los Resultados • Nuevo enfoque es “universal” pero… • Experiencia, investigación y tecnología desarrolladas en el Norte • Experiencias en el Sur no han sido suficientemente documentadas • Además: • Vienen del sector privado y deben transformarse

12. Evaluacion

13. PROGRAMACIÓN IDENTIFICACIÓN • Análisis de “stakeholders” • Lista de problemas EVALUACIÓN • En base a la Matriz FORMULACIÓN • Análisis de problemas • Análisis de objetivos • Análisis de alternativas • Matriz EJECUCIÓN • En base a la Matriz

14. Lógica de intervención / Teoría de cambio OBJETIVO ESPECÍFICO

16. Lógica de intervención / Teoría de cambio

17. Los indicadores objetivamente verificables • Constituyen las descripciones operativas de los objetivos globales, del objetivo específico y de los resultados. • Permiten observar indirectamente los objetivos del proyecto. • Un buen indicador debe ser (SMART): • Específico: El indicador se ha de relacionar directamente con la variable que queremos medir. • Medible. • Estar disponible a un coste aceptable. • Pertinente respecto a un objetivo preciso. • Estar disponible en un tiempo aceptable. • Mas de un indicador por objetivo

18. Ejercicio • Construir tres indicadores para los siguientes objetivos: • Reduccion de la pobreza • Mejora de la educacion • Mejora salud humana

19. Las fuentes de verificación • Indican dónde y cómo se pueden encontrar las informaciones necesarias para los indicadores. • Deberían especificar: • El formato de presentación de las informaciones (informes intermedios, registros del proyecto, estadísticas oficiales, etc.). • Quién debe proporcionar las informaciones. • La periodicidad con la que las fuentes deben ser proporcionadas.

20. Ejercicio: —construye indicadores e indica sus fuentes de verificación para la siguiente lógica de intervención—

21. Ejercicio: 2 —construye indicadores e indica sus fuentes de verificación para la siguiente lógica de intervención—

22. PROGRAMACIÓN Evaluación ex-ante IDENTIFICACIÓN Evaluación ex-post EVALUACIÓN FORMULACIÓN EJECUCIÓN Monitoreo

23. La Evaluación • Motivo • ¿Por qué queremos evaluar? • ¿Quién quiere saber? • Objeto • ¿Qué es lo que se va a evaluar? • ¿Qué espacio de tiempo se quiere evaluar? • Criterio de la evaluación • ¿Qué queremos saber de lo que vamos a evaluar?

24. Motivos de la evaluación • ¿Por qué queremos evaluar? • Rendición de cuentas “accountability” (Parlamentos, Boards, etc.) • Asignación • Aprendizaje: aprender lecciones • ¿Quién quiere saber? • ¿Es el mismo actor que consumirá información? • Motivos • Explícitos – implícitos • Personales – organizacionales

25. Objeto de la evaluación • Objeto/nivel de la evaluación/unidad de análisis: • ¿Qué es lo que se va a evaluar...? • Proyecto individual • Programa/ Sector • Política • Espacio de tiempo que se quiere evaluar (un ciclo de programación; más de un ciclo; etc.)

26. input asignado proceso planificado objetivo 1 objetivo 2 eficacia 1 eficacia 2 economía eficiencia 2 efectividad eficiencia 1 planificacion input aplicado proceso ejecutado output outcome impacto situacion contrafactual

27. ECONOMÍA Ø Relaci ó n input asignadoi - input aplicado Ä EFICACIA Ø Relaci ó n objetivo fijado - resultado conseguido Ä EFICIENCIA Ø Relaci ó n input aplicado - output producido Ä EFECTIVIDAD Ø Relaci ó n output producido - resultado conseguido Ä IMPACTO Ø - Grado de modificaci ó n conseguido Ä EQUIDAD Ø Relaci ó n distribuci ó n valor p ú blico fijada - conseguida Ä SATISFACCI Ó N Ø Relaci ó n expectativas esperadas - satisfechas Ä Criterio de la evaluación

28. Evaluación absoluta / postmoderna

29. Evaluación gestora / controladora

30. Evaluación positivista / científica

31. El diseño de la Evaluación (El diseño o metodología) • El evaluador • ¿Quién va a evaluar? • El marco temporal • ¿Cuándo vamos a evaluar? • Muestra • ¿Que actores, actividades, datos vamos a utilizar en el análisis? • Recolecta de datos • Análisis de datos

32. Marco temporal Ejecución Programación Programa 3 Ejecución Programación Evaluación Impacto Programa 2 Ejecución Programación Evaluación Impacto Programa 1

34. Restricciones • Recursos disponibles (relación coste-calidad) • Información disponible (primer y segundo grado) • Disponibilidad a cooperar de los actores implicados (locales e internacionales)

35. Impacto V. Interna V. Estadística A2 (con) Impacto: diferencia entre lo que ha pasado (el outcome) y lo que hubiera pasado Con P B2 (sin) Sin P V. Constructo A1 B1 T1 (antes) T2 (después)

36. Conclusión • Motivo • Objeto • Criterio • Evaluador • Marco temporal • Muestra • Datos • Análisis

37. Sistemas de Evaluacion y Monitoreo

38. Marco conceptual • Para qué evaluar? • las múltiples funciones de la evaluación (visión estratégica para generar valor público) • Qué evaluar y a qué nivel hacerlo? • el alcance de la evaluación • Qué hacer con la información? • la relación entre el uso de la información y el mejoramiento de la gestión

39. Para que evaluar? • Aprendizaje • De que? De quien? • Se lograron los resultados esperados? Cómo alcanzar mayores logros ? Cómo mejorar? • Asignación • De que? De quien? • Se debe re-considerar la asignación actual? (ofrecer mas o menos recursos?) • Se justifica mantener o eliminar la unidad evaluada o sus partes? • Legitimación • De quien? Respecto a quien? • Cumple el gobierno sus promesas? Es efectivo? Es transparente?

40. Para qué evaluar los resultados de la gestión?

41. Modernizacion & Democratizacion 80 90 Democratizacion Modernizacion Alemania Holanda Modernizacion Democratizacion

42. Debate • Una orientación a los resultados de la gestión puede ... • ...debilitar la democracia • ... fortalecer la democracia

43. Dos Orientaciones

44. Evaluación de los resultados de la gestión pública para

45. Qué evaluar? • Que enfocar? • Componente de cadena de valor • Criterio • A que nivel? • Macro (sector), • Meso (organizacion), • Micro (persona)

46. Casos LA Niveles de desempeño

47. Casos LA (2)

48. Qué hacer con la información? • Preguntas claves sobre la información generada: • Es confiable? • Es accesible? • Se consume? • Produce consecuencias?

49. Es confiable la información? Credibilidad de la información depende de: • Quien decide los indicadores? • Quien recoge los datos? • Rigor metodológico, problemas de medición • Que hay detrás de un indicador?

50. Se consume la información? Destinatarios/usuarios potenciales Ejemplo Colombia • Poder Ejecutivo • Ministerio de Planificación • Ministerio de Hacienda • Ministerios sectoriales (ministros) • Jerarcas y funcionarios de varios niveles de gestión • Presidente de la Republica • Organismos de auditoria y control • Oficina Nacional de Presupuesto • Poder Legislativo • Parlamento • Sociedad civil • Organizaciones • Ciudadanos