DIPLOMADO EN MONITOREO Y EVALUACIÓN DE POLÍTICAS PÚBLICAS MÓDULO: EVALUACIONES

1. DIPLOMADO EN MONITOREO Y EVALUACIÓN DE POLÍTICAS PÚBLICASMÓDULO: EVALUACIONES MAURICIO AGUILAR Noviembre de 2011

2. Objetivo General El objetivo de esta clase es familiarizar a los participantes con las principales metodologías de evaluación exponiendo el conocimiento básico requerido para poner en marcha ejercicios de evaluación efectiva tanto al interior de las entidades o a través de evaluadores externos.

3. Objetivos Específicos Al final del curso, los estudiantes estarán familiarizados con: • Conceptos y técnicas básicas en evaluación de programas. • Cómo replicar el proceso de evaluación. • Diferenciar entre tipologías de evaluación y su alcance. • Cómo diseñar modelos de análisis y de recolección de información. • Cómo utilizar los resultados en toma de decisiones de política

4. Metodología de trabajo • Se realizarán presentaciones de los temas. • Se conformarán grupos de trabajo. • Se usarán estudios de caso como ejemplo durante la clase. • Al final del módulo los grupos presentarán sus trabajos.

5. MOTIVACIÓN http://www.youtube.com/watch?v=hJIMAHePjts

6. SESIÓN I LA EVALUACIÓN: CONCEPTOS BÁSICOS – EL CASO COLOMBIANO

7. Contenido I. ¿Qué es la evaluación de políticas públicas? II. Enfoques de Sistemas de S&E III. ¿Por qué el Gobierno evalúa las políticas públicas? IV. Fin y medios de la evaluación V. Proceso de evaluaciones efectivas VI. ¿Hacia dónde vamos?

8. I. ¿Qué es la evaluación de políticas públicas? • El proceso encaminado a determinar sistemática y objetivamente la pertinencia, eficiencia, eficacia e impacto de las actividades a la luz de sus objetivos • (ONU - 1984) • Emitir juicios sobre el valor y el mérito de un programa o aspectos del mismo. • (CIDEC) • Es aquella evaluación que se emprende antes de iniciar un programa o proyecto para apreciar si están dadas las condiciones requeridas para su implementación, y eventualmente poder decidir acerca de su aprobación , perspectiva de éxito y resultados. • Petra Tood & Kenneth Wolpin • University of Pennsylvania

9. I. ¿Qué es la evaluación de políticas públicas? • “Valoración exhaustiva de la causalidad entre una intervención de Estado y sus efectos para determinar su relevancia, eficiencia, efectividad, impacto y sostenibilidad.” • (Documento Conpes 3294) • La evaluación viene considerándose como el proceso sistémico de observación, medida, análisis e interpretación encaminado al conocimiento de una intervención pública, sea esta una norma, programa, plan o política, para alcanzar un juicio valorativo basado en evidencias, respecto de su diseño, puesta en práctica, efectos, resultados e impactos. La finalidad de la evaluación es ser útil a los decisores y gestores públicos y a la ciudadanía.  (Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios)

10. I. ¿Qué es la evaluación de políticas públicas? • La evaluación es un análisis de un proyecto con el objeto de TOMAR UNA DECISION alrededor del mismo. • Lo que implica: 1. Cuantificar 2. Valorar 3. Comparar

11. II. Enfoques de Sistemas de S&E El monitoreo y la Evaluación se han convertido en un instrumento constante de administración pública en Colombia y otros países en el mundo. Los bancos internacionales, BM, BID, ADB han contribuido no sólo al incremento de programas sociales sino también de evaluaciones alrededor del gasto público.

12. CONEVAL - MEXICO El Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) es un organismo público descentralizado de la Administración Pública Federal, con autonomía y capacidad técnica para generar información objetiva sobre la situación de la política social y la medición de la pobreza en México.

13. CONEVAL - MEXICO Objetivo Estratégico Mejorar la eficacia y eficiencia, así como la rendición de cuentas de la política de desarrollo social, mediante la evaluación y el monitoreo de programas y políticas sociales y la medición de la pobreza.

14. CONEVAL - MEXICO El CONEVAL establece que contribuirá a mejorar el desempeño y la rendición de cuentas de la política de desarrollo social en la medida que cumpla con los dos objetivos estratégicos :

15. CONEVAL - MEXICO

16. CONEVAL - MEXICO

17. AEVAL - ESPAÑA La Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios desarrolla una actividad institucional con el fin de mejorar la calidad de los servicios públicos, racionalizar el uso de los recursos públicos y rendir cuentas ante los ciudadanos. Tiene como propósito contribuir a: La evaluación se constituye una herramienta esencial para conocer los efectos y resultados de las intervenciones públicas.

18. AEVAL - ESPAÑA • AEVAL considera la evaluación como: • Una actividad específica claramente diferenciada de otras como el control interno, la auditoría financiera, la auditoría de gestión o el control presupuestario. • Una actividad institucional, enmarcada dentro de un proyecto político de gobernanza, modernización e innovación administrativa. • La evaluación incorpora análisisbasado en evidencias y no cabría sustituirla por una mera descripción o medición. • La evaluación utiliza herramientas de las ciencias sociales (cuantitativas y cualitativas) y técnicas de la gerencia pública. Aplica de manera sistemática un método riguroso de tratamiento de la información. • La evaluación puede referirse tanto al diseño como a la aplicación, desarrollo y finalización de una intervención pública.

19. AEVAL - ESPAÑA • Fases del proceso de evaluación en AEVAL

20. Otros países El núcleo del sistema brasileño es el Plan Plurianual (PPA) nacional, un programa de desarrollo de cuatro años incluido en la Constitución. El sistema de seguimiento y evaluación vincula los resultados de la evaluación con el plan de desarrollo y respalda la creación de una cultura de evaluación para mejorar la formulación de políticas y la implementación y gestión de los programas. El sistema de seguimiento y evaluación se concentra en evaluar los objetivos y el desempeño de los programas a lo largo de los límites organizacionales y cubre todos los gastos públicos, integrando cuentas corrientes y de capital. Un sistema de información centralizado, conocido como SIGPlan, divulga datos e información desde el Ministerio de Hacienda hacia el público y se hacen esfuerzos por integrar los sistemas de información de los ministerios sectoriales (INFRASIG) con SIGPlan a fin de entregar una fuente de información más unificada y facilitar con ello el uso del proceso de seguimiento y evaluación en la toma de decisiones pública.

21. Otros países El Ministerio de Economía y Finanzas de Perú puso en marcha el Sistema Nacional de Seguimiento y Evaluación del Gasto Público (SSEGP) en 2004 como parte de un esfuerzo mayor por promover la gestión basada en los resultados. Sus objetivos son mejorar la gestión pública entregando más información sobre los resultados logrados a través del gasto público. Los indicadores de desempeño que se desarrollan a diferentes niveles del gobierno nacional (sectores, organismos, unidades orgánicas, etc.) se vinculan a productos estratégicos. El sistema todavía se encuentra en las etapas de desarrollo de modo que aún se debe determinar una estructura de evaluación, que incluya herramientas de evaluación y criterios para definir los programas que serán evaluados.

22. A modo de conclusión: No existe una guía única para los países en términos de lo que debería ser un buen sistema de seguimiento y evaluación. Algunos países ponen énfasis en un sistema de indicadores de desempeño, mientras que otros se concentran en llevar a cabo evaluaciones (revisiones de programas o evaluaciones rigurosas sobre su impacto). Algunos países han creado un enfoque a nivel de todo el gobierno dirigido principalmente por los ministerios de finanzas o planificación, otros se han concentrado más en los sistemas de seguimiento y evaluación sectoriales.

23. II. Enfoques de Sistemas de S&E

24. III. ¿Por qué el Gobierno evalúa las políticas públicas? • En cumplimiento al mandato constitucional estipulado en el artículo 343 de la Constitución Nacional y en el artículo 29 de la ley 152 de 1994. • La evaluación le permite al Gobierno medir el avance de los compromisos que se fijó al inicio, conocer cómo va su gestión y tratar de corregir a tiempo los desaciertos. • Tomar decisiones informadas y basadas en evidencias que permitan ajustar las políticas . • Retroalimentar la formulación de política y los procesos de planeación. • Establecer la existencia de efectos no esperados en la ejecución de un programa, los puntos críticos del mismo y las divergencias existentes con programas similares. • Fortalecer la rendición de cuentas de las entidades y el ejercicio activo de control social.

25. III. ¿Por qué el Gobierno evalúa las políticas públicas? Apoyar a que el gobierno mantenga el rumbo y mejore el desempeño para alcanzar los objetivos definidos en las políticas públicas

26. III. ¿Por qué el Gobierno evalúa las políticas públicas? INVERSION PARA CONOCER SEGUIMIENTO ARTICULADO A LA VISION EVALUACIONES EFECTIVAS COOPERACION HORIZONTAL INDICADORES EFECTIVOS RADAR DE EVALUACIONES CULTURA DEL MONITOREO Y EVALUACION OBSERVATORIO DE LA PERCEPCION DEL CIUDADANO

27. III. ¿Por qué el Gobierno evalúa las políticas públicas? ¿Para qué hacer seguimiento y evaluación de políticas públicas? Para cerrar el ciclo de las políticas públicas

28. III. ¿Por qué el Gobierno evalúa las políticas públicas? ¿Cómo se entienden las políticas Públicas? Oferta y Demanda ¿Cómo saber cómo vamos? Seguimiento ¿Cómo ser más eficientes y efectivos? Evaluación

29. IV. Fin y medios de la evaluación • FIN • Mejorar el proceso de toma de decisiones de los gestores de la Política Pública para que esta incida efectivamente en un mayor bienestar de la sociedad.

30. IV. Fin y medios de la evaluación Ciclo de la Gerencia Pública La evaluación de políticas públicas se hace para: Generar insumospara la toma de decisiones de política. Verificar la eficiencia del gasto en relación al logro de los objetivos de las políticas. Identificar fortalezas y debilidades en la implementación de las políticas. Cuantificar los resultados de la inversión pública .

31. IV. Fin y medios de la evaluación • FIN • Mejorar el proceso de toma de decisiones de los gestores de la Política Pública para que esta incida efectivamente en un mayor bienestar de la sociedad. Insumos Procesos Productos Resultados Impacto • La evaluación actúa teniendo como eje la Cadena de Resultados de la Intervención del Estado

32. IV. Fin y medios de la evaluación • FIN • Mejorar el proceso de toma de decisiones de los gestores de la Política Pública para que esta incida efectivamente en un mayor bienestar de la sociedad. • MEDIOS Evaluación Ejecutiva Resultados Impacto Insumos Procesos Productos Evaluación Operaciones Evaluación de Resultados Evaluación de Impacto Evaluación Institucional

33. IV. Fin y medios de la evaluación Premisas Básicas: Una buena evaluación es aquella que se puede utilizar en el diseño y/o rediseño de una política pública. Una evaluación efectiva suele ser mejor cuando es concebida desde el diseño de la política pública. FORMULACIÓN DE POLÍTICAS PÚBLICAS Promover el uso de la información resultado de las evaluaciones en el diseño de las políticas públicas Prever los elementos metodológicos en la formulación para el diseño de líneas de base y esquemas de seguimiento que hagan costo eficiente las evaluaciones EVALUACION DE POLÍTICAS PÚBLICAS Diseñar y asesorar en el desarrollo de evaluaciones costo-efectivas a las políticas públicas Identificar esquemas de evaluación costo-efectivos para el entorno colombiano Analizar los resultados de las políticas desde una orbita transversal en función del desarrollo esperado del País

34. V. Proceso de Evaluaciones Efectivas • La Dirección de Evaluación de Políticas Públicas desde el grupo de Evaluaciones es la encargada de liderar los proyectos de evaluación que se hacen a las políticas públicas más importantes que conforman el presupuesto de inversión. • El objetivo es garantizar la calidad técnica de las evaluaciones, mediante el diseño de proyectos que permitan dara partir de evidencias, respuestas pertinentes a los interrogantes de la política.

35. V. Proceso de Evaluaciones Efectivas Las Evaluaciones son efectivas si estas llevan a tomar decisiones: EL RETO es llevarlas a este uso. Area del Gobierno Diseño de la Evaluación Contratación Uso de resultados Selección de la política a evaluar Ejecución Firmas externas

36. V. Proceso de Evaluaciones Efectivas Fase 0 Selección de la política a evaluar • Identificar las necesidades plurianuales de evaluación, partiendo desde la formulación del PND. • Definir la agenda anual de evaluaciones • Convocar el Comité Intersectorial de Evaluación. • Presentación y aprobación de la agenda vía Conpes Producto: Agenda de Evaluaciones

37. V. Proceso de Evaluaciones Efectivas Fase 1 Diseño de la Evaluación • Cadena de valor • Cadena de entrega • Hipótesis • Alcance • Metodología • Costeo • Perfil equipo consultor • Cronograma Producto: Diseño de la evaluación

38. V. Proceso de Evaluaciones Efectivas Fase 2 Contratación • Conformación comité de selección • Elaborar los Términos de Referencia • Apertura del proceso de selección • Evaluación de propuestas técnicas • Negociación de costo Producto: Términos de referencia

39. V. Proceso de Evaluaciones Efectivas Fase 3 Ejecución Producto: Bases de datos y productos de la consultoría

40. V. Proceso de Evaluaciones Efectivas Fase 4 Uso de resultados Producto: Recomendaciones de política

41. V. Proceso de Evaluaciones Efectivas Familias en Acción Expansión Medición de Impacto Primer Seguimiento Línea de Base Recursos Asignados

42. V. Proceso de Evaluaciones Efectivas Vivienda de Interés Social Urbano Fonvivienda Línea de Base Primer seguimiento Medición de impacto Recursos asignados

43. V. Proceso de Evaluaciones Efectivas Costo del Programa vs. Costo de la evaluación : 0.1% * Recursos PGN ejecutados (2002-2008) y asignados (2009 y 2010). 0.035% * Recursos PGN ejecutados (2003-2008) y asignados (2009 y 2010).

44. V. Proceso de Evaluaciones Efectivas Costo y Tiempo Promedio • Para la asignación de recursos a las evaluaciones, tenemos entre otros, dos consideraciones: • El monto MÁXIMO de las evaluaciones de una política no debe superar el 1% del valor invertido en la política (CONPES 3294) • Existe un histórico de promedios por tipo de evaluaciones

45. VI. ¿Hacia dónde vamos? ¿Cómo se articulan las evaluaciones dentro de la nueva estrategia de SINERGIA?

46. VI. ¿Hacia dónde vamos? Entre 2004 y 2010, SINERGIA ha liderado la realización de 49 evaluaciones con, las cuales se han concentrado principalmente: en la dimensión de equidad. Se proyecta para 2011 finalizar 15 evaluaciones que vienen de las vigencias 2009 y 2010. La agenda de evaluaciones para 2011 se estima en 55 evaluaciones

47. VI. ¿Hacia dónde vamos? La inversión en las 49 evaluaciones ha sido del orden de los $27.000 millones. Producto de la diversificación de metodologías, el valor promedio de evaluación por año, ha disminuido de $1.750 a $345 millones.

48. VI. ¿Hacia dónde vamos? Portafolio de Productos

49. VI. ¿Hacia dónde vamos?

50. VI. ¿Hacia dónde vamos? • Diversificar la agenda de evaluaciones, incluyendo sectores que tradicionalmente no participaban. • De acuerdo con las temáticas de las bases del Plan Nacional de Desarrollo, la Agenda de Evaluaciones 2011 está compuesta por: • 16 Crecimiento Sostenible y Competitividad • 18 Igualdad de Oportunidades • 7 Consolidación de la Paz • 14 Soportes Transversales