www. coneval .gob.mx

1. Construyendo una cultura para Resultados Noviembre 2009 www.coneval.gob.mx

2. Índice • Antecedentes • Qué es el Coneval: Aspectos Institucionales • Sistema de Evaluación y Monitoreo en México • Monitoreo, avances y usos de la MML • Evaluación de Consistencia y Resultados • Esquema de Seguimiento a Recomendaciones • Retos a futuro

3. 1990´s: Algunas evaluaciones de programas y nuevas formas de presupuestación 2000: Inicio normativo sin una estrategia clara 2000-2006: Desarticulación de la evaluación con la mejora en la gestión PEF y Acuerdo entre SHCP y SFP Ausencia de una estrategia de monitoreo Agenda del Buen Gobierno, e Iniciativas de Innovación y Calidad Gubernamental Sistema de Metas Presidenciales 2005: Impulso normativo de la evaluación solo en el sector social, pero aún desarticulado con la mejora en la gestión pública Creación del Coneval Primer impulso normativo al monitoreo Vínculo con Pobreza ANTECEDENTES

4. ÍNDICE • Antecedentes • Qué es el Coneval: Aspectos Institucionales • Sistema de Evaluación y Monitoreo en México • Monitoreo, avances y usos de la MML • Evaluación de Consistencia y Resultados • Esquema de Seguimiento a Recomendaciones • Retos a futuro

5. Nace a partir de la Ley General de Desarrollo Social: Normar y coordinar la evaluación de la política y los programas de desarrollo social Aprobar los indicadores de resultados, gestión y servicios que serán sometidos a consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF Establecer los criterios para la definición, identificación y medición de la pobreza El CONEVAL está integrado por 6 investigadores académicos electos democráticamente por la CNDS, a través de una convocatoria pública Contribuir a la toma de decisiones de Política de Desarrollo Social y combate a la pobreza y rezago social en México Información útil, objetiva y oportuna Qué es el Coneval: Aspectos Institucionales

6. Emisión de normatividad como marco jurídico y de acción Ley General de Desarrollo Social (Principales objetivos del CONEVAL) Decreto de creación Estatuto Orgánico Decreto por el que se regula el CONEVAL Normatividad aplicable a los programas federales Lineamientos Generales de Evaluación de los Programas Federales de la Administración Pública Federal Lineamientos de la Matriz de Indicadores Programa Anual de Evaluación Mecanismos para el seguimiento de las evaluaciones externas Normatividad interna Manual de organización General Manual de Identidad Institucional Políticas laborales LEYES Y NORMAS

7. 2004 Creación del CONEVAL en la LGDS como un organismo descentralizado agrupado en el sector coordinado por Desarrollo Social 2005 publicación del Decreto por el que se regula el CONEVAL 2006 Conducción de la evaluación de los programas sociales sujetos a Reglas de Operación Conformación del Comité Directivo Convocatoria para integrar el Consejo Estructura organizacional CONSTITUCIÓN DEL CONEVAL

8. VÍNCULOS SISTEMA NACIONAL DE DESARROLLO SOCIAL CONSULTIVA POLÍTICA OPERATIVA TÉCNICA-EVALUACIÓN DEPENDENCIAS Y ENTIDADES CONSEJO CONSULTIVO CONSEJO DE EVALUACIÓN COMISIÓN INTERSECRETARIAL • Norma y analiza las evaluaciones • Evalúa la política • Define pobreza • Recomendaciones • Analiza y propone programas y acciones que inciden en la Política Nacional de Desarrollo Social • Propone partidas y montos de gasto social • Ordena la Política Social a nivel Federal • Operación de los programas, acciones y fondos COMISIÓN NACIONAL • Coordinación de programas y acciones de dependencias y entidades federales

9. ÍNDICE • Antecedentes • Qué es el Coneval: Aspectos Institucionales • Sistema de Evaluación y Monitoreo en México • Monitoreo, avances y usos de la MML • Evaluación de Consistencia y Resultados • Esquema de Seguimiento a Recomendaciones • Retos a futuro

10. ESQUEMA DE EVALUACIÓN 2002-2006 Características: Evaluación Externa Periodo Anual, con 2 informes (septiembre y marzo) Se distribuye a la SHCP, SFP y el Congreso Difusión a través de Internet El proceso de contratación es individual y a través de la Ley de Adquisiciones Algunos programas: Entregan los informes sólo por cumplir y no usan la información Agregan y/o eliminan temas en la evaluación En una menor proporción, usan información para informes oficiales, planeación y monitoreo MARCO NORMATIVO PREVIO

11. Se ha avanzado en la cultura de la evaluación Existen casos particulares de evaluaciones que han apoyado la toma de decisiones Existe un respaldo normativo para institucionalizar un M&E Ley General de Desarrollo Social, CONEVAL, Ley Federal de Presupuesto y Responsabilidad Hacendaria, PEF 2007 Actores principales conscientes de la poca efectividad del sistema vigente: SHCP, Función Pública, Congreso Transición política favorable para la introducción de cambios DIAGNÓSTICO – VENTAJAS

12. Elementos de M&E desarticulados y no alienados conceptual, metodológica ni operacionalmente Alto costo de esquema actual: Cada evaluación cuesta aprox. $1 millón: 170 programas: $170 millones al año. … y con poca utilidad Percepción del sistema de M & E como instrumento de fiscalización, y no de gestión y rendición de cuentas La medición de Resultados no es una prioridad para el programa o la dependencia. Mucho énfasis en indicadores de ejercicio del recurso y de cantidades de bienes y servicios entregados No hay claridad en los objetivos estratégicos de las dependencia Muchos indicadores que no se usan para una gestión por resultados Lineamientos actuales poco flexibles Seguimiento limitado a las recomendaciones generadas de la evaluación DIAGNÓSTICO – VENTAJAS

13. NUEVO MARCO NORMATIVO • 2007: Una oportunidad para mejorar el marco normativo • CONEVAL (2005) • Evaluar y coordinar la evaluación de la políticas y programas Sociales en el Gobierno Federal • Los programas sociales: evaluaciones externas • Aprobación de los indicadores definidos por los programas sociales • 6 académicos independientes • Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006) • Todos los programas: evaluación externa • Sistema de Evaluación del Desempeño (SED) • Programa de Mejoramiento de la Gestión (SFP) • PEF 2007. Cámara de Diputados • Establecer Objetivos Estratégicos • Matriz de Indicadores, ligada a Objetivos Estratégicos • CONEVAL, SHCP y SFP coordinan el sistema de evaluación y monitoreo

14. Marco Normativo Evaluación CONEVAL (2005-2006) Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006-7) SFP PEF 2007. Cámara de Diputados Lineamientos Generales de Evaluación (Marzo 2007) Sistema de Evaluación del Desempeño (2007)

15. CONEVAL (2005) SHCP: Ley de Presupuesto y Responsabilidad Hacendaria (2006) SED y planes de una Reforma Fiscal SFP: Programa de Mejoramiento de la Gestión PEF 2007. Cámara de Diputados NUEVAS REGLAS DEL JUEGO Lineamientos de Evaluación y Monitoreo (Marzo 2007)

16. HERRAMIENTAS DE PLANEACIÓN Uso de la información y seguimiento de recomendaciones Diagnóstico Diseño Presupuesto Operación Evaluación y Monitoreo (Indicadores) • PND • Programas Sectoriales • Objetivos de las Dependencias • Programas Federales Evaluaciones Indicadores estratégicos y de gestión Rendición de cuentas

17. SISTEMA DE EVALUACIÓN Y MONITOREO Evaluación Planeación ProgramaAnual de Evaluación Plan Nal. de Desarrollo Evaluación de Consistencia y Resultados Resultados Objetivos estratégicos: Instituciones Evaluación de Impacto Evaluación de Procesos Matriz de Marco Lógico: Programas Evaluación de Políticas Seguimiento de Recomendaciones EvaluaciónEspecífica de Desempeño

18. Planeación incompleta si no se llega a ROP Objetivos Nacionales Ejes política pública Objetivos y Estrategias Política de Desarrollo Social Nivel 1 Programas Sectoriales Nivel 2 Objetivos de las dependencias Nivel 3 Programas presupuestarios Nivel 4 Objetivos de los Programas del PND Estrategias Líneas de acción Objetivo estratégico de la Dependencia Reglas de operación

19. “Matriz de Indicadores” (marco lógico). Permite focalizar la atención y los esfuerzos de una dependencia o entidad, así como apoyar los procesos de planificación, diseño, monitoreo y evaluación “Lineamientos generales de evaluación” (DOF, marzo 2007) con varios tipos de evaluaciones y mayor libertad para temas específicos PRINCIPALES INSTRUMENTOS DE ESTA NUEVA GESTIÓN PARA RESULTADOS

20. Índice • Antecedentes • Qué es el Coneval: Aspectos Institucionales • Sistema de Evaluación y Monitoreo en México • Monitoreo, avances y usos de la MML • Evaluación de Consistencia y Resultados • Esquema de Seguimiento a Recomendaciones • Retos a futuro

21. Matriz de Indicadores (Marco Lógico) Hoy en día es difícil conocer la lógica interna de los programas y por lo tanto saber si su diseño es el adecuado para alcanzar los objetivos planteados (resultados en la población objetivo) Por otro lado, tenemos que reportar muchos indicadores, no necesariamente útiles para medir el desempeño del programa y tomar decisiones (medición parcial: GESTIÓN) Por lo anterior, en el 2007 los programas deben construir una matriz de indicadores que permita la identificación de sus objetivos, sus relaciones causales, los indicadores y los supuestos o riesgos que pueden influir en el éxito o fracaso del mismo.

22. Fin Propósito Componentes Actividades ESQUEMA LÓGICO DE UN PROGRAMA Contribuir a que la población desempleada en pobreza tenga un mejor acceso a empleos de calidad Resultados Mejorar los conocimientos técnicos de los desempleados en situación de pobreza extrema 1.-Capacitación a individuos enpobreza extrema desempleados 2.-Beca de apoyo a familias beneficiadas Implementación -Focalización Geográfica 1.1Identificación y selección de familias en pobreza extrema 2.1Distribución de las becas de apoyo

23. Fin Propósito Componentes Actividades MENOS Y MEJORES INDICADORES Porcentaje de capacitados que obtienen un mejor trabajo Resultados Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos técnicos adecuados 1.- Porcentaje de cursos y talleres realizados 2.- Porcentaje de becas repartidas 3.- Monto total de las becas repartidas 4.- Porcentaje de desempleados capacitados Implementación 1.- % del presupuesto ejercido 2.- Costo promedio x actividad 3.- Costo promedio de distribución de la beca

24. Resultados Propósito??? Componentes Implementación Actividades QUEREMOS PASAR DE ESTO …

25. Propósito? Componentes Actividades … A ESTO EN UN PRIMER MOMENTO Resultados Implementación

26. Fin Propósito Componentes Actividades … Y A ESTO EN UN SEGUNDO MOMENTO Objetivos Nacionales Resultados

27. MATRIZ DE INDICADORES PARA RESULTADOS

28. FICHA TÉCNICA DE INDICADORES

29. FICHA TÉCNICA DE INDICADORES

30. APROBACIÓN DE INDICADORES • Ley General de Desarrollo Social Artículo 77. El Consejo Nacional de Evaluación, antes de aprobar los indicadores a que se refiere este artículo, los someterá a la consideración de la Secretaría de Hacienda y Crédito Público y a la Cámara de Diputados por conducto de la Auditoría Superior de la Federación, para que emitan las recomendaciones que en su caso estime pertinentes.

31. APROBACIÓN DE INDICADORES • ETAPA III • Capacitación y Asistencia Técnica de Marco Lógico • Carga de MIR 2008 al PASH • Revisión de la consistencia de las Matrices • ETAPA V • Capacitación básica y asesoría técnica en construcción indicadores • Programas mejoran sus MIR y actualizan PASH • ETAPA I • Lineamientos de Evaluación • Lineamientos de la matriz de indicadores • ETAPA VI* • Aprobación de Indicadores • ETAPA IV* • Diagnóstico de las MIR 2008 • Capacitación en construcción indicadores • ETAPA II • Capacitación básica en Marco Lógico • Carga de MIR 2007 al PASH

32. Aprobación de INDICADORES Selección de Experto Temático Se turna Dictamen a Comisión Ejecutiva Revisión de Indicadores de Resultados por Comité Se turna Dictamen a Comité Directivo Diseño de Ficha Técnica de Revisión General Revisión de indicadores con FICHA TÉCNICA * DICTAMEN sobre Indicadores por programa Reporte + VALORACIÓN indicadores Resultado REPORTE de Criterios Mínimos por Programa COMITÉ*

33. APROBACIÓN DE INDICADORES • Etapa I Revisión Integral de Indicadores • Etapa consistente en el diagnóstico de características mínimas que debe contener un indicador de desempeño • En esta etapa se identificará si el grado de calidad de los indicadores en lo correspondiente a claridad, relevancia, monitoreabilidad y adecuación por medio de una serie de preguntas contenidas en la Ficha de Revisión Integral de Indicadores • Se realizó para la totalidad de los indicadores de 225 Matrices de Indicadores para Resultados (MIR) • Los resultados completos se tendrán en el mes de octubre

34. REVISIÓN DE INDICADORES DE RESULTADOS • Etapa consistente en el diagnóstico de los indicadores de resultados de un conjunto de programas • La selección de 35 programas de la Administración Pública Federal (APF) se llevó a cabo considerando las siguientes variables: • Calificación de la MIR 2008 • Calificación de los indicadores contenidos en la MIR 2008 • Presupuesto 2009 • Programas estratégicos de la SHCP • Indicadores PEF

35. REVISIÓN DE INDICADORES DE RESULTADOS • El Comité Técnico estará conformado por los siguientes participantes: • CONEVAL • Secretaría de Hacienda y Crédito Público • Auditoría Superior de la Federación • Programa • Unidad de Evaluación de la Coordinadora de Sector • Experto Temático • Experto Estadístico

36. Semáforo general “Preliminar” Abril de 2008 • Las MI fueron analizadas considerando: • El cumplimiento de la definición de sus elementos (PND, Fin, Propósito, Componentes y Actividades) • La lógica que presenta cada uno de ellos (Vertical y Horizontal) Semaforización de las matrices de indicadores, Abril 2008

37. Principales resultados: Lógica vertical • El 70% de las MI tienen deficiencias en sus actividades (principalmente porque no están identificadas) • El 52% tiene mal definidos los componentes • El 28% de las MI tiene problemas en la definición del Propósito • En el 24% el Propósito no implica una contribución significativa al Fin • El 11% de las MI no presenta una clara vinculación del Fin con el OE • Casi el 32% presenta algún tipo de duplicidad en niveles de objetivos • Los supuestos no están bien identificados: Fin (44%), Propósito (53%), Componentes (52%), Actividades (69%)

38. cambios en la semaforización OCT-07 – ABRIL 08 • En la nueva semaforización se puede observar lo siguiente:

39. Ejemplo 1: Programa de Apoyo al Empleo-STPSANTES • Indicadores de Resultados de las Reglas de Operación 2004

40. Ejemplo 1: Programa de Apoyo al Empleo-STPSANTES • En el Informe de Labores 2006, la dependencia reporta como resultados del Programa los siguientes: • De enero a junio de 2006 se atendieron a 180,390 personas • Se lograron colocar en un empleo 90,325 personas (50.1%) • Se comprometieron 324.6 millones de pesos • Los resultados de algunas estrategias en el 2005 fueron: • BÉCATE atendió a 207,118 personas y logró colocar al 54.5% • Empleo Formal atendió a 118,425 personas y logró colocar al 54.9% • Jornalero Agrícolas atendió a 47,936 personas y logró colocar al 42.9%

41. Ejemplo 1: Programa de Apoyo al Empleo-STPSAHORA • Como resultado de la estrategia de capacitación y de los comentarios que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora cuenta con los siguientes indicadores de RESULTADOS

42. Ejemplo 2: 3x1 para Migrantes-SEDESOLANTES • Indicadores de Resultados de las Reglas de Operación 2008 X 100 X 100 X 100 NOTA: El programa no ha actualizado los indicadores de las ROP

43. Ejemplo 2: 3x1 para Migrantes-SEDESOLANTES • En el informe de labores 2007, la dependencia reporta como resultados del programa lo siguiente: • Para el presente ejercicio, el Programa cuenta con un techo presupuestal de 220 millones de pesos. A julio de 2007 se han realizado un total de 696 proyectos, de los cuales: • 40.9% son obras de pavimentación, urbanización y mejoramiento urbano; • 12.5% son proyectos de agua potable; • 9.9% son de drenaje, mientras que las electrificaciones fueron un 8.8% de los proyectos realizados; • 10.6% son obras de infraestructura educativa, deportiva y de salud; • 2.2% son caminos rurales, y un 15.1% se destinaron a otro tipos de proyectos (productivos, orfanatos, asilos, centros comunitarios, centros culturales, rehabilitación de edificios históricos y becas).

44. Ejemplo 2: 3x1 para Migrantes-SEDESOLAHORA • Como resultado de la estrategia de capacitación y de los comentarios que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora cuenta con los siguientes indicadores de RESULTADOS X 100 X 100

45. Índice • Antecedentes • Qué es el Coneval: Aspectos Institucionales • Sistema de Evaluación y Monitoreo en México • Monitoreo, avances y usos de la MML • Evaluación de Consistencia y Resultados • Esquema de Seguimiento a Recomendaciones • Retos a futuro

46. Evaluación de Consistencia y Resultados Objetivo: Evaluar hasta qué punto los programas sociales tienen una clara consistencia interna y una orientación hacia resultados, basados en la documentación y procesos de los propios programas Es un diagnóstico sobre la capacidad institucional, organizacional y de gestión de los programas para la búsqueda de resultados. Es un instrumento homogéneo, cuantificable, para poder comparar el desempeño entre programas. La evaluación se llevó a cabo entre 2007 y 2008 para 119 programas (Sedesol, Sagarpa, IMSS, SEP, SS, Economía, STPS, Reforma Agraria, …)

47. Busca medir, de manera homogénea, el desempeño global de los Programas (gestión y RESULTADOS) Con base en los resultados de la evaluación, se espera que los programas mejoren su diseño y gestión; volverán a ser evaluados en un futuro En el 2007, será un “Diagnóstico” de la orientación de los programas hacia una gestión para RESULTADOS En años posteriores, la evaluación deberá contener adicionalmente una comparación con los resultados encontrados en la evaluación de consistencia y resultados que se haya efectuado con anterioridad EVALUACIÓN DE CONSISTENCIA Y RESULTADOS: OBJETIVOS

48. La evaluación servirá para tomar decisiones de política pública con el fin de mejorar la gestión y los resultados de los programas Se desarrollarán seminarios entre evaluadores, junto con servidores públicos, para analizar conjuntamente los resultados de las evaluaciones y metodologías aplicadas. Los evaluadores presentarán al H. Congreso de la Unión, al CONEVAL, a la SHCP y a la SFP, los resultados obtenidos de la evaluación Las evaluaciones serán difundidas públicamente con el objetivo de que los actores claves y la ciudadanía en general, conozcan el desempeño de los programas El CONEVAL tendrá un mecanismo de evaluación del proceso de evaluación, que incluye la calidad de las evaluaciones IMPORTANCIA DE LA EVALUACIÓN DE CONSISTENCIA Y RESULTADOS

49. Evaluación de Consistencia y Resultados. Características Esta evaluación es la línea de base para analizar con qué tipo de programas cuenta el nuevo Gobierno para lograr sus metas. La evaluación se compone de 100 preguntas en los temas de: Diseño, Planeación Estratégica, Operación, Población Objetivo y Cobertura, Percepción de los Beneficiarios y Resultados Finales. Diseño Identificación correcta para solventar el problema o necesidad Contribución del programa federal a los objetivos estratégicos Evidencia científica de que el programa contribuye positivamente a la consecución de su fin y propósito Lógica vertical y horizontal de la matriz de indicadores Población potencial, padrón de beneficiarios, Reglas de Operación, Duplicidades

50. Evaluación de Consistencia y Resultados Características Planeación Estratégica Mecanismos y herramientas de planeación Mecanismos para establecer y definir metas e indicadores Avance en el desarrollo de mecanismos de seguimiento y monitoreo Herramientas enfocadas a implementar y desarrollar una gestión para resultados Impacto presupuestario y las fuentes de financiamiento Cobertura y focalización Cuantificación de la población potencial y objetivo Población atendida con respecto a la población potencial y objetivo Estrategia de cobertura y focalización Funcionamiento de los mecanismos de selección y focalización aplicados