Unidad de Evaluación del Desempeño Subsecretaría de Egresos, SHCP Junio 2012

1. Implementación del PbR-SED en México Unidad de Evaluación del Desempeño Subsecretaría de Egresos, SHCP Junio 2012

2. Indicadores macroeconómicos El manejo de las finanzas públicas en México refleja una era de responsabilidad fiscal… • Durante la última década, México ha emprendido importantes reformas económicas y políticas. En dicho periodo, se han atestiguado grandes mejoras en la salud de las finanzas públicas. • El gasto público mexicano, como porcentaje de su Producto Interno Bruto (PIB), es uno de los más bajos si se le compara con otros países de la OCDE y con sus pares en Latinoamérica. • 2

3. Construyendo un sistema de M&E Tres fases del desarrollo • Creación de un Sistema de Monitoreo y Evaluación (M&E) • México cambió de esfuerzos limitados y aislados de evaluación, concentrados en áreas específicas de la administración pública (ej. Educación, Agricultura, etc.), a un sistema de evaluación amplio, institucionalizado, normativo e integral , que se inspira en la experiencia internacional a la vez que desarrolla metodologías propias, y con una influencia progresiva en la toma de decisiones. • El camino de México hacia un sistema orientado a resultados puede dividirse en tres periodos: • Década de los años 70 a 90: Esfuerzos aislados: evaluaciones sectoriales. • Finales los años 90: Apertura del sistema político: evaluación de los programas sociales. • Actual: Institucionalización del M&E en todo el gobierno. • La Ley de Presupuesto y Responsabilidad Hacendaria de 2006 y la Reforma Fiscal Integral de 2007 • Creación del Sistema de Evaluación del Desempeño (SED) • Marco Legal para la presupuestación con base en resultados a nivel sub-nacional. • Armonización contable y financiera en todos los niveles gubernamentales: Federal, Estatal y Local. • 3

4. El PbR-SED El esfuerzo del gobierno por incrementar la eficiencia y eficacia de los programas públicos • Se basa en la programación exhaustiva y en la arquitectura presupuestaria. Un Programa Presupuestario (Pp) es una categoría que permite organizar, en forma representativa y homogénea, las asignaciones de recursos de los programas federales y del gasto federalizado a cargo de los ejecutores del mismo, para el cumplimiento de sus objetivos y metas. • El Sistema de Evaluación del Desempeño (SED) tiene dos componentes principales: • La evaluación de los Pp’s y políticas mediante: • Indicadores de desempeño (indicadores estratégicos) que miden los productos y resultados de los programas. • Evaluaciones de programas y políticas, realizados a partir del Programa Anual de Evaluación (PAE). • Evaluación de los procesos de gestión y entrega de bienes y servicios, a través del Programa de la Mejora de la Gestión (PMG). • 4

5. PbR-SED PbR-SED La relación del SED con la estrategia del Presupuesto basado en Resultados y el Plan Nacional de Desarrollo se puede representar con la siguiente gráfica: PLAN NACIONAL DE DESARROLLO 6 años dentro en el marco de una perspectiva de 20 a 25 años • Vinculación presupuestal del PND, sus objetivos y programas. • Objetivos estratégicos. • Metodología del Marco Lógico. • Objetivos, Metas e Indicadores. • Nuevos procesos de presupuestación y organización. • Ubicación de recursos basada en resultados. Presupuesto basado en Resultados (PbR) Alineación con el PND Programas Sectoriales Programas Presupuestarios Sistema de Evaluación del Desempeño (SED) Evaluación de las políticas y los programas presupuestarios (Indicadores presupuestales) Evaluación de Programas Sociales Calidad en la Gestión del Gasto (Indicadores de Gestión) Programa Anual de Evaluación Programa de Mejora de la Gestión (PMG) y Programa de Mediano Plazo (PMP) MEJORA DE LOS COMPROMISOS • 5

6. PbR-SED Principales involucrados en el PbR-SED Principales involucrados en el PbR-SED Principales Involucrados en el PbR-SED • 6

7. PbR-SED La información del desempeño sólo tiene sentido cuando se utiliza como herramienta para la planeación y presupuestación basada en resultados… • El PbR-SED busca vincular la planeación, presupuestación y la presentación de informes. El objetivo es asegurar que la información del desempeño generada por el SED sea empleada en el proceso de planeación y en la toma de decisiones presupuestarias. • Para sustentar la vinculación entre planeación y presupuestación, la Secretaría de Hacienda y Crédito Público (SHCP) ha emitido lineamientos para la nueva clasificación presupuestal del gasto público por programa presupuestario: • Esta clasificación identifica y refuerza la alineación de los programas presupuestarios con el Plan Nacional de Desarrollo (PND). • La nueva clasificación programática, en combinación con la Metodología del Marco Lógico (MML), busca fortalecer el vínculo entre los objetivos del PND, las metas de los programas presupuestarios y los indicadores del desempeño para cada uno de estos. • 7

8. PbR-SED La Presupuestación basada en Resultados y su vinculación con el Plan Nacional de Desarrollo Objetivos Nacionales Ejes de política pública Objetivos Estrategias PND Objetivos de los programas del PND Estrategias Líneas de acción Programas del PND Objetivo Estratégico de la Dependencia Categorías y elementos programáticos Programación Grupo Funcional Función Sub-función Actividad Institucional PP – Objetivos - Indicadores Programa Presupuestario Fin Matriz de indicadores (Metodología del Marco Lógico) Medios de Verificación Propósito Indicadores Supuestos Objetivos Componente Actividad • 8

9. PbR-SED Cooperación y Coordinación Interinstitucional México destaca entre los países de la OCDE por tener una estructura de evaluación con cuatro actores principales. Para mejorar la coordinación, se ha instaurado un Consejo o Grupo de Trabajo: GRUPO DE TRABAJO Oficina de la Presidencia Oficina de la Coordinación del Gabinete (15 servidores públicos) Secretaría de la Función Pública Unidad de evaluación SFP DEPENDENCIAS (USUARIOS) CONEVAL Consejo Nacional de Evaluación Dependencia Federal (73 servidores públicos) Secretaría de Hacienda y Crédito Público Unidad de Evaluación del Desempeño Gabinete (25 servidores públicos) • 9

10. PbR-SED FASES Para consolidar la estrategia del PbR-SED, la Secretaría de Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP) y el Consejo Nacional de Evaluación (CONEVAL), acordaron la conducción de tres procesos: a) Completar la Implementación del PbR- SED El proceso de implementación del PbR-SED se refiere a las acciones emprendidas en 2007 y 2008, encaminadas al establecimiento e implementación de principios, conceptos, metodologías, lineamientos y sistemas que sostuvieran la operación del PbR-SED. La fase de implementación del PbR-SED fue auditada por la Auditoría Superior de la Federación en 2010. • 10

11. PbR-SED FASES b) Consolidar el PBR-SED De 2009 a 2012, el objetivo principal ha sido expandir y mejorar la calidad de la estrategia del PbR-SED, utilizando la información del desempeño para la planeación, programación, presupuestación y distribución de los de los recursos públicos; así como para alinear los programas presupuestarios. La fase de consolidación del PbR-SED fue auditada por la Auditoría Superior de la Federación en 2011. • 11

12. MONITOREO Y EVALUACIÓN Sistema de Monitoreo y Evaluación Gasto presupuestal que cuenta con Matriz de Indicadores para Resultados (MIR) Porcentaje • Monitoreo y Evaluación • Monitoreo • Metodología del Marco Lógico (Matriz de Indicadores para Resultados [MIR]) • Revisión y mejora permanente de las MIR. • Ampliación de la cobertura de programas presupuestarios con MIR. • 47.8% del gasto presupuestal posee MIR. • 63.7% del total de programas presupuestarios posee MIR. • Evaluación • Todas las evaluaciones son externas e independientes. • 697 evaluaciones se han realizado desde 2007 de las 1033 programadas, de un universo de aproximadamente 1000 programas presupuestarios. • Programa Anual de Evaluación (PAE). Programas Presupuestarios con MIR Porcentaje • 12

13. PbR-SED Fases c) Apoyo a gobiernos estatales El Gobierno Federal ha establecido un programa, con el apoyo del Banco Mundial (BM) y el Banco Interamericano de Desarrollo (BID), para la implementación del PbR-SED en los gobiernos estatales. Un diagnóstico sobre la implementación del PbR-SED fue realizado en 2010 a las 31 entidades federativas y el Distrito Federal. Únicamente el Distrito Federal, Jalisco y el Estado de México mostraron avances significativos en la materia: • 13

14. RELACIÓN OFERTA-DEMANDA La UED provee de información a la UPCP para la toma de decisiones presupuestarias • La Unidad de Evaluación de Desempeño (UED) y la Unidad de Política y Control Presupuestario (UPCP) son parte de la Subsecretaría de Egresos de la Secretaría de Hacienda y Crédito Público. • DEMANDA INFORMACIÓN DEL DESEMPEÑO OFERTA • Unidad de Política y Control Presupuestario (UPCP) • Unidad de Evaluación de Desempeño (UED) • INFORMACIÓN DEL DESEMPEÑO SED PRESIDENCIA UPCP: POLÍTICA PRESUPUES- TARIA SUBSECRETARÍA DE EGRESOS MSD VALOR POR EL DINERO PAE Presupuesto basado en Resultados • SECRETARÍA DE HACIENDA Y CRÉDITO PÚBLICO Ubicación de recursos Criterios Adicionales Programa 1 • Indicadores Macroeconómicos • Objetivos del Plan Nacional de Desarrollo • Prioridades de política de la Administración Pública • Contingencias www ASM Programa 2 Programa 3 • UED: GENERA INFORMACIÓN DEL DESEMPEÑO • INFORMACIÓN DEL DESEMPEÑO Programa n TRANSPARENCIA Y RENDICIÓN DE CUENTAS • 14

15. VALOR POR DINERO Obtener el mayor beneficio con los recursos disponibles • Sin embargo, el Presupuesto basado en Resultados no significa dar mayor presupuesto a los programas mejor evaluados y menos a los peor evaluados. • Se trata de utilizar los escasos recursos públicos que constituyen el presupuesto de la mejor manera posible. En otras palabras, se trata de obtener el mayor valor por cada peso gastado. • Las decisiones presupuestarias deben procurar maximizar el costo-beneficio, es decir, el valor marginal de cada peso del presupuesto. • Esto es: gastar menos (economía), gastar mejor (eficiencia) y gastar sabiamente (efectividad). • Así, el ranqueo, generado con la información del desempeño, es una herramienta útil para la toma de decisiones presupuestarias. • 15

16. PbR-SED Presupuestación Tradicional / Presupuesto Basado en Resultados Insumos $ Insumos y Bienes Intermedios Inversión Presupuesto Tradicional Gestión Programas Sectoriales Presupuesto basado en Resultados PND Programas Productos Indicadores de Productos Estrategias Resultados Evaluaciones Impacto Indicadores de Resultados Objetivos de Política • 16

17. MONITOREO Y EVALUACIÓN • Modelo Sintético de Información del Desempeño • ¿Qué es el Modelo Sintético de Información del Desempeño? • El Modelo Sintético de Información del Desempeño(MSD) es un instrumento para la evaluación presupuestaria que recopila información del desempeño de los programas presupuestarios para conocer sus tendencias. • ¿Para qué sirve el MSD? • Las dependencias de la Administración Pública Federal: • Tienen elementos para la toma de decisiones presupuestarias basadas en resultados y justifican sus propuestas de incremento o reducción de recursos con información del desempeño. • Utilizan la información para mejorar sus objetivos, indicadores y metas, así como para atender los Aspectos Susceptibles de Mejora (ASM) detectados en las evaluaciones externas. • Identifican las externalidades positivas, así como posibles duplicidades que puedan considerarse para el fortalecimiento de los programas presupuestarios. • Presentan información de manera clara y simple, con un lenguaje que le permita al ciudadano conocer y entender el desempeño de los programas. • ¿Qué es la Evaluación General del Desempeño? • Para obtener la evaluación general de cada programa presupuestario se le evalúa en una escala del 1 al 5, donde 5 representa el puntaje más alto. • 17

18. MONITORING AND EVALUATION • Comprehensive Model of Performance Information (MSD) • MONITOREO Y EVALUACIÓN • Modelo Sintético de Información del Desempeño • ¿Qué elementos considera el MSD? • Eficiencia Presupuestaria (2008-2011) • La eficiencia en el ejercicio presupuestario para cada programa presupuestario se mide con la información de los últimos cuatro años. • La diferencia entre el presupuestos autorizado y ejercido permite determinar el grado de sub o sobre ejercicio. • Prioridades Gubernamentales • Toma en consideración las prioridades gubernamentales establecidas por ley. • Resultados del análisis de la Matriz de Indicadores para Resultados (MIR) 2009-2011, tomando en cuenta los siguientes criterios: • Calidad de la MIR acorde con evaluaciones externas. • Relación entre el incremento en la asignación presupuestal y el cumplimiento de objetivos. • Logro de metas. • Evaluaciones Externas • Toma en cuenta las evaluaciones realizadas por evaluadores independientes, penalizando la falta de evaluaciones a manera de incentivo para la realización de las mismas. • Aspectos Susceptibles de Mejora (ASM) • Mide el grado de cumplimiento de las recomendaciones resultado de evaluaciones externas. • 18

19. MONITORING AND EVALUATION SYSTEM • SYNTHETIC MODEL OF PROGRAM PERFORMANCE INFORMATION • MONITOREO Y EVALUACIÓN • Modelo Sintético de Información del Desempeño • ¿Cómo se evalúa el MSD? • Para cada programa presupuestario se toma en cuenta una calificación por cada elemento a considerar y se obtiene la calificación. • Para estandarizar dicha información y asegurar que sea comparable se utilizan modelos de dispersión, lo que permite determinar la variación de los datos a fin de establecer el intervalo de habilidades. Las medias móviles se utilizan para suavizar la variación de la información. • Resultados sobresalientes • La SHCP entabla reuniones con los responsables de los programas presupuestarios para analizar los resultados de su desempeño. La información es analizada por ambas partes para mejorar el proceso presupuestario y se alcanzan acuerdos con este fin. De estas reuniones se han alcanzado resultados como: • Mejoramiento de las MIR • Propuestas para nuevas evaluaciones externas • Eliminación de programas duplicados • Mejora de la estructura programática • Compactación de programas • Mejora de las metas programadas • Mejora de la información del desempeño • Revisión de las recomendaciones de las evaluaciones en curso • Re-distribución de recursos • Mayor transparencia • 19

20. MONITOREO Y EVALUACIÓN • Modelo Sintético de Información del Desempeño Presupuesto de Egresos de la Federación Alto Medio Alto Medio Medio Bajo Bajo Matriz de Indicadores para Resultados Aspectos Susceptibles de Mejora Evaluaciones Presupuesto de Egresos de la Federación, 2008 – 2011 Perfiles de Desempeño de las Variables del Programa presupuestario Conclusiones: • El Pp no es prioritario, por lo tanto sus valoraciones de desempeño no son afectados. • El PEF tiene una valoración Baja, Evaluación Baja y MIR Media, lo cual indica que el programa necesita revisar los componentes de su MIR o redefinir sus metas, debido a que tiene subejercicio sin cumplir las metas. Resultado que se muestra en la evaluación del programa. • Los ASM han sido cumplidos casi la mayoría, indicio de que en una valoración próxima tenga una mejora en cuanto a la redefinición de la MIR o en metas. • El Programa en general tiene un Desempeño Bajo debido al Subejercicio que presenta y al mismo tiempo, indicadores y metas con muy poco avance, además de una cobertura muy limitada y deficiente. • De acuerdo al análisis realizado, se carece de justificación alguna o sustento para un aumento en la asignación de Recursos. • 20

21. MONITOREO Y EVALUACIÓN • Modelo Sintético de Información del Desempeño • Análisis Funcional de los Programas presupuestarios • 21

22. EVALUACIÓN DEL DESEMPEÑO Re • Resultados del Modelo Sintético de Información del Desempeño (MSD) Sector Público Federal, Gasto Programable. Programas presupuestarios, 2012. • 22

23. EVALUACIÓN DEL DESEMPEÑO Re • Monitoreo PLANEACIÓN • Alineación con las prioridades nacionales (PND y programas derivados) • Elaboración y autorización de estructuras programáticas • Definición de Programas presupuestarios • Elaboración de Matriz de Indicadores para Resultados (MIR) • Formulación de los indicadores estratégicos y de gestión PROGRAMACIÓN RESULTADOS PRESUPUESTO • Asignaciones presupuestarias que consideren los resultados EJERCICIO Y CONTROL • Mejora en la gestión y calidad del gasto público • Reglas de operación de los programas MONITOREO • Informes de resultados • Monitoreo de indicadores • Evaluaciones y compromisos de mejora de políticas, programas e instituciones EVALUACIÓN • Cuenta Pública e Informes RENDICIÓN DE CUENTAS • 23

24. EVALUACIÓN DEL DESEMPEÑO Re • Metodología de Marco Lógico • 24

25. EVALUACIÓN DEL DESEMPEÑO Re • Partes de la Matriz de Indicadores para Resultados (MIR) : Filas • 25

26. EVALUACIÓN DEL DESEMPEÑO Re • Indicadores • Cada uno de los resúmenes narrativos, se traducirá en variables susceptibles de cálculoa través de los indicadores. Cada indicador deberá reflejar en la MIR su: • Definición: redacción explicativa de aquello que mide el indicador • Método de cálculoexplícito: Redactado a modo de fórmula matemática. • Frecuencia de medición: Cada cuánto se reporta el indicador. • Medios de verificación: Fuentes precisas de donde se obtiene la información. • 26

27. EVALUACIÓN DEL DESEMPEÑO Re • Indicadores (Dimensiones) • 27

28. EVALUACIÓN DEL DESEMPEÑO Re • Indicadores (Criterios) Relevante Debe proveer información sobre la esencia del objetivo que se quiere medir; deben estar definidos sobre lo importante, con sentido práctico. Claro Monitoreable Adecuado Aportación Marginal Económico Los indicadores deben poder sujetarse a una comprobación independiente. Los indicadores deben ser tan claros, directos e inequívocos como sea posible; es decir, entendibles. En el caso de que exista más de un indicador para medir el desempeño en determinado nivel de objetivo, el indicador debe proveer información adicional en comparación con los otros indicadores propuestos. Provee suficientes bases para medir. Un indicador no debería ser ni tan indirecto ni tan abstracto que estimar el desempeño se convierta en una tarea complicada y problemática. Todos los indicadores tienen costos e implicaciones para su construcción y medición; se deben elegir aquellos que estén disponibles a un costo razonable. Los indicadores no deben necesariamente cumplir con todos estos criterios. • 28

29. EVALUACIÓN DEL DESEMPEÑO Re • Referencias Programa de las Naciones Unidas para el Desarrollo http://hdrstats.undp.org/es/indicadores/default.html Banco Mundial http://datos.bancomundial.org/indicador www.transparenciapresupuestaria.gob.mx Consejo Nacional de Población www.conapo.gob.mx/ Instituto Nacional de Estadística y Geografía www.inegi.gob.mx/ • 29

30. EVALUACIÓN DEL DESEMPEÑO Re • Portal de Transparencia Presupuestaria www.transparenciapresupuestaria.gob.mx • 30

31. TRANSPARENCIA PRESUPUESTARIA Herramientas de transparencia: www.transparenciapresupuestaria.gob.mx • Contenidos Principales: • Información general sobre presupuesto y gasto públicos desde el año 2000 • Lenguaje Ciudadano, despliegue de gráficas y video, etc. • Estadísticas Financieras: Deuda, Transferencias a Estados y Municipios, Presupuesto asignado por programa y ramo presupuestario, etc. • Presupuesto Ciudadano • Evaluaciones de los programas presupuestarios desde 2007 (SED) • Todas las Matrices de Indicadores para Resultados (595) • 31

32. EVALUACIÓN DEL DESEMPEÑO Conclusiones • El monitoreo y evaluación no tiene ningún valor si la organización o proyecto no actúa sobre la información que surge del análisis de los datos recopilados. • Los administradores de los programas, así como los tomadores de decisiones deben dar seguimiento a la información de desempeño de forma rutinaria y estratégica. La frecuencia de las revisiones deberían ser determinada por el proceso presupuestario, la naturaleza de los objetivos que se está midiendo, el nivel de análisis, y muchos otros factores. • Las organizaciones públicas deben buscar las mejores prácticas que permitan reducir los costos y aumentar la calidad en bienes y servicios que entrega a la población. Utilizando la información de desempeño es la forma en que el gobierno puede lograr este objetivo. • En la medida en que los recursos públicos se asignen a programas con metas y objetivos claros, se garantizarán más y mejores servicios públicos, generando un mayor desarrollo para la sociedad, para el sector público y para el país.

33. Unidad de Evaluación del Desempeño Subsecretaría de Egresos Junio 2012