Unidad de Evaluación del Desempeño Área de Capacitación y Transparencia Mayo 2012

1. Curso Taller en Gestión para Resultados (GpR) Presupuesto basado en Resultados (PbR) y Sistema de Evaluación del Desempeño (SED) en México Unidad de Evaluación del Desempeño Área de Capacitación y Transparencia Mayo 2012

2. Objetivos de la Sesión Sensibilizar y dar a conocer a los participantes del ISSFAM, los conocimientos, importancia e impacto de la implementación de la Gestión para Resultados, el Presupuesto basado en Resultados y el Sistema de Evaluación del Desempeño. Aprender los conceptos fundamentales del Presupuesto Basado en Resultados y el Sistema de Evaluación del Despeño (PbR-SED) para el entendimiento de este nuevo paradigma de administración pública que está revolucionando la gestión gubernamental alrededor del mundo, y del que México se está convirtiendo en referente regional. Proporcionar las herramientas teórico-prácticas para poner en práctica de manera cotidiana los procesos del PbR-SED potenciar, día a día, la eficiencia, eficacia y calidad de las acciones de gobierno, e impulsar el desarrollo nacional.

3. Conceptos Básicos • La Gestión para Resultados (GpR)es un modelo de cultura organizacional, directiva y de desempeño institucional que pone más énfasis en los resultados que en los procedimientos. Aunque también interesa cómo se hacen las cosas, cobra mayor relevancia qué se logra y cuál es su impacto en el bienestar de la población; es decir, la creación de valor público. • El Presupuesto basado en Resultados (PbR) es el proceso que integra de forma sistemática consideraciones sobre los resultados y el impacto de la ejecución de los programas presupuestarios y de la aplicación de los recursos asignados en la toma de decisiones. Lo anterior, con el objeto de entregar mejores bienes y servicios públicos a la población, elevar la calidad del gasto público y promover una más adecuada rendición de cuentas. • El Sistema de Evaluación del Desempeño (SED) permite la valoración objetiva del desempeño de los programas y las políticas públicas a través del seguimiento y verificación del cumplimiento de metas y objetivos, con base en indicadores para conocer de manera transparente los resultados del ejercicio de los recursos y el impacto social de los programas, identificar la eficacia, eficiencia, economía y calidad del gasto y aumentar la productividad de los procesos gubernamentales.

4. Presupuesto Inercial vs. Presupuesto Basado en Resultados

5. Presupuesto basado en Resultados: Experiencia Internacional Su implementación generalmente obedece, ya sea a la necesidad de mejora del gasto y de la asignación presupuestal.

6. ¿Y México? Proceso de Reformas

7. Marco Jurídico

8. Principales involucrados en el PbR-SED Principales Involucrados en el PbR-SED

9. Conceptos específicos • Programa presupuestario • Es una categoría que permite organizar, en forma representativa y homogénea, las asignaciones de recursos de los programas federales y del gasto federalizado a cargo de los ejecutores del mismo, para el cumplimiento de sus objetivos y metas. • Si bien las entidades federativas y municipios no contemplan esta categoría, deben adoptar una estructura programática similar, que refleje la unidad y congruencia de sus programas y proyectos; su alineación con un Plan Estatal o Municipal de Desarrollo; y que facilite la identificación, comprensión y seguimiento de las prioridades gubernamentales. • Metodología del Marco Lógico (MML) • Es una herramienta de planeación estratégica basada en la identificación y solución de problemas o aspectos a resolver, organizando de manera sistemática y lógica los objetivos de un programa y sus relaciones de causalidad; identificar y definir los factores externos al programa que pueden influir en el cumplimiento de los objetivos; evaluar el avance en la consecución de los mismos, así como examinar el desempeño del programa en todas sus etapas.

10. Planeación Estratégica del PbR. Vinculación de objetivos Objetivos Nacionales Ejes de política pública Objetivos Estrategias PND Objetivos de los programas del PND Estrategias Líneas de acción Programas del PND Objetivo Estratégico de la Dependencia Categorías y elementos programáticos Programación Grupo Funcional Función Sub-función Actividad Institucional PP – Objetivos - Indicadores Programa Presupuestario Fin Matriz de indicadores (Metodología del Marco Lógico) Medios de Verificación Propósito Indicadores Supuestos Objetivos Componente Actividad

11. Metodología del Marco Lógico para la Administración Pública Federal

12. I. Definición del Problema Definición del Problema, comienza con su identificación y esto se logra a través del planteamiento de una pregunta analítica, cuya solución resume la situación problemática que debe ser revertida, incluyendo a la población o área afectada:

13. Población Objetivo Para responder adecuadamente a las preguntas planteadas es indispensable tener en mente el concepto de población: Población o Área Total: Conjunto de personas que habitan en cualquier división geográfica dada, o problemática genérica (ej. todos los mexicanos, todos los habitantes de México, Educación, Salud, etc.). Población ó Área Potencial: Conjunto de personas que presentan una problemática común o situación susceptible de intervención gubernamental. Población Objetivo o Área de Enfoque: Personas, bienes, institución(es) o área(s) que pueden agruparse por la presencia o ausencia de un atributo que le identifica como problemático(a), necesitado(a) y/o con oportunidades de mejora y que pueden ser atendidos en un periodo de tiempo dado o sujetos a las restricciones existentes. Si bien puede circunscribirse un tipo de población al otro, existen casos en que son iguales; es decir, que la población objetivo es la población total o potencial.

14. Árboles de Problemas y Objetivos

15. Un paso adelante…definición de la Matriz de Indicadores para Resultados (MIR) La Matriz de Indicadores para Resultados (MIR)es la herramienta de planeación estratégica que en forma resumida, sencilla y armónicaestablece con claridad los objetivos de un programa y su alineación con aquellos de la planeación nacional y sectorial; incorpora los indicadores que miden los objetivos y resultadosesperados; identifica los medios para obtener y verificarla información de los indicadores; describe los bienes y servicios a la sociedad, así como las actividades e insumospara producirlos; e incluye supuestos sobre los riesgos y contingencias que pueden afectar el desempeño del programa.

16. Árbol de Problemas: elaboración

17. Ejemplo Federal Pregunta analítica: ¿Qué sucede con la educación superior en México?

18. Árbol de Objetivos: elaboración

19. Ejemplo Federal

20. Estructura Analítica del Programa Presupuestario

21. Partes de la Matriz de Indicadores para Resultados (MIR)

22. Partes de la Matriz de Indicadores para Resultados (MIR): Filas

23. Partes de la Matriz de Indicadores para Resultados (MIR): Columnas

24. Partes de la Matriz de Indicadores para Resultados (MIR): Filas y Columnas

25. Del Árbol los Resúmenes Narrativos

26. Ejemplo Federal

27. Lógica Vertical Si el programa está bien diseñado se pueden examinar los vínculos causales lógicos tanto de forma horizontal como vertical: Lógica Vertical:

28. Indicadores • Cada uno de los resúmenes narrativos, se traducirá en variables susceptibles de cálculoa través de los indicadores. Cada indicador deberá reflejar en la MIR su: • Definición: redacción explicativa de aquello que mide el indicador • Método de cálculoexplícito: Redactado a modo de fórmula matemática. • Frecuencia de medición: Cada cuánto se reporta el indicador. • Medios de verificación: Fuentes precisas de donde se obtiene la información.

29. Criterios para la elección de Indicadores de desempeño Se definen los siguientes seis criterios para la construcción de indicadores: Relevante Debe proveer información sobre la esencia del objetivo que se quiere medir; deben estar definidos sobre lo importante, con sentido práctico. Claro Monitoreable Adecuado AportaciónMarginal Económico Los indicadores deben poder sujetarse a una comprobación independiente. Los indicadores deben ser tan claros, directos e inequívocos como sea posible; es decir, entendibles. Provee suficientes bases para medir. Un indicador no debería ser ni tan indirecto ni tan abstracto que estimar el desempeño se convierta en una tarea complicada y problemática. En el caso de que exista más de un indicador para medir el desempeño en determinado nivel de objetivo, el indicador debe proveer información adicional en comparación con los otros indicadores propuestos. Todos los indicadores tienen costos e implicaciones para su construcción y medición; se deben elegir aquellos que estén disponibles a un costo razonable. Los indicadores no deben necesariamente cumplir con todos estos criterios. Éstos simplemente se deberán tener en cuenta para elegir o desechar indicadores.

30. Indicadores por nivel de la MIR. Ejemplo

31. Dimensiones de los Indicadores del Desempeño

32. Indicadores Programa de las Naciones Unidas para el Desarrollo http://hdrstats.undp.org/es/indicadores/default.html Banco Mundial http://datos.bancomundial.org/indicador www.transparenciapresupuestaria.gob.mx Consejo Nacional de Población www.conapo.gob.mx/ Instituto Nacional de Estadística y Geografía www.inegi.gob.mx/

33. Supuestos. Ejemplo Son los factores externos al funcionamiento del programa y sus operadores, que tienen que suceder para el logro de los objetivos del programa. Se redactan en positivo.

34. Lógica Horizontal • Los indicadores definidos permiten hacer un seguimiento puntual de los objetivos y evaluar adecuadamente el desempeño del programa. • Los medios de verificación identificados son los necesarios y suficientes para obtener los datos requeridos para el cálculo de los indicadores. • Se han identificado supuestos para cada nivel del resumen narrativo.

35. Evaluación ¿Qué es una Evaluación? Estimación sistemática y objetiva de un proyecto, programa o políticas en curso o concluidos, que se efectúa con el propósito de determinar la pertinencia y el logro de los objetivos, la eficiencia, efectividad, impacto y sostenibilidad de éstos, aportando información fidedigna y útil sobre los resultados obtenidos, que permita mejorar el proceso de toma de decisiones. ¿Quién evalúa? La evaluación externa es realizada por expertos, instituciones académicas y de investigación u organismos especializados, de carácter nacional o internacional, que cuenten con reconocimiento y experiencia en materia de PbR-SED. ¿Qué se espera de las evaluaciones? Proporcionar a los responsables de la administración de los programas los elementos sustentados que permitan llevar a cabo acciones encaminadas a mejorar el desempeño de los mismos; así como una apreciación informada acerca de su orientación hacia el logro de resultados. Así como la difusión de las mismas para informar a la ciudadanía del desempeño de los programas y facilitar la adecuada rendición de cuentas.

36. Tipos de Evaluación I. Evaluación de Programas Federales:las que se aplican a cada programa, las cuales se dividen en:de Diseño: analiza la justificación de la creación de un programa, identifica la vinculación con la planeación sectorial y nacional , analiza la consistencia entres su diseño y la normatividad aplicable e identifica posibles complementariedades con otros programas federales. de Consistencia y Resultados:analiza sistemáticamente el diseño y desempeño global de los programas federales, para mejorar su gestión y medir el logro de sus resultados. de Indicadores:analiza mediante trabajo de campo la pertinencia y alcance de los indicadores de un programa federal para el logro de resultados. de Procesos:analiza mediante trabajo de campo en el programa si lleva a cabo sus procesos operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestión. de Impacto:identifica con metodologías rigurosas si hubo cambio en los indicadores a nivel de resultados atribuible a la ejecución del programa federal. Específica: aquellas evaluaciones no comprendidas en el presente lineamiento y que se realizarán mediante trabajo de gabinete y/o de campo. II. Evaluaciones Estratégicas:las cuales se aplican a un programa o conjunto de programas en tanto a las estrategias de políticas e instituciones.

37. Modelo Sintético de Información del Desempeño (MSD)

38. Modelo Sintético de Información del Desempeño (MSD) Uno de los principales retos del Presupuesto basado en Resultados y el Sistema de Evaluación del Desempeño (PbR-SED) ha sido la construcción de una herramienta que permita que la información de desempeño (el seguimiento y la evaluación) sea considerada para la toma de decisiones, de tal forma que se logre integrar, concentrar, consolidar y sintetizar la información disponible. Debido a la cantidad y complejidad del concentrado de información correspondiente a la APF, se creó el Modelo Sintético de Información del Desempeño (MSD).

39. Modelo Sintético de Información de Desempeño (MSD) Un modelo es la representación de un fenómeno social que, a través de una fórmula matemática (ecuación o sistema de ecuaciones), expresa las relaciones entre los factores que lo afectan (variables) y la magnitud en que lo hacen (parámetros, operaciones, etc.). El MSD es un instrumento que hace acopio de la información de desempeño de los Programas presupuestarios (Pp) de la APF con el fin de conocer y valorar su comportamiento. Para el desarrollo del modelo, se utilizan diversos métodos de Evaluación, los cuales permiten estandarizar y sintetizar información de fuentes diversas.

40. Propósito que persigue Que las Dependencias y Entidades de la APF: Cuenten con elementos para la toma de decisiones de asignación presupuestaria basada en los resultados de los programas. Utilicen la información para mejorar los objetivos, indicadores, metas y todos aquellos aspectos derivados de las evaluaciones externas. Identifiquen externalidades positivas y complementariedades entre programas, para fortalecerlos. Justifiquen cualquier propuesta de incremento o decremento de asignación presupuestaria que se presente.

41. Proceso de selección de las variables del modelo _ Variables del MSD • Identificación de variables adecuadas: • Presupuesto de Egresos de la Federación (PEF) • Programas prioritarios • Matriz de Indicadores para Resultados (MIR) • Evaluaciones (Específica de Desempeño, Proceso y Diseño) • Aspectos Susceptibles de Mejora (ASM)

42. Proceso de selección de las variables del modelo-Teoría A partir de la identificación de las variables adecuadas, se procedió a: • La calificación de variables. • La especificación de metodologías matemáticas adecuadas. • La determinación y estimación de ponderadores a través de métodos matemáticos iterativos difusos (estos métodos se explican en las láminas posteriores). • Al modelado formal. • Al procesamiento de los datos para la generación de la Información de Desempeño Sintetizada.

43. Métodos matemáticos difusos Un modelo difuso, está basado en la idea de que las variables son de carácter lingüístico y que, por lo tanto, deben ser manejadas no como un número sino más bien por las características que ellas presentan. De este modo, dado un conjunto de entradas a un sistema de ecuaciones, el objetivo del modelo es predecir los valores de salida, así el comportamiento del sistema puede darse con un conjunto de reglas; en el cual cada regla dará un valor numérico de la variable de salida. • Lo que justifica el desarrollo de la Lógica difusa es la necesidad de un marco conceptual dónde tratar la incertidumbre no probabilística y la imprecisión léxica ya que sirve para: • Procesar y manipular información y datos afectados de incertidumbre e imprecisión no probabilística. • Representar matemáticamente incertidumbre y vaguedad. • Proporcionar herramientas formalizadas para trabajar con la imprecisión intrínseca en muchos problemas. • La teoría de conjuntos difusos es un instrumento eficaz y riguroso para abordar los problemas en los que la fuente de imprecisión es la ausencia de un criterio claramente definido.

44. Métodos iterativos Trata de resolver un problema (ecuación o sistema de ecuaciones) mediante aproximaciones sucesivas a la solución. Son de especial utilidad para problemas con un gran número de variables. Difiere de los métodos directos, que tratan de resolver el problema en una sola oportunidad.

45. Variables del MSD 1. Presupuesto de Egresos de la Federación (2008 – 2011) El primer reactivo considera la eficiencia de gasto de cada Programa presupuestario de los últimos 4 años, mediante el cálculo de la diferencia entre el presupuesto ejercido y el aprobado para determinar el grado de sub-ejercicio o sobre-ejercicio. Cuando un Programa no cuenta con el Aprobado por diversas razones (como el ingreso de recursos propios) se toma como dato el presupuesto Modificado para su cálculo.

46. Variables del MSD 2. Prioridades de política pública Este reactivo considera los Programas presupuestarios con Prioridad establecida por la Ley Federal de Presupuesto y Responsabilidad Hacendaria (artículo 42), que simplifica el proceso de la valoración final del Pp de acuerdo a las inferencias establecidas.   Si el programa no es determinado prioritario en el “Documento Relativo al Cumplimiento de las Disposiciones Contenidas en el Artículo 42, Fracción I, de la Ley Federal de Presupuesto y Responsabilidad Hacendaria” que se emite anualmente, la variable será nula, de acuerdo con las restricciones establecidas en el modelo.

47. Variables del MSD 3. Matriz de Indicadores para Resultados (MIR) La valoración de los resultados  de la MIR es considerada, de acuerdo a las siguientes reglas: Si el programa no tiene MIR, la variable será nula.

48. Variables del MSD 4. Evaluaciones Externas • Para cada tipo de evaluación externa se consideran los reactivos más relevantes mediante un algoritmo iterativo: • Evaluaciones Específicas de Desempeño. Se consideran los siguientes reactivos: Resultados de Fin y Propósito, Hallazgos Relevantes, Avances de Indicadores y Análisis de Metas, Cobertura y Eficiencia. • Evaluaciones de Diseño. Se consideran los siguientes reactivos: Identificación del problema, Contribución a los objetivos estratégicos y nacionales, Identificación de la Población Potencial y Objetivo, Vinculación con las Reglas de Operación y Normatividad Aplicable. • Evaluaciones de Procesos. Se consideran los reactivos de Eficiencia y Suficiencia.

49. Variables del MSD 5. Aspectos Susceptibles de Mejora (ASM) Los ASM son el resultado de las recomendaciones emitidas por las evaluaciones externas que son reportados, programados, registrados y actualizados en el Sistema de Seguimiento a Aspectos Susceptibles de Mejora (SSAS). Para los ASM, se toman en cuenta el grado de avance en el cumplimiento de las recomendaciones y valorados conforme a la siguiente tabla:

50. Información Sintetizada. Para obtener la calificación de desempeño general de cada Pp se utiliza la metodología de los modelos aditivos de suavizamiento no paramétricos en el contexto de la lógica y mapa cognitivo difusos, donde cada uno de ellos aporta al resultado final. El rango de valores es de 1 a 5, siendo 5 el que representa el desempeño más alto. Esta información es ranqueada por Ramo y verbalizada de conformidad con los siguientes criterios: