Experiencia del D.F. en la Evaluación del Desempeño Gubernamental

1. Experiencia del D.F. en la Evaluación del Desempeño Gubernamental Sandra Luz Ramírez Marroquín Junio 2012

2. Contenido • Modelo de Evaluación • Qué es y Cómo se diseña un Indicador • Avances en la Evaluación del Desempeño Gubernamental • Replicabilidad de la Estrategia

3. 1. Modelo de Evaluación

4. Modelo Conceptual 1. Estructura Dinámica de Evaluación 2. Marco Metodológico 3. Coordinación Interinstitucional 4. Administración del Conocimiento

5. En términos del programa, los tipos de indicadores son: • Indicadores de Gestión: Expresiones cuantitativas que permiten determinar el grado de ejecuciónde las actividades, la asignación y el uso de recursos en las diferentes etapas de los procesos, proyectos y programas • Ejemplo:Porcentaje de Alumnos con Becas Entregadas en el periodo • Indicadores de Resultados: Expresiones cuantitativas que permiten medir el grado de logro de los objetivos del ente público, sus servicios, programas y proyectos • Ejemplo: Eficiencia Terminal de los Alumnos que Recibieron la Beca en el Periodo • Indicadores de Impacto: Expresiones cuantitativas que permiten medir los efectos a mediano y largo plazo de un conjunto de acciones en el nivel de desarrollo social, económico o político de una sociedad • Ejemplos: Porcentaje de ex alumnos becados que tienen un mejor salario que el grupo de control, Índice de Desarrollo Humano.

6. Indicadores de Gestión Específicos y de Resultados

7. Interacción con los entes públicos

8. SIPROMOEVA • www.sipromoeva.df.gob.mx • A este sistema se tiene acceso vía Web, los usuarios tienen accesos diferenciados dependiendo del perfil de usuario que se les asigne • Tres módulos: Captura de información, Consulta y Mensajería • Se podrán generar reportes y gráficos en una segunda fase

9. 1. Portafolio de Indicadores de Gestión para toda la APDF 2. Construcción de Indicadores de Resultados para no solo medir gestión, sino logros respecto a objetivos: Análisis Mesas de trabajo Propuesta de indicadores 9 entes públicos con mayor impacto en el bienestar de la población del D.F. y se desarrolló un análisis de alineación estratégica De este análisis se derivaron y propusieron indicadores de resultados para consolidar un solo portafolio por ente Se presentó a los 9 entes públicos y se instalaron mesas de trabajo para mejorar, validar y analizar la factibilidad de los indicadores de resultados Ajustes OSC/Académicos Acuerdos Verificaron la pertinencia y la factibilidad de incluir los cambios propuestos por las OSC y los académicos en una 1a o 2a etapa Se presentaron los Portafolios para revisión y mejora con OSC y con académicos reconocidos en cada tema Se acordaron portafolios consolidados por ente público y se firmaron acuerdos de las mesas

10. Portafolios de Indicadores de Resultados Concluidos a la Fecha Procuraduría General de Justicia Secretaría de Seguridad Pública Secretaría de Salud Secretaría de Desarrollo Social Secretaría de Educación Fideicomiso de Educación Garantizada Secretaría de Desarrollo Económico Secretaría del Medio Ambiente Instituto de Vivienda Instituto de Ciencia y Tecnología

11. Portafolios de Indicadores de Resultados en Proceso Acordados, pendiente revisión de académicos y OSC Instituto de la Juventud del D.F. Secretaría de Transporte y Vialidad Secretaría del Trabajo y Fomento al Empleo Secretaría de Cultura Instituto de Educación Media Superior del D.F. En proceso de acordar con el ente público Inmujeres – D.F. Secretaría de Protección Civil Servicios de Salud Pública del D.F. SEDEREC Secretaría de Obras y Servicios Instituto de Verificación Administrativa En proceso de análisis y propuesta DIF-DF Secretaría de Desarrollo Urbano y Vivienda Secretaría de Turismo Total de entes con portafolio de indicadores de resultados: 24

12. Ejemplo Indicadores de Resultados FIDEGAR

13. Reportes Mensuales Reportes Trimestrales Reportes Anuales • Reporte por Delegación • Reporte Mensual Comparativo de Delegaciones • Reporte Trimestral por Ente Público • Reporte Trimestral Comparativo de Delegaciones • Reporte Trimestral Comparativo por Gabinete • Reporte Anual por Ente Público • Reporte Anual Comparativo por Gabinete • Reporte Anual Comparativo de Delegaciones • Evaluación Anual de Resultados por Ente Público (21)

14. 2. ¿Qué es y Cómo se Diseña un Indicador?

15. ¿Qué es un Indicador? Un indicador es una expresión cuantitativadel comportamiento y desempeño de una acción o proceso

16. ¿Para Qué Sirve un Indicador? • Mide el grado de logro de los objetivos de programas, servicios y proyectos • Permite evaluar y monitorear el desempeño gubernamental • Permite construir aprendizaje institucional para la toma de decisiones • Facilita el ejercicio eficiente del gasto, la transparencia, la rendición de cuentas y la participación ciudadana

17. Dos Clasificaciones de Indicadores • Dimensión • (De acuerdo a lo que miden) • Eficacia • Eficiencia • Economía • Calidad • Ámbitos de medición • (De acuerdo a la etapa) • Insumos (Recursos) • Procesos • Productos (Bienes y servicios entregados) • Resultados (Logros de programas o servicios)

18. De Insumos: • Evolución Anual del Concepto 4400 • Porcentaje de Servidores Públicos Capacitados • De Procesos: • Porcentaje de Programas Sociales aprobados por el COPLADE que cuentan con reglas de operación publicadas en Gaceta Oficial • De Productos: • Tasa de crecimiento de becas entregadas • De Resultados: • Eficiencia terminal de los niños de educación primaria becados Ejemplos de Indicadores por Ámbito

19. Indicadores por Dimensión> Eficacia • Mide: • Grado de cumplimiento de los objetivos de un programa • Logros entre lo planificado y lo obtenido • En que medida la institución esta cumpliendo con sus objetivos • Porcentaje de becas entregadas en relación a las programadas en el • Programa Justicia Social Becas Escolares • Porcentaje de niños que cuentan con su esquema • de vacunación completo

20. Indicadores por Dimensión> Eficiencia Mide: La relación entre el logro obtenido con respecto a los insumos o recursos utilizados • Productividad, costos medios, costos unitarios, gastos administrativos en relación al gasto total, entre otros • Porcentaje de gasto de operación del Programa Adulto Mayor respecto de gasto total

21. Indicadores por Dimensión> Economía Mide: La capacidad del programa o de la Delegación para administrar, generar o movilizar adecuadamente los recursos financieros. Si los recursos se han adquirido al menor costo y en el tiempo oportuno, así como en cantidad y calidaddeseada • Ingresos propios generados (autofinanciamiento) • Presupuesto ejercido • Tiempo promedio en que estuvieron averiadas las PC

22. Indicadores por Dimensión> Calidad Mide: Los atributos, capacidades o características que deben tener los bienes y servicios para satisfacer los objetivos • Grado de satisfacción de los beneficiarios del Programa Jefas de Familia • Tiempo de respuesta a requerimientos de los beneficiarios del Programa de Personas con Discapacidad

23. Tabla de Equivalencias entre Clasificaciones de Indicadores • (*) El Gobierno Federal visualiza la eficacia también en las actividades, procesos y productos (bienes y servicios) . Lo anterior se basa en usar como sinónimo la eficacia con la efectividad. • Eficacia: Una medida de cómo los recursos destinados al proyecto se convierten en productos y resultados esperados, con la calidad esperada. • Efectividad: Es la medida en que la intervención promueve o genera cambios deseables de actitud, conducta o desempeño en la población objetivo. • Si distinguimos las anteriores como diferentes, relacionamos la efectividad únicamente a los resultados y al impacto .

24. Pasos para Construir Indicadores 1. Seleccionar el Programa, Servicio, Trámite, Acción o Proyecto cuyo avance se desea medir Identificar los factores relevantes que se pueden medir (variables) 2. 3. Proponerindicadorespara cada factor relevante 4. Validar la factibilidad los Indicadores propuestos (costos, fuentes, estado de la información) 5. Proponerfórmulaspara cada Indicador 6. Establecer la periodicidad del indicador 7. Establecer su línea base (si existe) y metas

25. Elementos del Portafolio de Indicadores

26. Metodología del PROMOEVA para Generar Indicadores de Resultados> Alineación Estratégica

27. 3. Avances en la Evaluación del Desempeño Gubernamental

28. Cobertura del PROMOEVA • La Administración Pública del Distrito Federal cuenta con 90 entes públicos • De éstos, el PROMOEVA tenía una cobertura del 92% con 83 enlaces designados por los titulares • El enlace es la persona responsable ante la Contraloría General de reportar la información solicitada en el sistema y de cumplir con las acciones derivadas del PROMOEVA • El enlace debe ser al menos un subdirector en la estructura orgánica y pertenecer a las áreas de planeación, evaluación, administración o de la que principalmente opera los programas y servicios sustantivos del ente público

29. Información Confiable • El enlace tiene un perfil requerido y se le capacita • El Contralor Interno de cada ente público participa como revisor de la información antes de que se envíe a la Coordinación General de Modernización Administrativa (CGMA) por el SIPROMOEVA • Se capacita a los contralores internos • Se capacita a operadores de programas • Se tiene mapeado los procesos para generar los indicadores • La CGMA hace una revisión numérica y lógica de la información antes de validarla • La información reportada en SIPROMOEVA es sujeta de Auditorías del Desempeño y es vinculatoria • Las mesas de trabajo para indicadores de resultados permiten construir indicadores factibles, apegados a la realidad del objeto que miden

30. Reportes Mensuales , Trimestrales y Anuales 2010 Publicados • Portal Ciudadano • http://www. df.gob.mx/ • Portal de la Contraloría General • http://www.contraloria.df.gob.mx/wb/cg/evaluacion_del_desempeno_gubernamental • Portal de la Coordinación General de Modernización Administrativa • http://www.cgma.df.gob.mx/wb/cgma/catalogo_de_productos_de_monitoreo_y_evaluacion • Portal del SIPROMOEVA • http://www.sipromoeva.df.gob.mx/ • Ventanilla Única de Transparencia del DF • http://www.transparencia.df.gob.mx

31. Reportes Trimestrales por Ente

32. Reportes Trimestrales Comparativo Delegaciones

33. Reportes Trimestrales Comparativo de Gabinete

34. Reportes Anuales > Resumen Gráfico Ejecutivo

35. Reporte Anual Ejemplo de Recomendaciones

36. Reporte Anual Recomendaciones

37. Evaluación Anual Ejemplo Recomendaciones

38. Capacitación y Asesoría • Se da asesoría a los enlaces vía correo electrónico, mensajería del sistema y telefónica • Se han realizado capacitaciones en MML, indicadores y evaluación

39. Coordinación y Colaboración

40. Convocatoria a las OSC y Academia Colaboración en el diseño de indicadores de gestión y resultados La emisión de recomendaciones de política pública Aportaciones a la redacción ciudadana y revisión de la BoletaDF La redacción de la versión para el ciudadano de la Evaluación Anual La generación de estudios relacionados con la temática de los indicadores Difusión de la información de PROMOEVA y uso en investigación o análisis El envío de otras propuestas que promuevan la cultura de evaluación

41. Coordinación Interinstitucional • Para la emisión de la Convocatoria con OSC, se generó una propuesta de Convenio de Colaboración con el InfoDF, a fin de apoyar la transparencia y garantizar la publicación de indicadores de gestión y resultados. • Se plantea firmar un instrumento de colaboración entre la Contraloría General y la Contaduría Mayor de Hacienda para compartir información relativa a los indicadores de gestión a fin de darles uso dentro del Programa Anual de Auditorías de la Dirección General de Auditoría Programática-Presupuestal. Los productos de las auditorías realizadas por dicha Dirección serían compartidos con la Contraloría General, para utilizarlas como insumos para futuras evaluaciones y auditorías internas.

42. Institucionalización • Con base en las lecciones aprendidas durante 2011, se desarrollará el Manual de Procedimientos para el Monitoreo y Evaluación del Desempeño Gubernamental • Se incluyó la estrategia del PROMOEVAcomo mecanismo de monitoreo y evaluación en la propuesta de Reglamento de la Ley de Planeación del Distrito Federal • Se asesoraron, revisaron y enviaron 13 matrices de Marco Lógico a CONEVAL a las que se les dará seguimiento • Se recibieron, revisaron y formalizaron los procedimientos para generar indicadores de gestiónmensuales, trimestrales y anuales de la APDF • Se tiene coordinación con la Secretaría de Finanzas para evitar duplicidades y generar sinergias entre Evaluación y Presupuesto basado en Resultados

43. Portal BoletaDF

44. Portal BoletaDF

45. Portal BoletaDF

46. Estrategia Integral de Difusión

47. 4. Replicabilidad de la Estrategia

48. Por qué es replicable el PROMOEVA • El tema de evaluación es un elemento del ciclo de políticas públicas • La Gestión para Resultados adquiere vital importancia dadas las altas expectativas y demandas de los ciudadanos y el entorno de restricciones presupuestarias • El acceso a recursos federales, locales, internacionales y no gubernamentales requiere la fundamentación de que las acciones de gobierno son efectivas y tienen resultados que se traducen en beneficios para la población • Un gobierno que se evalúa tiene mayores oportunidades de tomar mejores decisiones, garantizar y acelerar el cumplimiento de sus objetivos, ser transparente, aprender de sí mismo, esto es, ser un mejor gobierno

49. Por qué es replicable el PROMOEVA • La necesidad de conocer cómo se va respecto de lo planeado es común a todos los gobiernos, los intentos aislados para evaluar son comunes, es posible que cuando se debe diseñar una política o programa, tomar una decisión o rendir cuentas, se buscan los indicadores y la información de los avances • El PROMOEVA es una política pública para aportar elementos de evaluación en un modelo de Gestión para Resultados: • Simplifica los diferentes marcos teóricos • Homologa y hace compatibles diferentes metodologías • Propone un modelo de gobernabilidad con los actores estratégicos implicados para contar con información confiable y generar sinergias • Considera no sólo los aspectos técnicos de la evaluación, sino también los culturales, humanos y organizacionales • Define productos de evaluación y los relaciona a la transparencia • Acota el alcance de los objetos y tipos de evaluación • Considera diferentes públicos con diferentes necesidades de información • Organiza y sistematiza información homologada para medir en el tiempo un mismo objeto y comparar entre dimensiones

50. Pasos para la Implementación de un Sistema de Evaluación Interna • Diagnosticar los elementos requeridos para una cultura de evaluación: • Si se tiene definida la Planeación Estratégica con objetivos y metas • Si se tienen identificados los asuntos sustantivos de los administrativos y si se alinean a la planeación • Si se tiene conocimiento y capacidades humanas para realizar indicadores y evaluar • Si se ubica y conoce el estado y calidad de la información (dueño-productor, papel o electrónica explotable, con un proceso fiable) • Estadísticas e indicadores existentes en informes, sistemas, bases de datos • Si se tienen capacidades tecnológicas para recopilar e integrar bases de datos • Si las acciones detectadas de evaluación son coyunturales o institucionalizadas y periódicas-permanente