Noviembre 2008

1. 1 SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN - PRESUPUESTO POR RESULTADOS LA EXPERIENCIA CHILENA Noviembre 2008 Heidi Berner H. Jefa División Control de Gestión

2. SISTEMAEVALUACIÓN Y CONTROL DE GESTIÓN OBJETIVO: Generar información de desempeño e introducir prácticas para mejorar la calidad del gasto. • Eficiencia en la asignación de recursos • Eficiencia en el uso de los recursos • Transparencia

3. SISTEMA DE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES • Evaluaciones de programas gubernamentales • Evaluaciones de impacto • Evaluaciones comprehensivas del gasto INDICADORES DE DESEMPEÑO DEFINICIONES ESTRATÉGICAS Balance de Gestión Integral PRESENTACION PROGRAMAS AL PRESUPUESTO • MECANISMOS DE INCENTIVO REMUNERACIONAL INSTITUCIONAL • Programa de Mejoramiento de la Gestión (PMG) - Programa Marco Básico y Avanzado • Ley Médica 3

4. SISTEMA DE EVALUACIÓN 6) 2006: Aumento cobertura - 155 programas o instituciones serán valuados en 2006-2010. 7) 2009: Creación de nueva línea: Evaluación de Programas nuevos. INDICADORES DE DESEMPEÑO DEFINICIONES ESTRATÉGICAS Balance de Gestión Integral PRESENTACION PROGRAMAS AL PRESUPUESTO 1) 2007: Asistencia Técnica 2) 2008: Revisión Diseño de Programas 3) 2008: Fondo Modernización de la Gestión Pública MECANISMOS DE INCENTIVO REMUNERACIONAL INSTITUCIONAL 4) 2009: Programa de Mejoramiento de la Gestión (PMG) - Programa Marco de la Calidad 5) 2007: Metas de Eficiencia Institucional 4

5. INSTRUMENTOS DE EVALUACIÓN Y CONTROL DE GESTIÓN: Instrumentos de Monitoreo y Seguimiento • Indicadores de desempeño (1993) • Balances de Gestión Integral (1997) • Definiciones Estratégicas (2001) • Presentación Estándar de Programas al Presupuesto (2000) – a partir de 2008 con entrega de asistencia técnica Evaluación • Evaluación de programas gubernamentales (1997) • Evaluación de Instituciones (2002) • Evaluación de Programa Nuevos (2009) Mecanismos de Incentivo Institucional • Programas de Mejoramiento de Gestión (1998) • Ley Médica (2003) • Metas de Eficiencia Institucional (2007) Fondo de Modernización de la Gestión Pública (2008)

6. INCORPORACIÓN AL CICLO PRESUPUESTARIO Información de Desempeño SEGUIMIENTO Ley de Presupuestos EVALUACIÓN EJECUCIÓN FORMULACIÓN Presentación Proyecto Aprobación Ley PROCESO PRESUPUESTARIO

7. INFORMACIÓN DE DESEMPEÑO Y PRESUPUESTO • Relación no Directa (no mecánica). • Uso en Conjunto con otras categorías de información • Prioridades de Política • Restricciones financiera • Presentación al Congreso junto con el Proyecto de Ley de Presupuestos.

8. DEFINICIONES ESTRATEGICAS OBJETIVO Recoger información estratégica de la institución que permita orientar la formulación del presupuesto. • Misión • Objetivos Estratégicos • Productos Estratégicos • Clientes / Usuarios / Beneficiarios

9. INDICADORES DE DESEMPEÑO • Miden como evoluciona el desempeño de los pricipales productos de una institución pública a lo largo del tiempo • Mediciones se comparan principalmente con mediciones pasadas • Miden desempeño en diferentes: • Dimensiones (eficacia, eficiencia, economia, calidad de servicio) • Ambitos de control (proceso, producto y resultado)

10. INDICADORES DE DESEMPEÑO • Principios /Requisitos: • Relevantes (nivel central) • Verificables • Medibles a costos razonables

11. FORMULARIO INDICADORES EN EL PRESUPUESTO

12. Cobertura y Calidad de los Indicadores de Desempeño Nota: * Sin clasificación por ámbito de control ese año.

13. EVALUACIÓN Inicio : Año 1997 Marco Legal : • Protocolo de Acuerdo Congreso • Ley de Administración Financiera y su Reglamento (2003)

14. PROGRAMA DE EVALUACIÓN Programas • Evaluación Programas Gubernamentales (EPG) (1997): Analiza consistencia de los objetivos, aspectos de organización y gestión y resultados a nivel de producto (cobertura, focalización, entre otros). • Evaluación de Impacto (EI) (2001): Además de lo anterior, permite evaluar resultados intermedios y finales en los beneficiarios, utilizando grupos de control y técnicas econométricas. • Evaluación de Programas Nuevos (EPN) (2009): Diseña la evaluación desde que se inicia o planifica un nuevo programa público, estableciendo líneas bases para la futura evaluación de impacto del mismo. Instituciones • Evaluación Comprehensiva del Gasto (ECG) (2002): Evalúa una o más instituciones, abarcando aspectos de su diseño institucional, consistencia con las definiciones estratégicas, aspectos de gestión organizacional y resultados.

15. ASPECTOS DE LA EVALUACIÓN • Diseño • Organización y Gestión • Resultados: • Eficacia/Calidad • Eficiencia • Economía • Sostenibilidad (capacidades institucionales) • Justificación de la continuidad • Recomendaciones

16. EVALUACIÓN – PRINCIPIOS /REQUISITOS

17. EVALUACIÓN – PROCESO • Selección de Programas/Instituciones • Selección de Evaluadores • Preparación de Antecedentes • Capacitación y Preparación Marcos Lógicos Preliminares • Evaluación. • Resultados • Recomendaciones Envío al Congreso • Compromisos Institución / Ministerio de Hacienda • Acciones Específicas • Plazos Seguimiento

18. LÍNEA DE EVALUACIÓN DE PROGRAMAS GUBERNAMENTALES (EPG): OBJETIVOS - METODOLOGÍA • La metodología utilizada se basa en la metodología de marco lógico. • La metodología de marco lógico es utilizada por el Banco Interamericano de Desarrollo (BID), el Banco Mundial y otras agencias internacionales. • Es una herramienta que permite el análisis del ordenamiento, consistencia y cumplimiento de los objetivos (fin, propósito, componente y actividades) del programa.

19. SÍNTESIS ESQUEMÁTICA DE LA MATRIZ DE MARCO LÓGICO OBJETIVOS INDICADORES/METAS MEDIOS DE VERIFICACIÓN SUPUESTOS ( O FACTORES EXTERNOS) FIN PROPÓSITO COMPONENTES ACTIVIDADES

20. LÍNEA DE EVALUACIÓN DE PROGRAMAS GUBERNAMENTALES (EPG) • Evaluación realizada con información disponible • Basada en la metodología de Marco Lógico (permite evaluar • la consistencia entre los distintos niveles de objetivos) • Realizada por paneles de 3 expertos independientes, seleccionados • por concurso público • Plazo del estudio: 6 meses

21. LÍNEA DE EVALUACIÓN DE IMPACTO OBJETIVOS • Cuantificar y analizar el resultado final o impacto que tiene el programa o política pública en sus beneficiarios, participantes, o usuarios. • Analizar aspectos relativos al uso de recursos del programa.

22. EFICACIA – Aspectos a Evaluar • Resultados a nivel de Producto • Resultados del programa a nivel de componentes. Referido a los bienes y servicios entregados, beneficiarios atendidos, entre otras. Es decir, se trata de resultados de corto plazo. • La medición y evaluación de los resultados a nivel de producto se lleva a cabo principalmente mediante el uso de indicadores de desempeño, que miden la evolución de los niveles de producción y/o de los atributos o características más relevantes de los bienes o servicios entregados por el programa.

23. EFICACIA – Aspectos a Evaluar Resultados Intermedios: • Evalúa los cambios en el comportamiento de los beneficiarios que se producen una vez que estos han utilizado y asimilado los componentes del programa. Son resultados de mediano plazo, que presumiblemente facilitarán la generación de los beneficios de largo plazo. • Se desarrolla, generalmente, a través del análisis de las estadísticas descriptivas de estos resultados en base a información obtenida a través de una encuesta aplicada a una muestra representativa de beneficiarios, dada la imposibilidad, en la mayoría de los casos, de construir un grupo de control.

24. EFICACIA – Aspectos a Evaluar Resultados Finales: • Son resultados a nivel de propósito o fin del programa. Implican un mejoramiento significativo y, en algunos casos, perdurable o sustentable en el tiempo, en alguna de las condiciones o características de la población benefiaciaria. Son resultados de largo plazo. • Para evaluar el efecto del programa sobre resultados finales se debe identificar y separar los beneficios logrados como consecuencia de la intervención del programa, de aquellos que de todas maneras hubieran ocurrido sin la ejecución de éste, por efecto de la evolución normal de las condiciones del entorno o la acción de otros programas públicos o privados.

25. METODOLOGÍA DE EVALUACIÓN DE IMPACTO: DISEÑO CUASI - EXPERIMENTAL Cuando la asignación del tratamiento no es aleatoria, no es posible saber cuál hubiese sido el resultado para los beneficiarios si no hubieran recibido el tratamiento. Por lo tanto, es necesario crear una situación contrafactual: un grupo de control que se parezca lo más posible al grupo de beneficiarios, de modo de aproximar la estimación de efecto causal del programa. Y Beneficiarios Sesgo Control Diferencia Pre Programa t0 PROGRAMA t1 T

26. USO DE RECURSOS – Aspectos a Evaluar • Eficiencia: • ¿Se está alcanzando el nivel actual de producción de los componentes al mínimo costo posible o utilizando la menor cantidad de insumos posible (físicos o humanos)? • Economía: • Capacidad de la gerencia para administrar adecuadamente los recursos presupuestarios, para atraer recursos de otras fuentes y para abordar una eventual recuperación de costos del programa, si corresponde.

27. MEDICIÓN GLOBAL DEL DESEMPEÑO Aspectos a Evaluar • Relacionar los costos del programa con los resultados e impactos incrementales que los beneficiarios hayan obtenido como consecuencia de su participación en él. • Identificación y análisis de las externalidades positivas y negativas que pueda producir la ejecución del programa y que afectan a los beneficiarios y a otros particulares no beneficiarios.

28. LÍNEA DE EVALUACIÓN COMPREHENSIVA DEL GASTO ASPECTOS A EVALUAR a) Diseño Institucional a.1 Consistencia de las definiciones estratégicas institucionales. a.2 Consistencia entre beneficiarios y productos estratégicos, y entre estos últimos y los objetivos estratégicos. a.3 Estructura institucional y distribución de funciones, y su vinculación con los productos/subproductos estratégicos. a.4 Duplicaciones, superposiciones y complementariedades entre productos/subproductos estratégicos. a.5 Actividades y productos prescindibles o que pueden, por su naturaleza, ser ejecutados por el sector privado o sustituirlos por otros más eficaces. a.6 Si corresponde incorporar el enfoque de género en el diseño de los productos estratégicos.

29. Productos Clientes / Usuarios Indicador Gasto Asociado Medios de Estratégicos Beneficiarios Dimensión / Ámbito (M$) Verificación EVALUACIÓNCOMPREHENSIVA DEL GASTOMATRIZ DE EVALUACION Prioridades Gubernamentales Sistema de Programación Gubernamental MisiónMinisterial Misión Institucional Objetivos Estratégicos Ministeriales Objetivos Estratégicos Institucionales

30. EVALUACIÓN COMPREHENSIVA DEL GASTOASPECTOS A EVALUAR b) Gestión Organizacional b.1 Procesos de producción, mecanismos de coordinación y asignación de responsabilidades en relación a la provisión de los productos estratégicos. b.2 Capacidad institucional respecto de Recursos Humanos, Capacidades Tecnológicas, Gestión de la Información, Infraestructura, etc. b.3 Actividades e instrumentos de seguimiento, monitoreo y evaluación, y las actividades de fiscalización para velar por el adecuado uso y acceso a sus productos. b.4 Mecanismos de asignación y transferencia de recursos, modalidades de pago, incentivos y la relación entre los agentes ejecutores y la institución pública responsable. b.5 Mecanismos de auditoría, análisis de gasto, rendición de cuentas y transparencia en el uso de recursos para cada producto estratégico.

31. EVALUACIÓN COMPREHENSIVA DEL GASTO ASPECTOS A EVALUAR c) Resultados y Uso de los Recursos c.1 Evaluación de los resultados de productos y subproductos estratégicos, considerando los ámbitos de control (proceso, producto y resultados intermedios y finales) y las dimensiones del desempeño (eficacia, eficiencia, economía y calidad), vinculando estos resultados con los recursos asignados para la provisión de estos beneficios. Los indicadores utilizados en la evaluación tendrán como fuente tanto información construida para la evaluación como la de uso en la Institución. c.2 Se considera un análisis del presupuesto institucional y de la disciplina financiera (programación de gastos y ejecución financiera).

32. SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN • Nueva línea de evaluación potenciando el actual Sistema de Evaluación y Control de Gestión i) Diseño de la evaluación desde que se planifica o se inicia un nuevo programa público. ii) Considera la construcción de un grupo de control como parte del diseño de la evaluación, el que preferiblemente será obtenido a partir de un diseño experimental. iii) Radica la evaluación fuera del organismo que implementa el programa.

33. SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN • Nueva línea de evaluación potenciando el actual Sistema de Evaluación y Control de Gestión iv) Considera su implementación progresiva en el tiempo. v) Apoyo técnico de un Panel Asesor Internacional, conformado por académicos de gran prestigio y experiencia en la materia de diseño e implementación de evaluaciones de impacto. vi) Apoyo del Centro de Microdatos de la Facultad de Economía y Negocios de la Universidad de Chile, institución académica que tiene gran experiencia en el tema.

34. SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN • Nueva línea de evaluación potenciando el actual Sistema de Evaluación y Control de Gestión vii) El Panel Técnico Asesor está compuesto por: • Orazio Attanasio, Profesor, Departamento de Economía, University College London. • Jere Behrman, Profesor, Departamento de Economía, Universidad de Pennsylvania; • Paul Gertler, Profesor, Departamento de Economía, Universidad de California, Berkeley. • Petra Todd, Profesora, Departamento de Economía, Universidad de Pennsylvania; • David Bravo, Director del Centro de Microdatos, Universidad de Chile • Claudia Martínez, profesora, Departamento Economía, Universidad de Chile.

35. NUEVA LÍNEA DE EVALUACIÓN: Aspectos claves del diseño de las evaluaciones • identificación de las variables dependientes o resultados esperados; • ii) identificación de las variables independientes o explicativas que podrían influir sobre las variables dependientes identificadas, y por ende sobre los resultados e impacto del programa; • iii) identificación de las características de los potenciales beneficiarios en base a los criterios de elegibilidad del programa;

36. NUEVA LÍNEA DE EVALUACIÓN: Aspectos claves del diseño de las evaluaciones iv) identificación de la población potencial y población objetivo del programa, y diseño de la mejor estrategia para la extracción de un grupo de control, considerando idealmente la asignación aleatoria; v) identificación del horizonte de evaluación; vi) diseño del sistema de recolección de información para la medición de las variables identificadas como sistemas de información y bases de datos existentes; vii) levantamiento de la línea de base o situación al inicio del programa o política.

37. NUEVA LÍNEA DE EVALUACIÓN: Aspectos claves del diseño de las evaluaciones • Diseño Experimental: • Cuando la asignación del tratamiento es aleatoria, es posible medir los resultados en un grupo de control idéntico al grupo de beneficiarios, con lo que es posible estimar de forma muy precisa el efecto causal del programa. Y Beneficiarios Efecto del programa Control t0 PROGRAMA t1 T

38. NUEVA LÍNEA DE EVALUACIÓN: Aspectos claves del diseño de las evaluaciones • Diseño Cuasi-Experimental: • Cuando la asignación del tratamiento no es aleatoria, no es posible saber cuál hubiese sido el resultado para los beneficiarios si no hubieran recibido el tratamiento. Por lo tanto, es necesario crear artificialmente una situación contrafactual: un grupo de control que se parezca lo más posible al grupo de beneficiarios, de modo de aproximar la estimación de efecto causal del programa. Y Beneficiarios Efecto del programa Sesgo Control Diferencia Pre Programa t0 PROGRAMA t1 T

39. NUEVA LÍNEA DE EVALUACIÓN: Aspectos claves del diseño de las evaluaciones • Activades a desarrollar: • 1. Elaborar el modelo de causalidad para el programa (resultados esperados y mecanismos por los cuales se podrían lograr). • 2. Revisión de bases de datos previamente existentes • 3. Diseño preliminar de la evaluación • 4. Diseño y recolección de nueva información (ejemplo: encuestas).

40. EVALUACIONES 1997-2008Número de Programas/Instituciones Evaluados Nota: Las cifras entre paréntesis indican que son evaluaciones que aún no han finalizado.

41. Resultados Evaluación de Programas PúblicosRecomendaciones – Implicancias(EPG – EI)2000-2008

42. Cumplimiento de Compromisos al 30 de junio 2008, según año de evaluación (1999-2007) N° Total de compromisos vigentes al 30 de junio 2008: 865

43. PRESENTACION DE INICIATIVAS AL PRESUPUESTO • Ministerios postulan las iniciativas (programas nuevos o ampliaciones y reformulaciones de programas existentes). • La postulación se basa en matriz de marco lógico (fin, propósito, resultados esperados, indicadores, población objetivo) y en el análisis del diagnóstico que justifica la creación o ampliación de un programa. • Hacienda propone programas a financiar en base a calidad técnica y prioridades gubernamentales. Presidente toma la decisión final. • Se realiza un proceso de asistencia técnica para perfeccionar el diseño de los programas financiados que requieren de perfeccionamientos.

44. FORMATO : PRINCIPALES ASPECTOS • Denominación del programa • Unidad reponsable • Otros organismos involucrados • Periodo de ejecución. • Identificación presupuestaria • Aportes de terceros • Objetivo Estratégico y Productos a los que se vincula • Compromiso Ministerial al que se vincula

45. FORMATO : PRINCIPALES ASPECTOS • Justificación del programa: diagnóstico, estrategia • - programas nuevos • - programas existentes • Población potencial, objetivo, beneficiada • Programación Financiera (Anexo 1a) • Información de Personal (Anexo 1b) • Desagregación de gastos por componente y gastos administrativos • Matriz de Marco Lógico

46. PRESENTACION DE INICIATIVAS AL PRESUPUESTO – PROCESO Presentación de Programas Comunicación del Marco Presupuestario Presentación de Programas Revisión de Formularios. Análisis, Selección de Programas e Incorporación al Proyecto de Presupuesto Perfeccionamiento Técnico de los Programas Seleccionados Seguimiento

47. BALANCE DE GESTION INTEGRAL • Se inicia en 1997 por un acuerdo entre el Ejecutivo y el Congreso. Se estableció el año 2003 en la Ley de Administración Financiera del Estado, Artículo 52 del Decreto Ley N° 1.263. • Es concebido como un mecanismo de transparencia y cuenta pública. • Las instituciones públicas reportan su desempeño contra metas, compromisos y recursos establecidos (122 Instituciones). • Esta en concordancia con otros mecanismos de control de gestión (indicadores de desempeño, evaluación de programas, etc.) y con las regulaciones presupuestarias. • Posee un formato estándar de reporte definido por el Ministerio de Hacienda. • Es distribuido al Congreso y puesto a disposición del público. • Constituye la base para el reporte institucional en la próxima rendición del presupuesto.

48. MECANISMOS DE INCENTIVO • Incentivos de tipo Individual. Corresponde a incentivos que se pagan a un porcentaje de funcionarios de cada estamento asociado al resultado del proceso de evaluación del desempeño. • Incentivos de tipo Colectivo. Corresponde a incentivos que se pagan a grupos o unidades de trabajo dentro de una institución, generalmente asociado al cumplimiento de metas de gestión del grupo de trabajo. • Incentivos de tipo Institucional. Corresponde a incentivos que se pagan a todos los funcionarios o a todo un estamento de un servicio, generalmente asociado al cumplimiento de metas comunes de gestión institucional.

49. TIPOS DE INCENTIVOS AL DESEMPEÑO

50. ANTECEDENTES PMG • El cumplimiento de objetivos de gestión se asocia a un incentivo de carácter monetario para los funcionarios que se desempeñan en los servicios públicos (Ley 19.553, 1998). • El porcentaje de cumplimiento de los objetivos de gestión y el porcentaje de incentivos se otorga según los siguientes tramos: * Los tramos originales de 5% y 2,5% fueron modificados retroactivamente a partir del 01 de Enero 2007 por la Ley 20.212 publicada el 29 de Agosto de 2007.