Lineamientos metodológicos para la construcción de indicadores de desempeño

1. “Planificación Estratégica y Construcción de Indicadores de Desempeño en el Sector Público de Costa Rica” Ministerio de Vivienda y Asentamientos Humanos Ministerio de Trabajo y Seguridad Social San José, 12 al 16 de abril de 2010 Lineamientos metodológicos para la construcción de indicadores de desempeño Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL Marianela.armijo@cepal.org 1

2. Contenido • Definiciones • Contexto de los indicadores en la gestión orientada a resultados • 10 pasos básicos para construir indicadores de desempeño • Seleccionando los indicadores de desempeño • Recomendaciones

3. Indicadores de Desempeño Es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos de la institución, cubriendo aspectos cuantitativos o cualitativos ¿Para qué sirve esta información? TOMAR DECISIONES

4. Indicadores de Desempeño “Que indica o sirve para indicar” Latín = “Indicare” = Mostrar o significar algo, conindicios y señales Desempeño: capacidad de una institución para gestionar adecuadamente sus recursos y dar cumplimiento a los objetivos y metas establecidos

5. UN INDICADOR ES UNA SEÑAL, UN AVISO, QUE NOS ENTREGA INFORMACIÓN SE RELACIONA DIRECTAMENTE Y SIEMPRE CON UN OBJETIVO Aumentar nivel de escolaridad del país Años promedio de escolaridad por habitante del país

6. Por que es necesario construir indicadores

7. RESULTADOS INSUMOS PROCESO PRODUCTOS PROYECTOS Bienes PROGRAMAS RECURSOS SERVICIOS Es necesario definir indicadores para: • Eficacia • Calidad • Eficiencia • Economía • Eficacia • Calidad • Eficiencia • Eficacia • (Eficiencia) • Eficacia • Calidad • Eficiencia

8. PRESUPUESTO NACIONAL Recursos Bienes y Servicios Beneficiarios (resultados: Intermedio - final)

9. INSTITUCIÓN Presupuesto ($) Resultados (desde punto de vista de los beneficiarios) Producción (Q) Insumos / Procesos Indicadores Productos -Cobertura y focalización -Oportunidad -Carácterísticas de Bs. y Ss. -Costos Indicadores Actividades -Programas de trabajo -Programación -Ejecución de recursos Indicadores Misión y Objetivos Estratègicos -Intermedio -Final

10. Para esto es necesario comprender la cadena de producción y resultado esperado Productos Resultados Procesoproductivo Proceso 2 Proceso 3 Productos Estratégicos (Bienes y Servicios) Proceso 1 Proceso 4 Insumos Y Recursos

11. Y comprender que los objetivos de la institución deben estar alineados con los Objetivos (prioridades) gubernamentales………. Agregación de mediciones Objetivos de Gobierno O B J E T I V O S I N D I C A D O R E S Ministerios Ministerios Ministerios MInisterios Entidades Entidades Programa Programa Operacionalización de objetivos

12. Y para que se generen los resultados esperados las Instituciones deben tener sus objetivos, definir resultados esperados y la forma de medirlos a través de indicadores Ministerios Ministerios Ministerios Ministerios Programas Programas Entidades División División División Dpto. Dpto.

13. Por eso es importante comprender el concepto y sentido de los indicadores • Son herramientas de gestión que proveen un valor de referencia a partir del cual se puede establecer una comparación entre las metas planeadas y el desempeño logrado • Un indicador de desempeño es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos de la institución • Los indicadores de desempeño son medidas que describen cuán bien se están desarrollando los objetivos de una institución, a qué costo y con qué nivel de calidad.

14. En un sistema de cuenta pública orientada a resultados, se requiere datos sobre un conjunto de indicadores diferentes, que reflejan la información requerida para distintos niveles de toma de decisiones. • Los legisladores y los Directores requieren información estratégica sobre la gestión de la institución (resultados finales e impacto), mientras que los Gerentes de Divisiones, Departamentos o Programas y sus staff requieren detalles sobre la provisión de insumos, las actividades, los productos finales y resultados intermedios

15. La idea de incorporar indicadores y metas de desempeño al proceso presupuestario es disponer de información sobre los niveles de cumplimientode los objetivos planteados y resultados esperados de cada institución y enriquecer el análisis en la formulación del presupuesto y su discusión en el Congreso. • Los indicadores y sus metas se presentan como información complementaria al Proyecto de Ley de Presupuestos, y una vez aprobado éste, las metas se vinculan con el seguimiento (monitoreo) de la ejecución.

16. ¿QUE TIPO DE INDICADORES HAY?

17. Clasificación de los indicadores • Según qué miden (dimensiones del desempeño): • Eficacia • Calidad • Eficiencia • Economía • Según etapa del proceso productivo: • Insumos • Procesos • Productos (bienes y servicios) • Resultados (intermedios y finales)

18. AMBITOS DE MEDICIÓN y DIMENSIONES AMBITOS: DESDE LA CADENA DE PRODUCCION DIMENSIONES DESEMPENO PROCESOS PRODUCTO RESULTADOS EFICACIA EFICIENCIA ECONOMÍA CALIDAD

19. Indicador de EFICACIA • Mide el grado de cumplimiento de un objetivo. • No considera los recursos asignados para ello • Ejemplo: • Porcentaje de becas entregadas en relación a las programadas • Reducción de la tasa de analfabetismo

20. CONCEPTOS • EFICACIA • RESULTADO (% RESULTADO LOGRADO EXITOSAMENTE RESPECTO REALIZADO-SOLICITADO) • FOCALIZACION (LOGRADO RESPECTO DEL UNIVERSO) • COBERTURA ( LOGRADO RESPECTO DE LA DEMANDA POSIBLE) • IMPACTO (LOGRADO RESPECTO DEL PROBLEMA QUE SE QUIERE ATACAR)

21. EFICACIA (Cobertura)/Producto PORCENTAJE DE AREA DE CULTIVO INCLUIDA EN EL PROGRAMA Area Total del Programa de Cultivo Area de cultivo incluida en el Programa Dirección General de Servicios Agrícolas . Uruguay COBERTURA DE CONTROL DE EMISIONES DE LOS BUSES INTERURBANOS Controles de emisiones de Buses Interurbanos Total de Buses Inter urbanos Subsecretaria de Transportes Chile PORCENTAJE DE RECLUSOS INCLUIDOS EN PROGRAMA DE ACTIVIDAD INDUSTRIAL Reclusos con actividad industrial Total de reclusos Dirección Nacional de Cárceles Uruguay

22. Ámbito de los Productos: Bienes y/o servicios proporcionados directamente a los usuarios: • Definir los requerimientos de los usuarios • Establecer las características de los productos - Características técnicas del producto - Tiempo de entrega a los usuarios - Cobertura (todos los niños y niñas del país) - Focalización (niños y niñas en situación riesgo social) - Grado de satisfacción de los usuarios

23. Indicador de EFICIENCIA • Mide la relación entre los productos y servicios generados con respecto a los insumoso recursos utilizados. • Aproximaciones a este concepto: • Costos de producción (costos medios, costos unitarios gastos administrativos en relación al gasto total) • Productividad media de los distintos factores de producción • Ejemplos: • Costo promedio anual por alumno atendido • Solicitudes tramitadas por funcionario

24. EFICIENCIA • Indicador de eficiencia: costo por unidad de servicio o bienes provistos; o productividad de un input, • son útiles en evaluar los costos relativos y productividad que diferente métodos de servicio entregan o la producción de bienes. • Losindicadores de eficiencia pueden expresarse como “costo por producto”, o “unidades por insumo”, o “costo por resultado”.

25. Ejemplos de Indicadores de Eficiencia

26. EFICIENCIA

27. Indicador de CALIDAD • Mide atributos, capacidades o características que deben tener los bienes o servicios para satisfacer adecuadamente los objetivos del programa. • Calidad es una dimensión de la eficacia, pero por su importancia se la distingue con nombre propio • Ejemplos: • Grado de satisfacción de los usuarios • Tiempo de respuesta a requerimientos de los beneficiarios

28. Calidad Capacidad de la institución por responder en forma consistente, rápida y directa a las necesidades de los usuarios A) Mediciones Indirectas. Mejorar los atributos y características de los productos. B) Mediciones Directas. Grado de satisfacción de los usuarios.

29. CALIDAD

30. CALIDAD

31. Oportunidad Accesibilidad Percepción de usuarios Precisión Porcentaje de respuestas a los Parlamentarios dentro de los límites acordados. Número de localidades cubiertas por atenciones móviles Porcentaje de aprobación excelente de los talleres de trabajo, por los participantes Porcentaje de contratos terminados por errores Porcentaje de reportes económicos entregados en tiempo acordado Nº de horas que la Biblioteca está abierta fuera de las horas de trabajo Número de fallas reales/ Fallas programadas Porcentaje de Población con necesidades especiales que son miembros activos de la Biblioteca INDICADORES DE CALIDAD Porcentaje de usuarios satisfechos Nº de usuarios satisfechos/ Total usuarios encuestados Porcentaje de contratos con uno o más errores encontrados por revisiones externas Número de intervenciones con retraso/ Número de intervenciones totales Nº de usuarios Satisfechos con el trato en la atención/ Total usuarios

32. Indicador de ECONOMÍA • Mide la capacidad del programa para generar o movilizar adecuadamente los recursos financieros. • Economía es una dimensión de la eficiencia. • Ejemplos: • Ingresos propios generados • Presupuesto ejercido

33. Segun la Etapa del Proceso Productivo o Ambito de Medicion • Proceso (Actividades - productos intermedios): • Actividades vinculadas a la producción de bienes y servicios. Corresponden a las necesarias para generar los productos finales de la institución: • procedimientos de compra • licitaciones • procesos tecnológicos • administración financiera • etc. • - Porcentaje del presupuesto ejercido • - Porcentaje de compras de insumos efectuadas dentro del tiempo programado

34. Algunos ejemplos de Indicadores en el ámbito de los Procesos: • Porcentaje de ejecución del presupuesto • Porcentaje de gasto en Recursos Humanos respecto de gasto total • Porcentaje de gasto corriente respecto de gasto total • Porcentaje de productos entregados respecto de lo programado • Porcentaje de compras de insumos efectuadas dentro del tiempo programado • Porcentaje de licitaciones adjudicadas respecto de licitaciones totales • Porcentaje de ingresos propios percibidos respecto de los programados • Porcentaje de subsidios asignados • Porcentaje de familias pobres catastradas • Porcentaje de normas de aviación actualizadas

35. Ámbito de los Procesos productivos(Ejemplos para Actividades Centrales) Definir aquellos procesos que son claves para la generación de los productos (bienes y/o servicios): • procedimientos de compra • Adquisición de insumos – contratación de empresas proveedoras • Licitaciones • Externalización de servicios - subcontratación de empresas que proveen los productos • procesos tecnológicos • Implementación de servicios por internet - procesos para generar productos

36. ÁMBITOS DE MEDICIÓN Producto (productos finales): Bienes y/o servicios públicos producidos o entregados por la institución para cumplir con su misión. Está dirigido al beneficiario final, o en algunos casos, intermedio. - Porcentaje de alumnos que reciben la beca oportunamente - Tiempo promedio de entrega de subsidios para la vivienda - Metros cuadrados construidos promedio por vivienda entregada

37. Algunos ejemplos de indicadores de focalización: • Porcentaje de la población en situación de pobreza que recibe subsidio para agua potable • Porcentaje de niños en situación de pobreza que reciben beca estudiantil • Porcentaje de adultos mayores que reciben complemento alimenticio contra la desnutrición • Porcentaje de deportistas que acceden a programas de alto rendimiento • Porcentaje de comunas de alto riesgo cubiertas por programas especiales antidelincuencia Finalmente, también en eficacia se mide al cumplimiento de programas de trabajo: • Porcentaje de capacitaciones de funcionarios en relación a lo programado

38. Algunos ejemplos de indicadores en el ámbito de los Productos: • Porcentaje de familias sin vivienda que reciben aportes del Estado • Porcentaje de familias pobres sin vivienda que reciben aporte del Estado respecto del total de familias sin vivienda que reciben aporte del Estado • Tiempo promedio de entrega de subsidios para la vivienda • Metros de cuadrados construidos promedio por vivienda entregada • Porcentaje de condominios construidos que cuentan con infraestructura social (lugares para reuniones, parques, plazas, juegos para niños) • Porcentaje de familias que manifiestan satisfacción con la vivienda entregada

39. ÁMBITOS DE MEDICIÓN Resultado intermedio: Es el resultado directoa lograr en la población objetivo dado el uso de los productos finales. Es la aportación específica a la solución de un problema o necesidad. - Porcentaje de profesoras indígenas asesoradas que aplican prácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe

40. Ámbito de los Resultados:Resultados intermedios • Cambio en el comportamiento de los beneficiarios una vez que han recibido los bienes y/o servicios. • La entrega de los bienes y/o servicios a los usuarios supone que conduce a la • Obtención de los resultados finales. • Constituye una aproximación a los resultados finales

41. Algunos ejemplos de indicadores en el ámbito de Resultados Intermedios: • Porcentaje de subsidios de vivienda efectivamente pagados respecto del total de subsidios otorgados • Porcentaje de trabajadores sin calificación que egresan de un programa de capacitación técnica • Porcentaje de participantes egresados de programa antidrogas con actitud crítica hacia la droga • Porcentaje de empresas que no cumplen la normativa laboral • Porcentaje de familias pobres que inician una actividad empresarial con apoyo del Estado • Porcentaje de alumnos egresados de una carrera técnica

42. ÁMBITOS DE MEDICIÓN Resultados finales o impacto: Contribución a la solución de un problema o necesidad Complejidad de medir Impacto o Resultado Final: un programa o institución por lo general contribuye a alcanzar un resultado final y se complementa con la acción de otros programas e instituciones.

43. ÁMBITOS DE MEDICIÓN Resultados finales (impacto): ¿Cómo identificar el Impacto de nuestra institución? El impacto no se produce inmediatamente y medirlo requiere de un análisis más profundo, de la definición de un conjunto de indicadores y otros instrumentos complementarios como las evaluaciones de impacto. - Tasa de crecimiento del Sector de Tecnologías de la Información (TI)

44. Resultados Finales o Impacto: Resultados a nivel de fin de los bienes y servcios entregados, significan un mejoramiento en las condiciones objetivas de la población objetivo. Complejidad de medir Impacto o Resultado Final: • un programas público contribuye a alcanzar un fin (resultado final) • se complementa con la acción de otros programas ¿Cómo identificar el Impacto de nuestro programa? • el impacto no se produce inmediatamente • es difícil medirlo con un indicador (mejoramiento de la calidad de vida) • por lo general no se dispone de información de punto de partida (línea base)

45. Algunos ejemplos de indicador de resultado final o impacto • Porcentaje de trabajadores sin calificación egresados de un programa de capacitación que consiguen un empleo permanente • Porcentaje de personas que no reinciden después de participar en programa antidrogas • Tasa de accidentes de aviación • Porcentaje de familias que superan la línea de pobreza • Tasa de variación de delitos • Porcentaje de empresas que cumplen la normativa laboral • Tasa de incidencia de la poliomielitis • Tasa de obesidad infantil • Porcentaje de días sin suministros eléctrico a la población • Tasa de suspensión de servicios de internet • Porcentaje de reclamos solucionados de usuarios de servicios de telefonía

46. Indicador de Producto Indicador de Resultado Intermedio Indicador de Resultado Final Nº de niños matriculados en Educación preescolar pública/Nº de niños entre 3 a 6 años del país Porcentaje de niños de 3-6 años matriculados que logran terminar la enseñanza preescolar Porcentaje de niños que terminan preescolar logran Manejo de habilidades básicas en lecto escritura Porcentaje de padres y madres satisfechos con la educación impartida EJEMPLOS

47. Porcentaje de desempleo de población reclusa aprobada (Produtividad de los participantes año t -Productividad participantes año t-1/Produtividad participantes año t-1)*100

48. ¿COMO CONSTRUIMOS UN INDICADOR?

49. 10 pasos básicos para construir indicadores 1. Establecer las definicionesestratégicas como referente para lamedición 2. Establecer las áreas de desempeño relevantes a medir • Formular el indicador y describir la fórmula de cálculo 4. Validar los indicadores aplicando criterios técnicos 5 Recopilar los datos 6. Establecer las metas o el valor deseadodel indicador y laperiodicidadde lamedición 7. Señalar la fuente de los datos o medios de verificación 8. Establecer supuestos (observaciones) 8. Evaluar: establecer referentes comparativos y establecer juicios 10. Comunicar e Informar el desempeño logrado

50. 1. Establecer las definiciones estratégicas como referente para la medición del desempeño • MISION • VISION • OBJETIVOS ESTRATEGICOS • PRODUCTOS FINALES o ESTRATEGICOS