Lineamientos metodológicos para la construcción de indicadores de desempeño

1. “Planificación Estratégica y Construcción de Indicadores de Desempeño en el Sector Público de Costa Rica” San José, 23 al 27 de Noviembre de 2009 Dirección General de Presupuesto Nacional. Ministerio de Hacienda. Costa Rica Lineamientos metodológicos para la construcción de indicadores de desempeño Marianela Armijo Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL Marianela.armijo@cepal.org

2. Contenido • Definiciones • Contexto de los indicadores en la gestión orientada a resultados • 10 pasos básicos para construir indicadores de desempeño • Seleccionando los indicadores de desempeño • Recomendaciones

3. INDICADORES DE DESEMPEÑO “Que indica o sirve para indicar” • Del latín “Indicare”, significa: “Mostrar o significar algo, con indicios y señales” Real Academia de la Lengua

4. INDICADORES DE DESEMPEÑO Es una herramienta que entrega información cuantitativa respecto del logro o resultado en la entrega de productos (bienes o servicios) generados por la institucion, cubriendo aspectos cuantitativos o cualitativos.

5. Para esto es necesario comprender la cadena de producción y resultado esperado Productos Resultados Procesoproductivo Proceso 2 Proceso 3 Productos Estratégicos (Bienes y Servicios) Proceso 1 Proceso 4 Insumos Y Recursos

6. Y comprender que los objetivos de la institución deben estar alineados con los Objetivos (prioridades) gubernamentales………. Agregación de mediciones Objetivos de Gobierno O B J E T I V O S I N D I C A D O R E S Secretarías Secretarías Secretarías Secretarías Entidades Entidades Programa Programa Operacionalización de objetivos

7. Y para que se generen los resultados esperados las Instituciones deben tener sus objetivos, definir resultados esperados y la forma de medirlos a través de indicadores Secretarías Secretarías Secretarías Secretarías Entidades Entidades Entidades División División División Dpto. Dpto.

8. 1. Establecer las definicionesestratégicas como referente para lamedición 2. Establecer las áreas de desempeño relevantes a medir Formular el indicador y describir la fórmula de cálculo 4. Validar los indicadores aplicando criterios técnicos 5 Recopilar los datos 6. Establecer las metas o el valor deseadodel indicador y laperiodicidadde lamedición 7. Señalar la fuente de los datos o medios de verificación 8. Establecer supuestos (observaciones) 8. Evaluar: establecer referentes comparativos y establecer juicios 10. Comunicar e Informar el desempeño logrado 10 pasos básicos para construir indicadores

9. 1. Establecer las definiciones estratégicas como referente para la medición del desempeño • MISION • VISION • OBJETIVOS ESTRATEGICOS • PRODUCTOS FINALES o ESTRATEGICOS

10. 2. Establecer los factores relevantes, ámbitos y dimensiones de desempeño a medir……. • De las Definiciones estratégicas extraer los Factores Relevantes que deben ser medidos. • ¿Cuáles son los principales aspectos o variables claves que deben ser medidos en cada uno de los Objetivos (Misión, Objetivos Estratégicos, productos..) ? • ¿Qué ámbitos deben ser medidos? • ¿Qué dimensiones deben ser medidos? • ¿Quién utilizará la información? • ¿Qué decisiones tomará?

11. 2. Los ámbitos de medición y dimensiones atraviesan toda la cadena de producción y valor..hay que establecer qué es lo relevante AMBITOS DE MEDICION PROCESOS PRODUCTO Resultados (Intermedios y Finales) D I M E N S I O N E S EFICACIA EFICIENCIA ECONOMÍA CALIDAD

13. Ejemplo: Objetivo estratégico: Contribuir a superar la marginación educativa de las niñas yniños de los grupos sociales vulnerables en contexto de migración

14. LISTA DE FACTORES RELEVANTES A MEDIR

15. ÁMBITOS DE MEDICIÓN • Proceso (Actividades - productos intermedios): • Actividades vinculadas a la producción de bienes y servicios. Corresponden a las necesarias para generar los productos finales de la institución: • procedimientos de compra • licitaciones • procesos tecnológicos • administración financiera • etc. • - Porcentaje del presupuesto ejercido • - Porcentaje de compras de insumos efectuadas dentro del tiempo programado

16. ÁMBITOS DE MEDICIÓN Producto (productos finales): Bienes y/o servicios públicos producidos o entregados por la institución para cumplir con su misión. Está dirigido al beneficiario final, o en algunos casos, intermedio. - Porcentaje de alumnos que reciben la beca oportunamente - Tiempo promedio de entrega de subsidios para la vivienda - Metros cuadrados construidos promedio por vivienda entregada

17. ÁMBITOS DE MEDICIÓN Resultado intermedio: Es el resultado directoa lograr en la población objetivo dado el uso de los productos finales. Es la aportación específica a la solución de un problema o necesidad. - Porcentaje de profesoras indígenas asesoradas que aplican prácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe

18. ÁMBITOS DE MEDICIÓN Resultados finales o impacto: Contribución a la solución de un problema o necesidad Complejidad de medir Impacto o Resultado Final: un programa o institución por lo general contribuye a alcanzar un resultado final y se complementa con la acción de otros programas e instituciones.

19. ÁMBITOS DE MEDICIÓN Resultados finales (impacto): ¿Cómo identificar el Impacto de nuestra institución? El impacto no se produce inmediatamente y medirlo requiere de un análisis más profundo, de la definición de un conjunto de indicadores y otros instrumentos complementarios como las evaluaciones de impacto. - Tasa de crecimiento del Sector de Tecnologías de la Información (TI)

20. DIMENSIONES DEL DESEMPEÑO Eficacia: Mide el grado de cumplimiento de los objetivos de la institución. En qué medida está cumpliendo con sus objetivos No considera necesariamente los recursos asignados para ello - Porcentaje de becas entregadas en relación a las programadas

21. DIMENSIONES DEL DESEMPEÑO • Eficiencia: • Mide la relación entre los productos finales generados con respecto a los insumoso recursos utilizados. • Alcanzar un cierto nivel de producción utilizando el mínimo de recursos posibles. • Aproximaciones a este concepto: • productividad media de los distintos factores de producción (nivel de actividad y recursos utilizados) • costos de producción (costos medios, costos unitarios gastos administrativos en relación al gasto total)

22. DIMENSIONES DEL DESEMPEÑO Economía: Mide la capacidad institucional para generar o movilizar adecuadamente los recursos financieros - Ingresos propios generados - Presupuesto ejercido

23. DIMENSIONES DEL DESEMPEÑO Calidad (eficacia): Mide los atributos, capacidades o características que deben tener los bienes y servicios para satisfacer las necesidades de los usuarios. - Grado de satisfacción de usuarios - Tiempo de respuesta a requerimientos de los beneficiarios

24. Definiciones y ejemplos de Indicadores de Desempeño según ámbito y dimensión

25. Algunos ejemplos de Indicadores en el ámbito de los Procesos: • Porcentaje de ejecución del presupuesto • Porcentaje de gasto en Recursos Humanos respecto de gasto total • Porcentaje de gasto corriente respecto de gasto total • Porcentaje de productos entregados respecto de lo programado • Porcentaje de compras de insumos efectuadas dentro del tiempo programado • Porcentaje de licitaciones adjudicadas respecto de licitaciones totales • Porcentaje de ingresos propios percibidos respecto de los programados • Porcentaje de subsidios asignados • Porcentaje de familias pobres catastradas • Porcentaje de normas de aviación actualizadas

26. Ámbito de los Procesos productivos(Ejemplos para Actividades Centrales) Definir aquellos procesos que son claves para la generación de los productos (bienes y/o servicios): • procedimientos de compra • Adquisición de insumos – contratación de empresas proveedoras • Licitaciones • Externalización de servicios - subcontratación de empresas que proveen los productos • procesos tecnológicos • Implementación de servicios por internet - procesos para generar productos

27. Algunos ejemplos de indicadores en el ámbito de los Productos: • Porcentaje de familias sin vivienda que reciben aportes del Estado • Porcentaje de familias pobres sin vivienda que reciben aporte del Estado respecto del total de familias sin vivienda que reciben aporte del Estado • Tiempo promedio de entrega de subsidios para la vivienda • Metros de cuadrados construidos promedio por vivienda entregada • Porcentaje de condominios construidos que cuentan con infraestructura social (lugares para reuniones, parques, plazas, juegos para niños) • Porcentaje de familias que manifiestan satisfacción con la vivienda entregada

28. Ámbito de los Productos: Bienes y/o servicios proporcionados directamente a los usuarios: • Definir los requerimientos de los usuarios • Establecer las características de los productos - Características técnicas del producto - Tiempo de entrega a los usuarios - Cobertura (todos los niños y niñas del país) - Focalización (niños y niñas en situación riesgo social) - Grado de satisfacción de los usuarios

29. Ámbito de los Resultados:Resultados intermedios • Cambio en el comportamiento de los beneficiarios una vez que han recibido los bienes y/o servicios. • La entrega de los bienes y/o servicios a los usuarios supone que conduce a la • Obtención de los resultados finales. • Constituye una aproximación a los resultados finales

30. Algunos ejemplos de indicadores en el ámbito de Resultados Intermedios: • Porcentaje de subsidios de vivienda efectivamente pagados respecto del total de subsidios otorgados • Porcentaje de trabajadores sin calificación que egresan de un programa de capacitación técnica • Porcentaje de participantes egresados de programa antidrogas con actitud crítica hacia la droga • Porcentaje de empresas que no cumplen la normativa laboral • Porcentaje de familias pobres que inician una actividad empresarial con apoyo del Estado • Porcentaje de alumnos egresados de una carrera técnica

31. Resultados Finales o Impacto: Resultados a nivel de fin de los bienes y servcios entregados, significan un mejoramiento en las condiciones objetivas de la población objetivo. Complejidad de medir Impacto o Resultado Final: • un programas público contribuye a alcanzar un fin (resultado final) • se complementa con la acción de otros programas ¿Cómo identificar el Impacto de nuestro programa? • el impacto no se produce inmediatamente • es difícil medirlo con un indicador (mejoramiento de la calidad de vida) • por lo general no se dispone de información de punto de partida (línea base)

32. Algunos ejemplos de indicador de resultado final o impacto • Porcentaje de trabajadores sin calificación egresados de un programa de capacitación que consiguen un empleo permanente • Porcentaje de personas que no reinciden después de participar en programa antidrogas • Tasa de accidentes de aviación • Porcentaje de familias que superan la línea de pobreza • Tasa de variación de delitos • Porcentaje de empresas que cumplen la normativa laboral • Tasa de incidencia de la poliomielitis • Tasa de obesidad infantil • Porcentaje de días sin suministros eléctrico a la población • Tasa de suspensión de servicios de internet • Porcentaje de reclamos solucionados de usuarios de servicios de telefonía

33. CONCEPTOS • EFICACIA • RESULTADO (% RESULTADO LOGRADO EXITOSAMENTE RESPECTO REALIZADO-SOLICITADO) • FOCALIZACION (LOGRADO RESPECTO DEL UNIVERSO) • COBERTURA ( LOGRADO RESPECTO DE LA DEMANDA POSIBLE) • IMPACTO (LOGRADO RESPECTO DEL PROBLEMA QUE SE QUIERE ATACAR)

34. EFICACIA (Cobertura)/Producto PORCENTAJE DE AREA DE CULTIVO INCLUIDA EN EL PROGRAMA Area Total del Programa de Cultivo Area de cultivo incluida en el Programa Dirección General de Servicios Agrícolas . Uruguay COBERTURA DE CONTROL DE EMISIONES DE LOS BUSES INTERURBANOS Controles de emisiones de Buses Interurbanos Total de Buses Inter urbanos Subsecretaria de Transportes Chile PORCENTAJE DE RECLUSOS INCLUIDOS EN PROGRAMA DE ACTIVIDAD INDUSTRIAL Reclusos con actividad industrial Total de reclusos Dirección Nacional de Cárceles Uruguay

35. Algunos ejemplos de indicadores de focalización: • Porcentaje de la población en situación de pobreza que recibe subsidio para agua potable • Porcentaje de niños en situación de pobreza que reciben beca estudiantil • Porcentaje de adultos mayores que reciben complemento alimenticio contra la desnutrición • Porcentaje de deportistas que acceden a programas de alto rendimiento • Porcentaje de comunas de alto riesgo cubiertas por programas especiales antidelincuencia Finalmente, también en eficacia se mide al cumplimiento de programas de trabajo: • Porcentaje de capacitaciones de funcionarios en relación a lo programado

36. EFICIENCIA • Indicador de eficiencia: costo por unidad de servicio o bienes provistos; o productividad de un input, • son útiles en evaluar los costos relativos y productividad que diferente métodos de servicio entregan o la producción de bienes. • Losindicadores de eficiencia pueden expresarse como “costo por producto”, o “unidades por insumo”, o “costo por resultado”.

37. Ejemplos de Indicadores de Eficiencia

38. EFICIENCIA

39. Calidad Capacidad de la institución por responder en forma consistente, rápida y directa a las necesidades de los usuarios A) Mediciones Indirectas. Mejorar los atributos y características de los productos. B) Mediciones Directas. Grado de satisfacción de los usuarios.

40. CALIDAD

41. CALIDAD

42. Oportunidad Accesibilidad Percepción de usuarios Precisión Porcentaje de respuestas a los Parlamentarios dentro de los límites acordados. Número de localidades cubiertas por atenciones móviles Porcentaje de aprobación excelente de los talleres de trabajo, por los participantes Porcentaje de contratos terminados por errores Porcentaje de reportes económicos entregados en tiempo acordado Nº de horas que la Biblioteca está abierta fuera de las horas de trabajo Número de fallas reales/ Fallas programadas Porcentaje de Población con necesidades especiales que son miembros activos de la Biblioteca INDICADORES DE CALIDAD Porcentaje de usuarios satisfechos Nº de usuarios satisfechos/ Total usuarios encuestados Porcentaje de contratos con uno o más errores encontrados por revisiones externas Número de intervenciones con retraso/ Número de intervenciones totales Nº de usuarios Satisfechos con el trato en la atención/ Total usuarios

43. Indicador de Producto Indicador de Resultado Intermedio Indicador de Resultado Final Nº de niños matriculados en Educación preescolar pública/Nº de niños entre 3 a 6 años del país Porcentaje de niños de 3-6 años matriculados que logran terminar la enseñanza preescolar Porcentaje de niños que terminan preescolar logran Manejo de habilidades básicas en lecto escritura Porcentaje de padres y madres satisfechos con la educación impartida EJEMPLOS

44. Porcentaje de desempleo de población reclusa aprobada (Produtividad de los participantes año t -Productividad participantes año t-1/Produtividad participantes año t-1)*100

46. INSUMO PROCESO PRODUCTO RESULTADO INTERMEDIO RESULTADO FINAL HAY ALGUNA MEJORIA COMO CAMBIAN LASCONDICIONES INICIALES CUAN BIEN LO HACEMOS CUANTOS RECURSOS OCUPAMOS QUE HACEMOS COMO CAMBIAN LOS COMPORTAMIENTOS DE LA VARIABLE, USUARIOS Costo por vivienda Costo por kilómetro construido Tiempo de respuesta inspecciones Gasto administrativo/ Gasto Total Gasto Ejecutado/Gasto programado Costos planilla Costos unidades de productos Número de funcionarios Licitaciones realizadas Actividades Número de viviendas Kilómetros construidos Inspecciones realizadas Porcentaje de viviendas con estándares de calidad en la normal Porcentaje de viviendas con entorno urbano mejorado Disminución del déficit habitacional Provincia X Porcentaje de usuarios que reciben vivienda declaran satisfacción por calidad y entorno I N D I C A D O R E S T I P O Insumos Inptus Eficacia (Cobertura, Focalización) Calidad Eficacia (Cobertura, Focalización) Eficiencia Calidad Eficacia Eficiencia Calidad Eficiencia Calidad Economía Sistema de Información Interna Entidades Contraloría Presupuesto (ProductosFinales) Sistema de Información Interna (Productos Intermedios) Presupuesto Sistema de Información interna (Productos intermedios, Productos finales, no relacionados con O.Estratégicos) Presupuesto Sistema de Información Directivo Presupuesto Sistema de Información Directivo ORGANISMO DE PLANIFICACION U S O I N F.

47. UNA VEZ QUE SE TIENE CLARIDAD SOBRE: Cuáles son los aspectos relevantes que deben ser medidos Qué ámbitos se van a medir Cuáles dimensiones Corresponde construir cada uno de los indicadores

48. 3. Formular el nombre del indicador yla fórmula de cálculo. El nombre del indicador debe ser lo más ilustrativo posible de lo que se quiere medir, y la fórmula debe permitir informar sobre los parámetros o variables que se están midiendo

49. Nombre del indicador • Debe ser claro, preciso y autoexplicativo • Que cualquier persona entienda qué se mide con ese indicador • Si se usan siglas o aspectos técnicos, deben definirse en una nota explicativa • “Porcentaje de aeropuertos que cuentan con sistema ILS” • Nota: ILS (Instrument Landing System) es un sistema de aterrizaje instrumental con que cuentan los aviones para aterrizar en condiciones de baja visibilidad.

50. Sentido de la medición • Indicador ascendente o descendente • Mientras más aeropuertos tenga ILS es mejor, por lo tanto, el indicador es ascendente • En general: • Los indicadores de cobertura, focalización, accesibilidad, cumplimiento de programas de trabajo, etc. son ascendente. • Los indicadores de tiempos promedio de respuesta a los usuarios son descendentes. • Los indicadores que miden capacidad de utilización de recursos son ascendentes • Los indicadores que miden errores son descendentes • Los indicadores que miden satisfacción de usuarios son ascendentes