Strategic Planning and Indicator Construction for Public Sector in Costa Rica

1. Ministerio de Hacienda de Costa Rica Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) SECRETARÍA TÉCNICA DE LA AUTORIDAD PRESUPUESTARIA PLANIFICACIÓN ESTRATÉGICA Y CONSTRUCCIÓN DE INDICADORESEN EL SECTOR PÚBLICO DE COSTA RICA”“Construcción de Indicadores” Roberto Jiménez M. Consultor ILPES / CEPAL

2. 1. Sistema de Información de Gestión • Basado en Definiciones Estratégicas institucionales • - Misión: objetivo de largo plazo ¿qué? ¿cómo? Para quién? • - Objetivos estratégicos: mediano plazo – resultados esperados • - Productos: satisfacer necesidades de usuarios - características • - Clientes, Usuarios o Beneficiarios: requerimientos

3. 1. Sistema de Información de Gestión Debe cubrir toda la institución: - Gestión estratégica - Gestión interna

4. 2. Definición de aspectos relevantes a medir Procesoproductivo Productos Resultados Proceso 2 Proceso 3 Productos Estratégicos (Bienes y Servicios) Proceso 1 Proceso 4 Insumos Y Recursos

5. 2. Definición de aspectos relevantes a medir • Ámbito de los Procesos productivos: • Definir aquellos procesos que son claves para la generación de los productos (bienes y/o servicios): • procedimientos de compra Adquisición de insumos – contratación de empresas proveedoras • Licitaciones Externalización de servicios - subcontratación de empresas que proveen los productos • procesos tecnológicos Implementación de servicios por internet - procesos para generar productos

6. 2. Definición de aspectos relevantes a medir • Ámbito de los Procesos productivos: • Definir aquellos procesos que son claves para la generación de los productos (bienes y/o servicios): • administración financiera Capacidad de ejecución de los recursos • recursos humanos Funcionarios con las competencias requeridas • procesos administrativos Registro de usuarios – calculo de beneficios

7. 2. Definición de aspectos relevantes a medir • Algunos ejemplos de Indicadores en el ámbito de los Procesos: • Porcentaje de ejecución del presupuesto • Porcentaje de gasto en Recursos Humanos respecto de gasto total • Porcentaje de gasto corriente respecto de gasto total • Porcentaje de productos entregados respecto de lo programado • Porcentaje de compras de insumos efectuadas dentro del tiempo programado • Porcentaje de licitaciones adjudicadas respecto de licitaciones totales • Porcentaje de ingresos propios percibidos respecto de los programados • Porcentaje de subsidios asignados • Porcentaje de familias pobres catastradas • Porcentaje de normas de aviación actualizadas

8. 2. Definición de aspectos relevantes a medir • Algunos ejemplos de Indicadores en el ámbito de los Procesos: • Porcentaje de recursos transferidos a instituciones dentro del plazo establecido • Gasto promedio de capacitación de Controladores de Tránsito Aéreo

9. 2. Definición de aspectos relevantes a medir • Ámbito de los Productos: • Bienes y/o servicios proporcionados directamente a los usuarios: • Definir los requerimientos de los usuarios • Establecer las características de los productos • - Características técnicas del producto • - Tiempo de entrega a los usuarios • - Cobertura (todos los niños y niñas del país) • - Focalización (niños y niñas en situación riesgo social) • - Grado de satisfacción de los usuarios

10. 2. Definición de aspectos relevantes a medir • Algunos ejemplos de indicadores en el ámbito de los Productos: • Porcentaje de familias sin vivienda que reciben aportes del Estado • Porcentaje de familias pobres sin vivienda que reciben aporte del Estado respecto del total de familias sin vivienda que reciben aporte del Estado • Tiempo promedio de entrega de subsidios para la vivienda • Metros de cuadrados construidos promedio por vivienda entregada • Porcentaje de condominios construidos que cuentan con infraestructura social (lugares para reuniones, parques, plazas, juegos para niños) • Porcentaje de familias que manifiestan satisfacción con la vivienda entregada

11. 2. Definición de aspectos relevantes a medir • Algunos ejemplos de indicadores en el ámbito de los Productos: • Porcentaje de trabajadores capacitados respecto del total de trabajadores • Costo promedio por trabajador capacitado • Porcentaje de alumnos egresados de carreras técnicas respecto del total de alumnos matriculados • Porcentajes de clubes deportivos y recreativos con aportes del estado que cumplen sus objetivos respecto del total de clubes con aportes del Estado • Promedio anual de días sin suministro de electricidad (agua potable) • Porcentaje de reclamos por incumplimiento de contratos de empresas de telefonía • Tiempo promedio de respuesta a reclamos por incumplimiento de contratos de telefonía

12. 2. Definición de aspectos relevantes a medir Ámbito de los Resultados: Cambio en el comportamiento de los beneficiarios una vez que han recibido los bienes y/o servicios. La entrega de los bienes y/o servicios a los usuarios supone que conduce a la obtención de los resultados finales. Constituye una aproximación a los resultados finales.

13. 2. Definición de aspectos relevantes a medir • La leche: beneficios de su consumo • contiene gran cantidad de nutrientes • previene la osteoporosis • reduce probabilidad de piedras en los riñones • reduce riesgo de caries dentales • ayuda en la formación y regeneración de tejidos • En definitiva, contribuye a un mejor nivel de salud de la población

14. 2. Definición de aspectos relevantes a medir • La leche: beneficios de su consumo • Pero el nivel de salud de la población también está influido por otras políticas públicas: • control de epidemias y enfermedades • programas de vacunación, medicina preventiva, atención dental • programas de vivienda • programas educacionales • programas de empleo • programas deportivos y recreativos

15. 2. Definición de aspectos relevantes a medir • La leche: beneficios de su consumo • ¿cómo medir el resultado final del consumo de leche? • Se asume que consumir leche contribuye a un mejor nivel de salud • La entrega de leche a los niños es una aproximación al resultado final En consecuencia, un indicador de resultado intermedio sería: - Porcentaje de niños y niñas que reciben diariamente leche en el colegio respecto del total de niños y niñas del país en edad escolar

16. 2. Definición de aspectos relevantes a medir • Algunos ejemplos de indicadores en el ámbito de Resultados Intermedios: • Porcentaje de subsidios de vivienda efectivamente pagados respecto del total de subsidios otorgados • Porcentaje de trabajadores sin calificación que egresan de un programa de capacitación técnica • Porcentaje de participantes egresados de programa antidrogas con actitud crítica hacia la droga • Porcentaje de empresas que no cumplen la normativa laboral • Porcentaje de familias pobres que inician una actividad empresarial con apoyo del Estado • Porcentaje de alumnos egresados de una carrera técnica

17. 3. Medición de Impacto o Resultado Final • Complejidad de medir Impacto o Resultado Final: • un programas público contribuye a alcanzar un fin (resultado final) • se complementa con la acción de otros programas ¿Cómo identificar el Impacto de nuestro programa? • el impacto no se produce inmediatamente • es difícil medirlo con un indicador (mejoramiento de la calidad de vida) • por lo general no se dispone de información de punto de partida (línea base)

18. 3. Medición de Impacto o Resultado Final • Complejidad de medir Impacto o Resultado Final: • no siempre los indicadores permiten medir Impacto Deben realizarse evaluaciones de impacto • son complejas • son caras

19. 3. Medición de Impacto o Resultado Final • Complejidad de medir Impacto o Resultado Final: Evaluación de Impacto: • determinar línea base • si no es posible, establecer grupo de control - grupo que no recibe el programa (problema ético) - grupo con características similares al que recibe el programa • establecer las diferencias entre miembros de cada grupo con y sin programas (modelo econométrico) = la diferencia es el Impacto del programa

20. 3. Medición de Impacto o Resultado Final • Complejidad de medir Impacto o Resultado Final: Recomendación para programas nuevos: • Registrar las características y condiciones de los futuros beneficiarios de un programa • Esto constituirá la línea base del programa • Implementar los sistemas de información que permitan medir indicadores • Diseñar mediciones de mediano plazo que permitan comparar con la línea base Esto permite medir Impacto a bajo costo. Pero por lo general no se considera al momento de diseñar un nuevo programa. Esto genera costosas evaluaciones futuras.

21. 3. Medición de Impacto o Resultado Final • Algunos ejemplos en el ámbito de Impacto o Resultado Final: • Porcentaje de trabajadores sin calificación egresados de un programa de capacitación que consiguen un empleo permanente • Porcentaje de personas que no reinciden después de participar en programa antidrogas • Tasa de accidentes de aviación • Porcentaje de familias que superan la línea de pobreza • Tasa de variación de delitos • Porcentaje de empresas que cumplen la normativa laboral • Tasa de incidencia de la poliomielitis • Tasa de obesidad infantil • Porcentaje de días sin suministros eléctrico a la población • Tasa de suspensión de servicios de internet • Porcentaje de reclamos solucionados de usuarios de servicios de telefonía

22. 4. Dimensiones del desempeño que deben ser medidas • Eficacia: • Grado de cumplimiento de los objetivos de la institución. • En qué medida la institución (o un área) está cumpliendo con sus objetivos • Típicamente los objetivos institucionales implican la medición de: • Cobertura: Grado en que los bienes y servicios generados por la institución son capaces de cubrir o satisfacer la demanda total. • Es una comparación de la situación respecto al máximo potencial que se puede entregar.

23. 4. Dimensiones del desempeño que deben ser medidas • Algunos ejemplos de indicadores de cobertura: • Porcentaje de familias en situación de pobreza que son atendidas por un programa. • Porcentaje de la población con cobertura de agua potable • Porcentaje de familias que cuentan con una vivienda • Porcentaje de niños y niñas que reciben atención dental • Porcentaje de adultos mayores vacunados contra la influenza • Porcentaje de caminos interurbanos pavimentados • Porcentaje de declaraciones de impuestos que se realizan por internet • Porcentaje de aeropuertos que cuentan con sistema ILS • Porcentaje de niños en situación de riesgo que son atendidas por un programa • Porcentaje de empresas que cumplen normativa medioambiental

24. 4. Dimensiones del desempeño que deben ser medidas • Focalización: Grado en que los bienes y servicios generados por la institución son proporcionados a una población objetivo previamente establecida. • Es una medición importante para las instituciones del área social. La importancia de esta medición radica en que se debe verificar que: - Los bienes y servicios lleguen a personas fuera de la población objetivo (inclusión negativa - Los bienes y servicios no alcancen a cubrir a la población objetivo definida (exclusión)

25. 4. Dimensiones del desempeño que deben ser medidas • Algunos ejemplos de indicadores de focalización: • Porcentaje de la población en situación de pobreza que recibe subsidio para agua potable • Porcentaje de niños en situación de pobreza que reciben beca estudiantil • Porcentaje de adultos mayores que reciben complemento alimenticio contra la desnutrición • Porcentaje de deportistas que acceden a programas de alto rendimiento • Porcentaje de comunas de alto riesgo cubiertas por programas especiales antidelincuencia Finalmente, también en eficacia se mide al cumplimiento de programas de trabajo: • Porcentaje de capacitaciones de funcionarios en relación a lo programado

26. 4. Dimensiones del desempeño que deben ser medidas • Eficiencia: • Relación entre el nivel de producción de un bien o servicio y los recursos utilizados para ello. • Mide si la producción de un bien o servicio se realiza al menor costo posible. • Mediciones para aproximarse a este concepto: • Costo medio de producción: - Costo promedio por usuario - Costo promedio por unidad de producto

27. 4. Dimensiones del desempeño que deben ser medidas • Productividad media de los factores productivos: - Consultas diarias promedio por médico - Tasa de ocupación de camas hospitalarias - Fiscalizaciones promedio por funcionario fiscalizador - Número promedio de alumnos por profesor • Otro indicador de eficiencia - Gastos administrativos de un programa

28. 4. Dimensiones del desempeño que deben ser medidas • Economía: • Capacidad de la institución para generar y utilizar adecuadamente sus recursos financieros. • Capacidad de generar ingresos (autofinanciamiento) - Porcentaje de ingresos propios respecto del total de ingresos - Porcentaje de aportes de terceros en proyectos con aporte estatal • Capacidad de ejecución del presupuesto - Porcentaje de ejecución del presupuesto - Porcentaje de ejecución de recursos para inversión - Porcentaje de avance financiero de una obra pública

29. 4. Dimensiones del desempeño que deben ser medidas • Capacidad para recuperar recursos: - Tasa de recuperación de préstamos - Tasa de morosidad de préstamos otorgados - Porcentaje de créditos incobrables

30. 4. Dimensiones del desempeño que deben ser medidas • Calidad: • Dimensión específica del concepto de eficacia. • Mide la capacidad de la institución para responder en forma rápida y adecuada a sus usuarios. • Es decir mide atributos del producto entregado por la institución: • Oportunidad • Accesibilidad • Precisión • Continuidad en la entrega del bien o servicio • Comodidad • Cortesía • También se mide al grado de satisfacción de los usuarios con el producto

31. 4. Dimensiones del desempeño que deben ser medidas • Algunos ejemplos de indicadores de calidad: • Porcentaje de primera pensión que es pagada dentro de 30 días. • Porcentaje de la población que accede a servicios de internet • Porcentaje de facturas de electricidad emitidas sin errores de cobro • Porcentaje del tiempo en que un aeropuerto se encuentra cerrado • Porcentaje de usuarios que manifiesta satisfacción con la atención del médico • Porcentaje de familias que se encuentra satisfecha con la vivienda recibida

32. 5. Matriz de indicadores

33. 6. Pirámide de indicadores y reportes

34. 6. Pirámide de indicadores y reportes

35. 6. Pirámide de indicadores y reportes Indicadores: • Deben generar información relevante para quien toma decisiones • Deben cubrir toda la institución • Deben ser específicos para las decisiones de cada jefatura o directivo • Deben medir los aspectos relevantes de cada área • Deben ser un número manejable Reportes: • Orientados a las necesidades de cada destinatario • Deben ser informes ejecutivos, de fácil lectura e interpretación • Periodicidad adecuada para cada destinatario

36. 7. Definiciones para cada indicador Una vez que se tiene claridad respecto de: • cuáles son los aspectos relevantes que deben ser medidos • qué ámbitos se van a medir • cuáles dimensiones Corresponde construir cada uno de los indicadores

37. 7. Definiciones para cada indicador • Nombre del indicador: - Debe ser claro, preciso y autoexplicativo - Que cualquier persona entienda qué se mide con ese indicador - Si se usan siglas o aspectos técnicos, deben definirse en una nota explicativa “Porcentaje de aeropuertos que cuentan con sistema ILS” Nota: ILS (Instrument Landing System) es un sistema de aterrizaje instrumental con que cuentan los aviones para aterrizar en condiciones de baja visibilidad. • Fórmula de cálculo: - La relación matemática de las variables deben entregar como resultado lo que se definió en el nombre (Total de aeropuertos con sistema ILS / Total de aeropuertos del país) * 100

38. 7. Definiciones para cada indicador • Sentido de medición: - Indicador ascendente o descendente Mientras más aeropuertos tenga ILS es mejor, por lo tanto, el indicador es ascendente En general: • Los indicadores de cobertura, focalización, accesibilidad, cumplimiento de programas de trabajo, etc. son ascendente. • Los indicadores de tiempos promedio de respuesta a los usuarios son descendentes. • Los indicadores que miden capacidad de utilización de recursos son ascendentes • Los indicadores que miden errores son descendentes • Los indicadores que miden satisfacción de usuarios son ascendentes

39. 7. Definiciones para cada indicador • Desagregación por sexo: Si el bien o servicio se entrega diferenciado por género, entonces las mediciones deben hacerse por separado, o si existen diferencias en alguna característica entre ambos géneros. “Porcentaje de créditos recuperados respecto del total de créditos otorgados” “Porcentaje de créditos recuperados respecto del total de créditos otorgados a mujeres” “Porcentaje de créditos recuperados respecto del total de créditos otorgados a hombres”

40. 7. Definiciones para cada indicador • Indicadores institucionales: Corresponden a aquellas mediciones que involucran a las institución como un todo y no sólo a un área en particular. “Porcentaje de ejecución del presupuesto institucional” “Porcentaje usuarios que manifiestan una opinión positiva respecto de la DGAC”

41. 7. Definiciones para cada indicador • Frecuencia de medición: Corresponden a la periodicidad en que es medido cada indicador. Depende de las necesidades de contar con la información y los tipos de decisiones - Diaria - semanal - mensual - bimensual - semestral - anual - bianual

42. 7. Definiciones para cada indicador • Unidad de medida: - Debe corresponder exactamente a lo que fue definido en el nombre del indicador. - Debe cumplir con la lógica matemática al relacionar las variables • Establecimiento de metas: - Deben relacionarse con las prioridades y compromisos de Gobierno, ministeriales e institucionales - Deben ser posibles de cumplir por la institución con los recursos financieros, humanos, físicos y tecnológicos disponibles - Su logro debe depender de la institución - Deben establecerse para ser cumplidas en un plazo determinado - Deben ser conocidas y acordadas con los ejecutores de un programa

43. 7. Definiciones para cada indicador • Supuestos: - En aquellos casos en que el cumplimiento de una meta esté influida por factores externos, éstos deben ser identificados. - La institución se compromete a alcanzar una meta, siempre y cuando se cumplan los supuestos. - Esto permite diferenciar los tipos de incumplimientos: i) Aquellos que son responsabilidad de la gestión institucional ii) Aquellos se deben a factores externos

44. 7. Definiciones para cada indicador • Medios de verificación: Corresponde a todos los antecedentes y documentación que permite verificar el cumplimiento de una meta - Bases de datos - Registros - Sistema informáticos - Informes - Libros de reclamos Debe identificarse asimismo el lugar físico en que se encuentran los medios de verificación: - Departamento de Administración y Finanzas

45. 8. Evaluación • Grado de cumplimiento: Corresponde a la comparación entre el valor efectivo obtenido para cada indicador y la meta comprometida - Cumplimiento - No cumplimiento - Sobrecumplimiento • Factores Internos y Externos Análisis de las desviaciones: - Los resultados fueron responsabilidad de la institución - No se cumplió uno o más supuestos - Factores externos no previstos (disminución de presupuesto M. de Hacienda, nuevas prioridades o compromisos de Gobierno)

46. 8. Evaluación • Recomendaciones y compromisos: Corresponde a las acciones que se deben realizar y las medidas que se deben implementar para eliminar las causas de las desviaciones - Recomendaciones - Compromisos - Actividades - Plazos - Responsables • Seguimiento: Verificación del cumplimiento de las recomendaciones y compromisos

47. Ministerio de Hacienda de Costa Rica Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) SECRETARÍA TÉCNICA DE LA AUTORIDAD PRESUPUESTARIA PLANIFICACIÓN ESTRATÉGICA Y CONSTRUCCIÓN DE INDICADORESEN EL SECTOR PÚBLICO DE COSTA RICA”“Construcción de Indicadores” Roberto Jiménez M. Consultor ILPES / CEPAL