PROBLEMAS PARA LA CONSTRUCCION DE INDICADORES DE DESEMPEÑO San José, Costa Rica

1. SEMINARIO LA EVALUACION DE LA GESTION PRESUPUESTARIA EN EL SECTOR PUBLICO COSTARRICENSE • PROBLEMAS PARA LA CONSTRUCCION DE INDICADORES DE DESEMPEÑO • San José, Costa Rica

2. PRINCIPIOS GENERALES PARA EL DISEÑO DE INDICADORES a) PERTINENCIA : Expresión de los productos finales esenciales del programa y de los objetivos estratégicos que definen los mejoramientos esperados. b)RELEVANCIA: Pocos y focalizados en aspectos estratégicos de los resultados de la gestión anual c) HOMOGENEIDAD: variables medidas de un mismo tipo (calidad y costo) d) INDEPENDENCIA:respondan a las acciones desarrolladas por la institución. e)COSTO RAZONABLE:en su generación y recolección e)CONFIABILIDAD: Respaldo de fuentes de datos f)SIMPLICIDAD Y COMPREHENSIVIDAD: “Pocos pero buenos”

3. PROBLEMAS DE FORMULACION DE LOS INDICADORES 1) ERROR EN EXPRESAR TASA DE VARIACION DE RESULTADO DE LA META RESPECTO AÑO ANTERIOR : Meta “Aumentar en un 20% las embarcaciones inspeccionadas” SE FORMULA: Embarcaciones inspeccionadas año 2001/ Embarcaciones inspeccionadas año 2000 60/50 = 1.2 (No informa claramente el aumento) CORRECCION: Inspeccionadas año 2001-Inspeccionadas 2000/ Inspeccionadas 2000 *100 20%

4. PROBLEMAS DE LAS FORMULAS DE LOS INDICADORES • 2) INCONSISTENCIA DE LA META Y FORMULA: • Meta:Realizar 24 sesiones en las comisiones nacionales, para producir 300 registros en las normalizaciones de la Nomenclatura y División Territorial • Indicador: N°de solicitudes recibidas/N° de días en responder • Debería formularse: • Aumentar a X el promedio de registros normalizados por sesión. • Indicador:Eficiencia • N° de sesiones promedio por registro de normalización (se supone que todas tienen la misma • complejidad) • N°registros realizados año/sesiones • Qué mide: Productividad de las sesiones

5. 3) ALGORITMOS QUE EXPRESAN DOS VARIABLES DE MEDICION Programa 89 (Seguridad Pública) Informes de auditoría (?) / informes de auditoria programadosy solicitados. Existen dos factores de medición en el denominador programados y solicitados. No se sabe en el numerador si son Informes de auditoría realizados Lo correcto debería ser: Informes de auditorías realizados/Informes de auditoría solicitados Y/ó Informes de auditoría realizados/Informes de auditoría programados

6. 4)FALTA DE PERTINENCIA RESPECTO DE LA META “LO QUE DECLARA LA META, NO PERMITE SER MEDIDO POR LO QUE EXPRESA EL INDICADOR” Ejemplo Actividad Central MOPT Meta: Tiempo promedio del proceso de auditoríasoperativas “Reducir en un 30% el tiempo de elaboración de los auditorajes y emisión de infomes” (Revisar si es el mismo proceso) Indicador: N° de recomendaciones ejecutadas por la administración/N° de recomendaciones emitidas en informes (?). Corresponde al objetivo estratégico pero no a la meta.

7. 5) INDICADORES CUYA FORMULACION NO PERMITE IDENTIFICAR LOGROS INSTITUCIONALES Indicadores de eficacia que se expresan como: N°de certificados de antecedentes emitidos/ N° de certificados solicitados Cantidad de permisos de portación de armas/Cantidad de solicitudes recibidas (Programa 89 MSP) Esta prestación constituye una obligación legal de ser satisfecha, dadoque es un requisito insoslayable para el usuario. Cobertura garantizada Resultado será siempre de 100% Aspectos relevantes de los resultados son la calidad del servicio, la oportunidad, la precisión, la disponibilidad a nivel nacional (cobertura geográfica).

8. 6) INDICADORES QUE REPRESENTAN EL CUMPLIMIENTO DE METAS DE PRODUCCION Y NO DENOTAN LOGROS RELEVANTES . Ejemplos: Metas Indicadores Reparar dos aeronaves Aeronaves reparadas/aeronaves programadas Realizar 22 Informes de auditorías id Realizar 7 investigaciones del id patrimonio cultural Se requiere revisar la pertinencia del indicador con los objetivos estraté-gicos (¿Qué aporta al mejoramiento de la gestión y los resultados estos estándares esperados de desempeño?)

9. ESCASA INFORMACION ESTRATEGICA ENTREGADA POR LOS INDICADORES 1.- Débil Focalización y priorización hacia la medición de los resultados del Programa: . Listado de metas centradas en eficacia que incluye muchas de programación de producción. 2.- Poco aprovechamiento de la información disponible (Se centra fundamentalmente en indicador de EFICACIA/RESULTADO DE LO PROGRAMADO 3.-No están disponibles los estándares contra los cuales comparar (Año anterior, estándar técnico, variación porcentual respecto de años anteriores, etc.) 4.-Las bases de comparación históricas son débiles y el propio formato para trabajar los indicadores es muy poco “amigable” para comprender lo relevante de lo accesorio Real Proyectado Meta Histórico o actual (sin datos, en muchos casos) ¿Utilidad de esta información? Contra que se puede comparar ?

10. SE DETECTA DEBILIDAD EN EL USO DE LA INFORMACION DISPONIBLE PARA CONSTRUIR INDICADORES QUE ENTREGUEN MAYOR CALIDAD EN LA EVALUACION EJEMPLOS: DE LOS INDICADORES RELEVANTES DE EFICACIA SOLO SE CONSTRUYEN DE RESULTADOS (% REALIZADO RESPECTO PROGRAMADO) FOCALIZACION (LOGRADO RESPECTO DEL UNIVERSO) COBERTURA ( LOGRADO RESPECTO DE LA DEMANDA POSIBLE) IMPACTO (LOGRADO RESPECTO DEL PROBLEMA QUE SE QUIERE ATACAR)

11. INDICADORES RELEVANTES DE EFICACIA • RESULTADO (% LOGRADO EXITOSAMENTE RESPECTO DE LO PROGRAMADO) • Denota una innovación o logro “extraordinario” respecto de la gestión años anteriores. Existen recursos importantes extras comprometidos (No es parte • de la gestión común del programa). • N° de Retenes móviles instalados/ N°de Retenes móviles programados (Programa 107 MSP) • N° de patrullajes realizados/N° de patrullajes programados • N° de operativos realizados/N° de operativos programados • (*) No representan logros relevantes, son parte del cumplimiento de • la gestión normal.

12. INDICADORES RELEVANTES DE EFICACIA • COBERTURA ( LOGRADO RESPECTO DE LA DEMANDA POSIBLE) • Flota vehicular revisada/Parque nacional automotriz (debería ser) • Flota Vehicular revisada/total flota vehicular programada (Programa Transporte terrestre). • IMPACTO (LOGRADO RESPECTO DEL PROBLEMA QUE SE QUIERE ATACAR) • Logro respecto del problema que se pretende solucionar • % de disminución de la deserción escolar • % de excelencia en Pruebas de nivel • FOCALIZACION (Logro respecto del Universo) • % de alumnos de secundaria con acceso a herramientas informáticas/matricula secundaria

13. INTEGRALIDAD DEL DESEMPEÑO: • Tiempo promedio del proceso de auditorías (de un tipo específico) . Ejemplo Actividad Central MOP. “Reducir en un 30% el tiempo de elaboración de los auditorajes y emisión de infomes”(? Es el mismo proceso) • Se podrían desarrollar otros indicadores no complejos de construir que den cuenta del desempeño integral del programa tales como: • 2) N°de auditorías/N° de auditores • 3) Costo promedio de acciones de auditoría.

14. AREAS DE LA INSTITUCION O EL PROGRAMA QUE NO QUEDAN CUBIERTAS POR LOS INDICADORES • PRODUCTOS CUYOS RESULTADOS SON CARÁCTER • INTANGIBLE: Relaciones Exteriores, Comerciales, Defensa: • Coordinación de Políticas, Acuerdos Comerciales, Pactos, Sesiones • Internacionales, etc. • Estos productos no pueden ser evaluados de forma integral a partir de • indicadores cuantitativos. Deberán ser otras instancias de carácter político estratégico los que evalúen cumplimiento de políticas. • Recomendación: Definir objetivos de mejoramiento respecto de “Indicadores de Gestión” que potencien y agilicen las políticas que coordina: Agilización de los visados, Procesos de Informatización de los Consulados,Capacitación cuerpo diplomático, etc.