Sistema de indicadores para la evaluación de la Estrategia de Cultura y Desarrollo

1. Técnicas cuantitativas, Economía de la Cultura y Desarrollo Valencia, 1 al 5 de julio de 2013 Sistema de indicadores para la evaluación de la Estrategia de Cultura y Desarrollo

2. Contenido Introducción. Implementación de la técnica Delphi. Implementación de la técnica Delphi. Selección de indicadores. Selección de indicadores. Sistema Básico de Indicadores para la evaluación y el seguimiento de la ECD.

3. Introducción El Documento de Estrategia Sectorial-Cultura y Desarrollo (DES-C) (AECID, 207)

4. Introducción Año 2007. La AECID promueve un proceso de construcción de indicadores para evaluar la implementación de la ECD. Año 2009. Cómo evaluar proyectos de cultura para el desarrollo (AECID, 2009). Diseño de una metodología de trabajo para la creación de indicadores de evaluación y la definición de un total de 312 indicadores culturales para la evaluación de las acciones de cultura y desarrollo implementadas en el marco de la ECD. Años 2009-2010. Continuó el proceso de diseño de un sistema de indicadores.

5. Introducción

6. Implementación de la Técnica Delphi Linston y Turoff (1975) definen la técnica Delphi “as a method for structuring a group communication process so that the process is effective in allowing a group of individuals, as a whole, to deal with a complex problem”. • Anonimato de los participantes. Ningún miembro del panel de expertos debe conocer quiénes son los otros integrantes del grupo. • Iteración y realimentación controlada. se consigue al presentar en sucesivas rondas el mismo cuestionario. • Respuesta del grupo en forma estadística. En la respuesta final debe estar representada la opinión de todos y cada uno de los participantes y no sólo el punto de vista de la mayoría.

7. Implementación de la Técnica Delphi Fase inicial: se formó el equipo encargado de la coordinación y supervisión del Delphi, se definió claramente el contexto y objetivo de la investigación, se seleccionaron los expertos y se confeccionó el catálogo de indicadores a someter a la evaluación. Fase exploratoria: comprendió el diseño de los diferentes cuestionarios a implementar en las sucesivas rondas, el seguimiento de su cumplimentación por parte de los participantes y el análisis de los resultados obtenidos en cada una de las rondas. Fase final: estuvo orientada al tratamiento y análisis estadístico de la información recopilada y la realización de un informe final.

8. Implementación de la Técnica Delphi El Delphi es, en esencia, “a series of sequential questionnaires or ‘rounds’, interspersed by controlled feedback, that seek to gain the most reliable consensus of opinion of a group of experts” (Powell, 2003).

9. Implementación de la Técnica Delphi Dificultades encontradas en el proceso: • Catálogo de indicadores a evaluar: • Elevado número de indicadores a evaluar por cada experto. Puede afectar a la tasa de respuesta. • Uso de una herramienta que: • Permitiese manejar eficiente una gran cantidad de datos • Facilitase su posterior tratamiento.

10. Implementación de la Técnica Delphi Diseño de cuestionarios online mediante LimeSurvey. Proporcionó las herramientas necesarias para realizar un seguimiento individualizado de la cumplimentación de los cuestionarios. Inactividad: • Email a los expertos invitando a participar. • Email personalizado recordando el objetivo del proyecto. • Llamada telefónica para conocer los motivos de la no participación (sobrecarga de trabajo, extensión del cuestionario).

11. Implementación de la Técnica Delphi Catálogo inicial: 312 indicadores culturales para la evaluación de las acciones de cultura y desarrollo. indicadores procedentes de estadísticas publicadas por las Oficinas de Estadística y Ministerios de Cultura de los países socios de la cooperación española indicadores construidos a partir de variables relevantes recogidas en la Memoria de Actividades de la Dirección General de Relaciones Culturales y Científicas. El catálogo final de indicadores culturales que se somete a la evaluación de los expertos estuvo formado por un total de 508 indicadores.

12. Implementación de la Técnica Delphi Panel de expertos: Responsables de proyectos, directores y técnicos de los CEE, técnicos y directores de cultura de la DRCC, técnicos de la Dirección General de Planificación y Evaluación de Políticas de Desarrollo, expertos participantes en la primera etapa del proyecto, consultores independientes y universidades.

13. Implementación de la Técnica Delphi Rondas Delphi: La recopilación de datos se realizó mediante la cumplimentación de cuestionarios online diseñados con LimeSurvey. Cada indicador se evaluaba en una escala Likert de 7 puntos en base a tres criterios: Relevancia, Especificidad, Factibilidad

14. Implementación de la Técnica Delphi • Relevancia: Grado de importancia y utilidad que tiene el indicador para medir potencialmente el fenómeno observado, posibilitando la toma de decisiones por parte del usuario. • Especifidad: En qué medida la variación del indicador responde efectivamente a variaciones del fenómeno que se desea monitorizar y minimiza el efecto de factores exógenos en su variación. • Factibilidad: Posibilidad de fijar un valor deseado para el indicador, es decir, en qué medida es posible asignar un objetivo cuantificable basado en el indicador evaluado.

15. Implementación de la Técnica Delphi Se realizaron dos rondas: Ronda 1. Duración de 3 semanas. Tasa respuesta: 70,69%. Ronda 2. Duración de 6 semanas. • Cuestionarios, personalizados para cada experto • Mantener la evaluación realizada en la ronda anterior • Mostrar las principales medidas estadísticas (mediana y recorrido intercuartílico) de los resultados globales • Permitir al experto mantener o modificar su valoración inicial al comparar ésta con la información estadística facilitada acerca de la respuesta del conjunto de expertos

16. Implementación de la Técnica Delphi

17. Implementación de la Técnica Delphi Tasa de respuesta respecto del total: 63,38%.

18. Selección de indicadores La aproximación metodológica al análisis de resultados del Delphi para la selección de indicadores que definirán el Sistema Básico se ha fundamentado en: • La tipología de los indicadores. • La definición de un índice sintético de operatividad relativa.

19. Selección de indicadores Tipología de los indicadores

20. Selección de indicadores Tipología de los indicadores del Sistema Básico • Indicadores de recursos: permiten conocer la naturaleza y cuantía de los factores que directa o indirectamente se utilizan para llevar a término una intervención para alcanzar el propósito especificado en el proyecto. • Indicadores de proceso: permiten medir la realización de acciones, procesos, actividades o actuaciones programadas a partir de los recursos disponibles. • Indicadores de producto: aportan información acerca de la cantidad y calidad de producto, bienes o servicios que se generan a partir de las actividades programadas, los procesos realizados o las acciones implementadas.

21. Selección de indicadores Índice de operatividad relativo Para un indicador cualquiera del sistema, denotado por Ij, la formulación general del índice de operatividad relativa IOR(Ij) puede escribirse como: IOR(Ij) = (wR Rj + wE Ej + wF Fj) Determinación de las ponderaciones: • Análisis Multivariante. • Pesos fijos para cada criterio basado en el valor modal dado por los expertos.

22. Sistema Básico de Indicadores para la evaluación y el seguimiento de la ECD. Restricción: Todas las acciones prioritarias incluidas en las diversas líneas estratégicas consideradas aporten indicadores a la selección. Selección de indicadores basada no sólo en el valor del IOR sino también, específicamente, en las puntuaciones asignadas por los expertos con respecto al criterio de factibilidad Establecimiento de un valor mínimo o umbral de factibilidad diferente por actuación prioritaria que delimita qué indicadores son los más factibles.

23. Sistema Básico de Indicadores para la evaluación y el seguimiento de la ECD. El umbral de factibilidad, que es específico para cada actuación prioritaria, se define de manera que permita retener al menos dos indicadores entre los correspondientes a cada actuación prioritaria. Umbrales de factibilidad en la líneaestratégica: Derechos Culturales.

24. Sistema Básico de Indicadores para la evaluación y el seguimiento de la ECD. Para cada actuación prioritaria se seleccionan los dos indicadores con Índice de Operatividad Relativo (IOR) más elevado entre aquellos que superan el umbral de factibilidad calculado para la actuación prioritaria. Sistema Básico de Seguimiento y Evaluación Integrado por un total de 80 indicadores

25. Sistema Básico de Indicadores para la evaluación y el seguimiento de la ECD.

26. Conclusión. Se han descrito las principales acciones desarrolladas orientadas a la obtención de un Sistema Básico para el seguimiento y evaluación de la Estrategia en Cultura y Desarrollo de la Cooperación Española. Este sistema, integrado por un total de 80 indicadores, se ha concebido como un instrumento práctico, manejable y selectivo atendiendo a los destinatarios potenciales del mismo, tanto responsables y técnicos que diseñan la estrategia como los agentes que participan en su implementación, incluyendo expresamente el personal de los Centros Culturales en el Exterior y de las Oficinas Técnicas de Cooperación.