La evaluación de IUIs

1. La evaluación de IUIs Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA

2. Temas a comentar • Contextualizar la evaluación de los Institutos Universitarios de Investigación en Aragón • Revisar los resultados de las encuestas de satisfacción con los proceso de evaluación • Revisar el protocolo de evaluación

3. CONTEXTUALIZACIÓN “Modelo Aragonés”: LOSUA y ACPUA • Corresponde al Gobierno de Aragón la creación, supresión y adscripción de los Institutos Universitarios de Investigación • Deberá contar con el previo informe del Consejo de Gobierno de la universidad y de la Agencia de Calidad y Prospectiva Universitaria de Aragón. • La labor de los Institutos Universitarios de Investigación deberá someterse a informe de la Agencia de Calidad y Prospectiva Universitaria de Aragón cada cinco años. • En caso de informe negativo, el Gobierno podrá acordar la supresión del Instituto u otorgar un plazo para la corrección de los errores o insuficiencias detectadas. • (Artículo 15.—Creación, supresión y adscripción de Institutos Universitarios de Investigación.) LEY 5/2005, de 14 de junio, de Ordenación del Sistema Universitario de Aragón.

4. CONTEXTUALIZACIÓN “Modelo Aragonés”: LOSUA y ACPUA • Según lo dispuesto por la LOSUA la ACPUA realizará las siguientes actividades de evaluación: Proceso de Verificación y Acreditación Informe ACPUA Autorización DGA Seguimiento ACPUA Puesta en marcha Propuesta de IUI Año 1 Año 2 Año 3 Año 4 Año 5 Año 7

5. CONTEXTUALIZACIÓN Los criterios de evaluación para la Evaluación Periódica CREACIÓN ¿ Es el proyecto de IUIs viable?: ¿la planificación de actividades, los recursos humanos y materiales y las estructuras son coherentes con la misión/visión y objetivos definidos? EVALUACIÓN PERIÓDICA ¿Ha logrado el IUIs desarrollar la planificación que había definido en su creación? : ¿Se han realizado las actividades, se han logrado los objetivos, se ha contado con los recursos previstos?. En caso de desviación de los objetivos se han realizado correcciones¿: ¿Tiene definido el IUIs el Plan Estratégico para el próximo periodo?

6. CONTEXTUALIZACIÓN Los criterios de evaluación para la Evaluación Periódica CREACIÓN • Definición Estratégica del IUI • Interés de los objetivos • Planificación de actividades • Experiencia del equipo • Recursos y presupuesto • Estructura de gestión EVALUACIÓN PERIÓDICA LOGROS PLANIFICACIÓN SIGUIENTE PERIODO • Definición Estratégica del IUI • Interés de los objetivos • Planificación de actividades • Experiencia del equipo • Recursos y presupuesto • Estructura de gestión CREACIÓN • Definición Estratégica del IUI • Interés de los objetivos • Planificación de actividades • Experiencia del equipo • Recursos y presupuesto • Estructura de gestión

7. CONTEXTUALIZACIÓN Características de la Evaluación Periódica • Ambas evaluaciones son “individuales”. No se compara a los Institutos. • La evaluación no pone objetivos externos. Cada instituto tiene libertad para definir su MISIÓN/VISIÓN y OBJETIVOS. • Las comisiones pueden valorar si la Misión/Visión y Objetivos definidos por el IUIs es adecuado a los recursos, al entorno, a la temática, al funcionamiento y proponer mejoras pero el grado de excelencia y nivel de resultados a obtener es decisión del IUIs. • La evaluación se centra en analizar la evolución del IUIs y el grado de cumplimiento de lo planificado.

8. Según lo dispuesto por la LOSUA la ACPUA realizará las siguientes actividades de evaluación: CONTEXTUALIZACIÓN “Modelo Aragonés”: Financiación Proceso de Verificación y Acreditación Informe ACPUA Autorización DGA Seguimiento ACPUA Puesta en marcha Propuesta de IUI Año 1 Año 2 Año 3 Año 4 Año 5 Año 7 Proceso de Adjudicación de Subvenciones del Gobierno de Aragón

9. CONTEXTUALIZACIÓN Evaluación Periódica vs. Financiación

10. CONTEXTUALIZACIÓN 2012: Solapamiento de procesos

11. CONTEXTUALIZACIÓN 2012: Solapamiento de procesos • Encargo de la DGII • Gestionar la evaluación para la financiación y aprovechar las sinergias existentes entre ambos procesos para lograr dos objetivos: • Minimizar el impacto sobre los IUIs de las dos evaluaciones • Conseguir una disminución de los costes de evaluación • Traslado a la evaluación periódica • Hacer participar a los mismos evaluadores completando las comisiones con un nuevo evaluador • Evaluar sobre las memorias ya presentadas por los IUIs para la financiación • Dar más peso a la visita con el objetivo de completar la información que no apareciese en la memoria

12. CONTEXTUALIZACIÓN 2012: 1ª Evaluación Periódica • “Debilidades de partida” • Todos los Institutos no disponen de un informe de evaluación de creación alineado con los criterios de evaluación • Memorias de actividad no adaptadas a las preguntas del protocolo para la 1ª evaluación periódica • Objetivos de la 1ª evaluación periódica • Establecer un “punto de partida” común a todos los IUIs (cumplimiento de un mínimo común denominador o requisitos básicos) • Identificar los puntos fuertes y débiles de cada Instituto y lanzar propuestas de mejora • Una vez realizada la 1ª evaluación establecer los ajustes necesarios para cerrar un protocolo de evaluación periódica.

13. ENCUESTAS DE SATISFACCIÓN Evaluadores ANTES DURANTE SOPORTE • Índice de respuesta: (11respuestas /21participantes) 52% • La puntuación media del cuestionario ha sido 4.29 (Bastante Satisfactorio). • Todos los items valorados por encima de tres • La valoración menor en línea con las recomendaciones hace alusión a la adecuación de la memoria presentada por el instituto y a la utilidad de las fichas de evaluación • PRIMERA ACCIÓN DE MEJORA • Preparar un modelo de memoria alineado con el protocolo de evaluación Muy Satisfecho Bastante Satisfecho Satisfecho Poco Satisfecho Nada Satisfecho

14. ENCUESTAS DE SATISFACCIÓN Evaluadores • Valorar la existencia de dos procesos (financiación y periódica) • Acertado (cinco contestaciones) • Mejor unificar (cuatro) • Dos procesos con coincidencia de los miembros de las comisiones en un 60% • Existen en su CCAA procesos parecidos • No o desconocen (5 contestaciones) • Similares (BERT, procesos unificados, caso CSIC y evaluación interna) • Estos procesos aportan información útil a los IUIs y al Gobierno? • Todas las respuestas afirmativas • Valoración del protocolo • Todas las respuestas positivas • Periodicidad de los procesos • Correcto (1 Respuesta) • Evaluación única cada 4 años (1 respuesta) • Pasar a 3 para la financiación (2 respuestas) y 6 periódica (1 respuesta) • Periódica de 5 a 4 (3 respuesta) y financiación cada 2 • Seguimiento de la evaluación periódica • Prácticamente todas las respuestas apuntan a un seguimiento a los dos años de las propuestas de mejora.

15. ENCUESTAS DE SATISFACCIÓN Direcciones de Institutos ANTES DURANTE • Índice de respuesta: (7 respuestas /8 IUIs) 87.5% • La puntuación media del cuestionario ha sido 3.9 (Satisfecho). • Todos los items valorados por encima de tres • Las valoraciones menores en torno a la información y claridad del protocolo • PRIMERA ACCIÓN DE MEJORA • Revisión del proceso y protocolo de evaluación con los IUIS => METAEVALUACIÓN Muy Satisfecho Bastante Satisfecho Satisfecho Poco Satisfecho Nada Satisfecho

16. ENCUESTAS DE SATISFACCIÓN Direcciones de Institutos • Valorar la existencia de dos procesos (financiación y periódica) • Todas las respuestas apuntan a que debería existir un único proceso. • Estos procesos aportan información útil a los IUIs y al Gobierno? • En general se consideran útiles • Valoración del protocolo de seguimiento • 5 respuestas positivas • 1 respuesta positiva pero con una llamada a cuidar el perfil de los evaluadores • Periodicidad de los procesos • Correcto (2 Respuestas) • Evaluación única cada 3 años (3 respuesta) • Evaluación cada 2 y 4 años respectivamente • Evaluación única cada 4 años (1 respuesta) • Seguimiento de la evaluación periódica • Cuatro respuestas a favor • Dos respuestas opuestas

17. REVISIÓN DE PROTOCOLOS 1ª Evaluación Periódica: Mejoras • Memoria de actividades => Autoinforme (reflexión del IUIs sobre los logros y presentación de la Planificación Estratégica para los próximos 5 años) • Subcomisión de Evaluación: Personal investigador de reconocido prestigio, no perteneciente a la universidad de Zaragoza, con tres sexenios de investigación que haya participado en procesos de evaluación de institutos/grupos de investigación/proyectos de investigación de la ANEP, del Gobierno de Aragón o de otras Agencias Autonómicas.. • ¿Es un número adecuado de evaluadores? • ¿Perfiles (investigador extranjero)? • ¿Figura del director de instituto similar? ACCIÓN DE MEJORA Modelo de Autoinforme ACCIÓN DE MEJORA Recusación Subcomisión Perfil exdirector

18. REVISIÓN DE PROTOCOLOS 1ª Evaluación Periódica: Mejoras ACCIÓN DE MEJORA Definir el alcance de la visita y los objetivos de las entrevistas con cada grupo Visita de la Subcomisión (recomendaciones evaluadores): • Marcar tiempos para cada grupo. • Proponer a los IUIs que los equipos directivos hagan una pequeña presentación del instituto sobre la que la Subcomisión pueda hacer sus preguntas. • Selección de investigadores representativa pero poco numerosa (no es necesario que asistan investigadores de todas las líneas/secciones). No presentan sus trabajos. • La visita a las instalaciones no es necesaria.

19. METAEVALUACIÓN DE IUIs Próximos Pasos Encuestas de satisfacción Reunión con evaluadores Reunión con directores de IUIs Informe de conclusiones Incorporación de mejoras al protocolo Comunicación y publicación de los cambios

20. La evaluación de IUIs Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA