Esther Balboa García Jefe de la unidad de Calidad y Planificación Estratégico

1. “Reflexiones del Proceso de Renovación de la Acreditación” “Jornada de las Unidades Técnicas de Calidad ” Madrid, 22 de mayo de 2014 Esther Balboa García Jefe de la unidad de Calidad y Planificación Estratégico

2. Proyecto piloto. Paneles de evaluación • Metaevaluación • Modificaciones propuestas • Convocatoria evaluadores Índice

3. 7 mayo 2014 Última visita de los paneles 7 febrero 2014 Comienzan las visitas Enero y febrero 2014 Formación de los paneles de evaluación Comienza el Proyecto Piloto 2013 Diciembre Visitas 7Mayo 7Febrero Marzo Abril Proyecto Piloto

4. Objetivos del Proyecto Piloto • Probar la consistencia del Modelo antes de su validación final. (Cumpliendo con requisitos de ENQA) • Poner en práctica el procedimiento que conduzca a la renovación de la acreditación de títulos. • Depurar el modelo Proyecto Piloto

5. Las etapas del proyecto Piloto 1.Aplicación del modelo: prueba metodológica Autoevaluación Visita y evaluación en ANECA Evaluación para la Acreditación 2.Metaevaluación Recogida de aportaciones de todos los implicados (encuestas y entrevistas) Análisis de las aportaciones recogidas 3.Modificación y aprobación del Modelo

6. Las etapas del proyecto Piloto 1.Aplicación del modelo: prueba metodológica Autoevaluación Resultado: Informe de Autoevaluación Organización y planificación del trabajo I • Estudio de la Guía de Autoevaluación • Planificación del trabajo II Desarrollo de la Autoevaluación • Recopilación de la información • Análisis de la información y las evidencias • Descripción de la situación • Valoración de las directrices III Desarrollo de la Autoevaluación • Redacción del informe de autoevaluación • Remisión a través de la sede electrónica del Ministerio

7. Las etapas del proyecto Piloto 1.Aplicación del modelo: prueba metodológica Autoevaluación Visita y evaluación en ANECA I CONSTITUCIÓN DEL PANEL DE EXPERTOS II RECEPCIÓN Y ESTUDIO DEL IA • Recepción del IA • Estudio individual del IA y de la información del título. III PREPARACIÓN DE LA VISITA • Puesta en común del IA • Determinación del Plan de Trabajo. • Identificación de aspectos clave de la visita. • Análisis de tareas y funciones.

8. Las etapas del proyecto Piloto 1.Aplicación del modelo: prueba metodológica Autoevaluación Visita y evaluación en ANECA IV DESARROLLO DE LA VISITA • Reunión preparatoria. • Entrevistas con los diferentes colectivos. • Análisis de la información y evidencias. • Conclusiones preliminares. REDACCIÓN Y ENVÍO DEL INFORME PROVISIONAL DE LA VISITA (IPV) V OBSERVACIONES AL IPV VI REVISIÓN DEL IPV Y REMISIÓN DEL INFORME DE LA VISITA (IV) VII

9. Las etapas del proyecto Piloto 1.Aplicación del modelo: prueba metodológica Autoevaluación Visita y evaluación en ANECA Evaluación para la Acreditación I ANÁLISIS DE LA DOCUMENTACIÓN DEL TÍTULO II REMISIÓN DEL INFORME PROVISIONAL ANÁLISIS DE ALEGACIONES Y PLAN DE MEJORAS III ELABORACIÓN Y REMISIÓN DEL INFORME FINAL DE ACREDITACIÓN IV

10. Paneles de evaluaciónde la renovación de la acreditación

11. Visita y Evaluación de ANECA El Panel • Presidente: evaluador con experiencia en los programas VERIFICA y MONITOR. • Vocalesacadémicos: Formación en evaluación y del ámbito temático de los títulos a evaluar. • Vocal estudiante: formación en procesos de evaluación y del ámbito temático de los títulos a evaluar • Un secretario. Un técnico de ANECA.

12. Visita y Evaluación de ANECA El Panel • Opcional. La universidad podrá solicitar: • Profesional:profesional del ámbito de los títulos • Internacional:experiencia en proceso de evaluación

13. Resultados Número de títulos y universidades participantes

14. Resultados Visitas de los paneles 17 (+2) visitas realizadas del programa ACREDITA (ACREDITA PLUS) De2-21/2 días (3 días) de duración Además se han coordinado otras 7 visitas de ACREDITA PLUS en colaboración con agencias autonómicas (UC3M, UPV, Mondragón, UJI)

15. Resultados Ejemplo de composición de un panel: CU, Ingeniería Química TU, Ingeniería Industrial. Electrónica y Automática

16. Metaevaluación del Proyecto Piloto de la renovación de la acreditación Proceso de revisión para la mejora para los: programas piloto ACREDITA y ACREDITA PLUS

17. Metaevaluación Se ha desarrollado un proceso de Metaevaluación siguiendo las pautas establecidas por ENQA en los “Criterios y Directrices para la Garantía de Calidad en el Espacio Europeo de Educación Superior”, 3.8 Procedimientos de responsabilidad la agencia dispone de procedimientos de garantía interna de calidad que incluyen un mecanismo de retroalimentación interno; un mecanismo de reflexión interna; y un mecanismo de retroalimentación externo con objeto de informar y apuntalar su propio desarrollo y mejora (ENQA, 2005). ENQA (2005). Criterios y Directrices para la Garantía de Calidad en el Espacio Europeo de Educación Superior.

18. Metaevaluación Objetivos • Ayudar a revisar y mejorar el proceso. • Conocer la opinión de los grupos de interés sobre el mismo. • Favorecer la rendición de cuentas ante sus grupos de interés.

19. Metaevaluación Se han diferenciado distintas fases para incluirlas en la revisión: • Diseño del programa de evaluación y relación con procesos anteriores de evaluación • Selección y formación de evaluadores • Solicitud • Preparación de la visita • Visita • Fase de observaciones • Evaluación provisional • Fase de alegaciones • Evaluación final • Resolución • Recurso

20. Metaevaluación Asimismo, en cada una de las fases, se han identificado aquellos agentes intervinientes en el proceso capaces de aportar información de relevancia. El proceso de revisión tomará en consideración aspectos del programa distribuidos en cinco grandes apartados: • Información, formación y resolución de consultas • Modelo de evaluación • Proceso de evaluación • Herramientas • Resultados e incidencia prevista

21. Metaevaluación Método Se ha recogido información procedente de • 1 . Encuestas, en las que han participado: • Paneles de visita externa (ACREDITA y ACREDITA PLUS) • Tras fase de formación (72 respuestas obtenidas) • Tras fase de visita externa (67 respuestas obtenidas) • Universidades (ACREDITA y ACREDITA PLUS ) • Tras fase de autoevaluación (11respuestas obtenidas) • Tras fase de visita externa (11 respuestas obtenidas) Datos obtenidos a 19/05/14

22. Metaevaluación 2. Entrevistas: • Personal de ANECA involucrado en el programa ACREDITA y ACREDITA PLUS: Equipo Directivo, Gestores de los programas, personal técnico, secretarios de paneles, técnicos informáticos. • Miembros de paneles de visita • Miembros de la Comisión de Renovación de la Acreditación • Universidades: Vicerrectores, Responsables de las Unidades técnicas de Calidad. • Consejo Asesor de ANECA

23. Metaevaluación Resultados PRINCIPAL HALLAZGO DEL ANÁLISIS DE LAS ENCUESTAS • En cuanto al informe de autoevaluación elaborado por las universidades, cabe destacar que nueve de cada diezuniversidades indican que el proceso de elaboración de dicho informe ha contribuido mucho o bastante a la reflexión interna por parte de la universidad

24. Metaevaluación Aportaciones recogidas, algunos ejemplos: Directrices Los paneles señalan: • la mayoría de los miembros de los paneles de evaluación externa (82%) han considerado necesarias o adecuadas, total o parcialmente, las directrices del modelo Además las Universidades señalan: • La mayoría de las Universidades considera adecuada la escala propuesta en la valoración de las diferentes directrices.

25. Metaevaluación Aportaciones recogidas, algunos ejemplos: Evidencias Los paneles señalan: • Una minoría de los miembros de los paneles de evaluación considera innecesarias o inadecuadas algunas de las evidencias solicitadas a la universidad (14%) • Un número mayor de evaluadores señalan que algunas de las evidencias han mostrado ser excesivamente ambiguas o de difícil contrastación (39%).

26. Metaevaluación Evidencias Sin embargo, las Universidades señalan: Evidencias obligatorias. Dificultades en la interpretación de la información por parte de las universidades - interpretación Fase autoevaluación: 82% de las universidadesha tenido dificultades en la interpretación de la información. Fase visita: 80% de las universidades ha tenido dificultades en la interpretación de la información. - recopilación Fase autoevaluación: 64% de las universidadesha tenido dificultades en la recopilación de la información. Fase visita: 91% ha tenido dificultades en la recopilación de la información

27. Metaevaluación Proceso de evaluación Los paneles señalan: • Los indicadores solicitados solamente una pequeña parte de los miembros de los paneles consideran que algunos de estos indicadores son innecesarios o inadecuados (14%) • Los miembros de los paneles consideran excesivamente ambiguos o de difícil contrastación (25%) algunos indicadores –destacan ‘Indicador de inserción laboral/empleabilidad de los egresados’-. • Un 76% de los miembros de los paneles consideran adecuada la representatividad de los interlocutores seleccionados para las entrevistas celebradas durante la visita.

28. Metaevaluación Proceso de evaluación • En cuanto a la información facilitada desde ANECA sobre el proceso tras la fase de autoevaluación. EL 83 % de las universidades considera que ha sido adecuada la información relativa a las novedades del proceso. • 73% de las universidades no considera que ha sido adecuada la información relativa a la vinculación entre el programa ACREDITA y el programa AUDIT

29. Metaevaluación Plazos • Las universidades participantes en el proceso han manifestado su disconformidad con los plazos.En lo que concierne al plazo dado para cumplimentar la información solicitada en la convocatoria, el 91% no lo considera suficiente.

30. Metaevaluación ¿ Qué hemos aprendido gracias a la metaevaluación

31. Metaevaluación • Las dificultades no radican tanto en el modelo propuesto para la renovación de la acreditación sino en: Las evidencias Los plazos Interrelación con otros programas

32. Cambios propuestos

33. Los cambios que se proponen Son relativos a: • Escala valoración • Importancia de determinados criterios en el proceso • Modelo de Evaluación • ACREDITA • Procedimiento • Organización de la información/evidencias • Potenciar la relación con otros programas • Planificación y Plazos • Período de observaciones

34. Los cambios que se proponen Son relativos a: • Escala valoración • Importancia de determinados criterios en el proceso • Modelo de Evaluación • ACREDITA • Procedimiento • Organización de la información/evidencias • Potenciar la relación con otros programas • Planificación y Plazos • Período de observaciones

35. Cambios propuestos El Modelo de evaluación se discutió en una reunión de REACU el 8 y 9 de Mayo en Girona. La discusión giró en torno a los siguientes puntos: • Posibles modificaciones de Criterios y directrices • Posibles cambios en la Escala de valoración • Importancia de determinados criterios en el proceso • Sinergias entre la renovación de la acreditación y otros programas (AUDIT, DOCENTIA y MONITOR)

36. Importancia de determinados criterios

37. Los cambios que se proponen Son relativos a: • Escala valoración • Importancia de determinados criterios en el proceso • Modelo de Evaluación • ACREDITA • Procedimiento • Organización de la información/evidencias • Potenciar la relación con otros programas • Planificación y Plazos • Período de observaciones

38. Cambios propuestos Organización de la información/evidencias • Se propone a las universidades presentar la información solicitada en el informe de autoevaluación de manera simplificada y estructurada respecto a lo acontecido en el proyecto piloto • Nuevas Tablas • Menos evidencias

39. Cambios propuestos Organización de la información/evidencias NUEVAS TABLAS

40. Cambios propuestos Organización de la información/evidencias NUEVAS TABLAS

41. Cambios propuestos Organización de la información/evidencias NUEVAS TABLAS

42. Cambios propuestos Organización de la información/evidencias NUEVAS TABLAS

43. Cambios propuestos Organización de la información/evidencias NUEVAS TABLAS Tabla 5. Listado de evidencias obligatorias

44. Cambios propuestos Organización de la información/evidencias NUEVAS TABLAS Tabla 6. Otras evidencias optativas

45. Los cambios que se proponen Son relativos a: • Escala valoración • Importancia de determinados criterios en el proceso • Modelo de Evaluación • ACREDITA • Procedimiento • Organización de la información/evidencias • Potenciar la relación con otros programas • Planificación y Plazos • Período de observaciones

46. Se propone aumentar el reconocimiento de los Elementos comunes Nuevas Propuestas en color rojo

47. Se propone aumentar el reconocimiento de los Elementos comunes

48. Los cambios que se proponen Son relativos a: • Escala valoración • Importancia de determinados criterios en el proceso • Modelo de Evaluación • ACREDITA • Procedimiento • Organización de la información/evidencias • Potenciar la relación con otros programas • Planificación y Plazos • Período de observaciones

49. Cambios propuestos Planificación y plazos 12 meses Planificación lógica sin atender a los plazos establecidos en el R.D.

50. Cambios propuestos El Real Decreto vs. La planificación ideal