Unidades de Calidad de las Universidades Andaluzas

1. IV Encuentro Unidades de Calidad de las Universidades Andaluzas Córdoba, febrero de 2008 La experiencia en el diseño e implantación de un SGC de un Master y su extrapolación a las Titulaciones de Grado (R.D. 1393/2007) Miguel Valcárcel Universidad de Córdoba

2. La experiencia en el diseño e implantación de un SGC y su extrapolación a las Titulaciones de Grado (R.D. 1393/2007). Í n d i c e • Introducción. • Experiencia en la implantación de una UGC de un Master. • Cómo plantear el SGC de un Título de Grado. • Aportación de la AGAE en este contexto.

3. La experiencia en el diseño e implantación de un SGC y su extrapolación a las Titulaciones de Grado (R.D. 1393/2007). Introducción

4. Introducción Cambios más relevantes del R.D. 1393/2007 con respecto a la situación actual Ausencia de directrices específicas para los Títulos Desaparición de las “áreas de conocimiento” Definición de cinco ramas del saber Definición de 3 ciclos Movilidad de estudiantes y profesores Cambio metodologías docentes Aprendizaje por competencias Diversificación de los roles del profesor Coordinación eficaz y eficiente Transparencia informativa Trabajo en equipo del profesorado (*) Sistemas periféricos de Garantía de Calidad en las Titulaciones Importancia crucial de los resultados (indicadores) Evaluación externa con consecuencias: VERIFICA (ANECA) (*) No se menciona el AUDIT ni el VERIFICA en el R.D.

5. Introducción Los sistemas periféricos de Garantía de Calidad • Novedad respecto al modelo centralizado (oficinas de calidad) • Programa AUDIT Universidad Centro Título R.D. y Programa VERIFICA Ventajas Inconvenientes • Calidad focalizada en un contexto bien definido. • Extensión de las responsabilidades. • Diseño e implantación “taylor made”. • Descarga de trabajo a las Oficinas Técnicas. • Falta de tradición. • Escasez de recursos humanos y materiales y de financiación. • Falta de expertos periféricos.

6. Introducción Programa AUDIT (II) Comparación genérica entre los Programas VERIFICA y AUDIT PROGRAMAS VERIFICA AUDIT Diana objeto de evaluación Centro Título / Plan de Estudios Medición Mejora Planificación, desarrollo, medición y mejora. Acciones Puede considerarse una parte del Programa AUDIT (item 9 del R.D.) Tienen en común con el VERIFICA el item 9 del R.D., pero abarca otros aspectos dentro de un ciclo de mejora continua. Extensión Interfase Título/Centro • Verificación (diseño) • (VERIFICA) • Acreditación (6 años) • (ACREDITA) • Verificación. • Certificación. mismo programa Doble proceso • ANECA. • Agencias CC.AA. Agencias ANECA Obligatorio si se quiere registrar e impartir un Título Carácter Voluntario. Temporalidad Abierto todo el año Convocatorias anuales

7. Introducción Planteamientos estratégicos institucionales respecto a los Programas AUDIT y VERIFICA SCG Centros y Central (AUDIT) SCG Centros y Central (AUDIT) BOTTOM-UP TOP-DOWN SGC Titulaciones (VERIFICA) SGC Titulaciones (VERIFICA)

8. Introducción Comparación genérica entre los Programas VERIFICA y AUDIT Recomendación práctica Bottom-up (cuando no se haya iniciado el AUDIT) • Implantar las SGC de las titulaciones (obligatorio para impartirlas) • Abordar el AUDIT en otra etapa posterior (voluntario, para la mejora) Planteamiento racional

9. Introducción R.D. de Ordenación de las Enseñanzas Universitarias (I) Cap. I Disposiciones generales. Cap. II Estructura de las enseñanzas universitarias en España. Cap. III Enseñanzas oficiales de Grado. Cap. IV Enseñanzas oficiales de Master. Cap. V Enseñanzas oficiales de Doctorado. Cap. VI Verificación y acreditación de TÍTULOS. Disposiciones adicionales (11), transitorias (5), derogatorias (1) y finales (4). Anexo I: Memoria para la solicitud de verificación de TÍTULOS OFICIALES. Anexo II: Materias básicas por ramas de conocimiento.

10. Introducción R.D. de Ordenación de las Enseñanzas Universitarias (III) Capítulo VI: Verificación y Acreditación de Títulos • (1)Verificación del Título. • (2)Registro (RUCT). • Registro de Universidades, • Centros y Titulaciones • (3)Seguimiento. • (4) Acreditación. Diseño Etapas Implantación

11. Introducción Anexo I del R.D.: Memoria para la solicitud de verificación de Títulos Oficiales Hoja de ruta (1) Descripción del título. (2) Justificación. (3) Objetivos. (4) Acceso/admisión de estudiantes. (5) Planificación de las enseñanzas. (6) Personal académico. (7) Recursos materiales/servicios. (8) Resultados previstos. (9) Sistema de Garantía de Calidad. (10) Calendario de implantación.

12. Introducción Anexo I del R.D.: Memoria para la solicitud de verificación de Títulos Oficiales Hoja de ruta (1) Descripción del título. (2) Justificación. (3) Objetivos. (4) Acceso/admisión de estudiantes. (5) Planificación de las enseñanzas. (6) Personal académico. (7) Recursos materiales/servicios. (9) Sistema de Garantía de Calidad (8) Resultados previstos. (10) Calendario de implantación.

13. Introducción Los Títulos Oficiales de Grado y Master tienen connotaciones comunes en el R.D. 1393/2007 Una de ellas es el planteamiento del Sistema de Garantía de Calidad que obligatoriamente debe asociarse al Título Es posible la extrapolación de un SGC de un Master ya desarrollado (2006-2007) al diseño de las nuevas Titulaciones

14. La experiencia en el diseño e implantación de un SGC y su extrapolación a las Titulaciones de Grado (R.D. 1393/2007). La experiencia en el diseño e implantación del SGC del Master interdepartamental "Química Fina Avanzada" de la UCO (2006-2007)

15. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO Antecedentes • Documento de las Agencias de Calidad del Estado Español para el diseño de los Másteres. • Experiencias personales en sistemas de gestión de la calidad. Se ha hecho camino al andar Situación al inicio del proceso • Referencias muy escasas. • Arenas movedizas normativas. • Directrices casi nulas del gobierno Autonómico y de la UCO.

16. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO Etapas de desarrollo (1) Diseño de la UGC del Master. Junio-Diciembre 2006: Constitución de la UGC. Diciembre 2006: Diciembre 2006 a Enero 2007: Diseño de los procedimientos-herramientas. Aplicación de las herramientas. Mayo-Septiembre 2007: Validación ANECA (solicitud Mención de Calidad). Julio 2007:

17. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO Etapas de desarrollo (2) Gestión de los datos primarios (Oficina Técnica UCO). Julio-Octubre 2007: Distribución de los resultados a las partes interesadas. Octubre 2007: Octubre 2007: Comparación de los resultados con otros Másteres de la UCO. Análisis DAFO del SGC durante el curso 2006-2007: mejoras para el curso 2007-2008. Octubre 2007: Realización de las pruebas CERTICAP (UNIVERSIA) a todos los egresados (voluntarios). Enero 2008: Aplicación herramientas a medio plazo (impacto de los trabajos Fin de Master e inserción laboral egresados). Marzo-Abril 2008:

18. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO Se ha demostrado la viabilidad de un sistema periférico de calidad y con resultados satisfactorios, sin grandes apoyos y recursos.

19. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO Referencias documentales del SGC implantado • Página web del Master: • http://www.uco.es/postgrado/master_quimica/web/index2.html • Página web del Vicerrectorado de Planifación y Calidad • de la UCO: • http://www.uco.es/organizacion/calidad/ • Versiones en castellano e inglés. • Se reconoce explícitamente el origen de las encuestas que la Institución ha asumido como propias.

20. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO La UGC del Master • Composición: • Reglamento de funcionamiento interno. • (decisiones de carácter no ejecutivo) • Actas de las reuniones. • Ningún miembro común con el Comité Gestor del Posgrado. • Representantes de profesores por Departamentos, estudiantes y PAS. • Nombramiento de un Presidente, de entre ellos. • TOTAL: 6 personas

21. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO Manual de Calidad (procedimientos) (1) Cada procedimiento consta de: • Protocolo detallado de actuación. • Sistema de recogida de datos (impresos ad-hoc). • Sistema de análisis de los resultados con propuestas de mejora.

22. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO Manual de Calidad (procedimientos) (2) Listado de procedimientos diseñados y aplicados (1) • Control de asistencia en las actividades presenciales. • Encuesta al alumnado sobre cada una de las materias impartidas en los Másteres Oficiales. • Encuesta al profesorado sobre cada una de las materias impartidas en los Másteres Oficiales. • Encuesta al alumnado sobre la coordinación y gestión del Master. • Encuesta al profesorado sobre la coordinación y gestión del Master. • Encuesta a gestores sobre la coordinación y gestión del Master.

23. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO Manual de Calidad (procedimientos) (2) Listado de procedimientos diseñados y aplicados (2) • Encuesta al alumnado sobre el desarrollo del Trabajo Fin de Master. • Encuesta a los tutores sobre el desarrollo del Trabajo Fin de Master. • Impreso de sugerencias y reclamaciones. • Ficha para el seguimiento de los egresados del Master (I). • Ficha para el seguimiento de los egresados del Master (II). • Evaluación del impacto de los Trabajos Fin de Master. • Seguimiento parcial del grado de satisfacción de los becarios de la Fundación Carolina. Nota: Los impresos (encuestas y otros) se encuentran en la página web del Master.

24. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO Resultados (hasta enero de 2008) (1) Evaluación Másteres UCO

25. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO Resultados (hasta enero de 2008) (2) Conclusiones • El Master de Química Fina Avanzada ha realizado todas las encuestas previstas por la Unidad de Garantía de Calidad. Los demás Másteres de la UCO no han realizado: • - Encuestas del profesorado sobre la coordinación y gestión del Master. • - Encuestas de tutores y alumnos sobre el trabajo Fin de Master. • - Encuestas del profesorado sobre las materias impartidas. • - Encuestas individualizadas (por profesor) sobre las materias impartidas. • 2) De los datos que son comparables referentes a la opinión del alumnado, cabe destacar: • - La mayor valoración (8.24 versus 6.48) de la coordinación y gestión del • Master obtenida por el Master de Química Fina Avanzada; y • - La notable mejor opinión media de los estudiantes de Química Fina • Avanzada (8.52 versus 6.90) sobre las materias impartidas.

26. La experiencia en el diseño e implantación del SGC del Master interdepartamental “Química Fina Avanzada” de la UCO Análisis de la experiencia (1) Puntos fuertes • Viabilidad de los procedimientos pese a la falta de tradición y experiencia. • Asunción del rol de la UGC (independencia del Comité Gestor). • Participación modélica de todas las partes interesadas (profesores, estudiantes, PAS). • Concepto integral de calidad docente + calidad investigadora. • Potencial transferencia del know-how a los SGC de las Titulaciones de Grado. (2) Puntos débiles • Improvisación de muchas de las acciones (casi coincidencia diseño con desarrollo). • No se ha considerado la metaevaluación de las competencias estudiantiles. • Algunos impresos poco adecuados. • Falta de planificiación de acciones post-curso académico. (3) Propuestas de mejora • Planificación completa de un curso académico y de todas las acciones relacionadas con la información del Master. • Consideración sistemática de la metaevaluación de las competencias estudiantiles.

27. La experiencia en el diseño e implantación de un SGC y su extrapolación a las Titulaciones de Grado (R.D. 1393/2007). Cómo plantear el SGC de un Título de Grado 10 principios básicos

28. Cómo plantear el SGC de un Titulo de Grado Principios básicos del planteamiento Adecuación a las referencias legales y/o evaluativas. 1 • R.D. 1393/2007 de Ordenación de las Enseñanzas Universitarias: • Preámbulo. • Capítulo VI: Verificación y Acreditación de Títulos. • Anexo I, apartado 9: SGC de un Título con 5 elementos. • Programa VERIFICA (ANECA): • Protocolo de evaluación: • Criterios y directrices • Plantilla de evaluación • Guía de apoyo para la Memoria (apartados 8 y 9) de los apartados 8 y 9 del R.D. • Programa AUDIT (ANECA) • Futuros Programas “SEGUIMIENTO” y “ACREDITA”: Única referencia actual: Artículo 27 del R.D.

29. Cómo plantear el SGC de un Titulo de Grado Relación entre los items del SGC del R.D. y los del Programa VERIFICA en lo relativo al SGC Item R.D. Programa VERIFICA Responsable de SGC interno de calidad del Plan de Estudios, así como su estructura, composi- ción, mecanismos y procedimiento de discusión. Responsable del SGC del Plan de Estudios. 9.1 Mecanismos y procedimientos adecuados y siste- máticos para la recogida de información que permitan revisión del Plan de Estudios. Procedimiento de evaluación y mejora de la calidad de la ense- ñanza y profesorado. 9.2 Mecanismos y procedimientos adecuados y siste- máticos para la toma de decisiones que garanti- cen la mejora del Plan de Estudios. Procedimientos para garantizar las prácticas externas y los programas de movilidad. 9.3 Criterios que establezcan los límites para que un título sea suspendido. Procedimientos de análisis de inserción laboral de los graduados y la satisfacción con la formación recibida. 9.4 Procedimiento para el análisis de la satisfacción de los diversos colecti- vos implicados y de atención a suge- rencias o reclamaciones. Criterios para la extinción del título. Mecanismos para dar publicidad sobre la información del Plan de Estudios, su desarrollo y resultados para ...... 9.5

30. Cómo plantear el SGC de un Titulo de Grado Relación entre los items del SGC del R.D. y los del Programa VERIFICA en lo relativo al SGC Los elementos del VERIFICA son más prácticos y cercanos a la realidad • Seguir los 5 elementos del Programa VERIFICA. • Tomar como referencias permanentes los 5 items del R.D. • Utilizar la doble referencia en la Memoria. Estrategia

31. Cómo plantear el SGC de un Titulo de Grado Principios básicos del funcionamiento Combinación del rigor con la simplicidad y viabilidad. 2 Simplicidad Rigor Viabilidad Hay que tener en cuenta que lo que se diseña (y se verifica) habrá que desarrollarlo y que los (futuros) Programas “SEGUIMIENTO” y “ACREDITA” tendrán como referencia lo diseñado.

32. Cómo plantear el SGC de un Titulo de Grado Problema general detectado en estos momentos En el diseño: es posible caer en la tentación de configurar un Título de forma dispersa y compleja, lo que . . . En la implantación del mismo será un gran hándicap que dificultará tanto la gestión interna como la post-evaluación (“Seguimiento”, “Acredita”).

33. Cómo plantear el SGC de un Titulo de Grado Principios básicos de actuación Selección de la información necesaria para asegurar la mejora continua. 3 Ruta de la UGC información (indicadores) Datos Conocimiento

34. La UGC de una titulación Interna (Titulación) • Centro • La universidad • Otras universidades • Entorno económico-social otras evaluaciones Externa como referencia Origen Información sobre la Titulación Diana • Indicadores • Calidad de la enseñanza y • del profesorado • Prácticas externas • Movilidad • Graduados: Empleabilidad • y satisfacción • Satisfacción de todas las • partes interesadas • Bases de datos • Estudiantes • Egresados • Profesorado • PAS • Empleadores • Otros agentes • sociales • Otras Titulaciones: • . misma universidad • . otras universidades R.D. Tópicos Fuentes Dar publicidad de la infor- mación sobre la Titulación VERIFICA

35. Cómo plantear el SGC de un Titulo de Grado Nivel de información requerido sobre la Titulación • El necesario para la mejora continua. • Puede ir “in crescendo” al consolidarse las funciones e impacto de la UGC. • La selecciónde los datos primarios y de la información generada es una tarea prioritaria de la UGC.

36. Cómo plantear el SGC de un Titulo de Grado Nivel de datos primarios a recoger y analizar por la UGC de una Titulación  Básico Complementario Exhaustivo

37. Cómo plantear el SGC de un Titulo de Grado Si realmente no se desea que se tomen decisiones, ... inunda el sistema con datos. principio empresarial ¿Cuántos datos se han recopilado en las evaluaciones institucionales de Titulaciones que no han servido para el fin previsto (análisis DAFO)?

38. Cómo plantear el SGC de un Titulo de Grado Adaptación del Principio de Pareto a la labor de la UGC de una Titulación 100 80 Nivel de información sobre una Titulación 60 40 20 0 Datos posibles sobre la Titulación 0 20 40 60 80 100 Diana inicial de la UGC

39. Cómo plantear el SGC de un Titulo de Grado Principios básicos del planteamiento Predominio del análisis de la información sobre la recogida de datos. 4 Incorrecto Correcto Análisis de la información Recogida de datos Recogida de datos Análisis de la información

40. Cómo plantear el SGC de un Titulo de Grado Principios básicos del planteamiento 5 Constancia y continuidad del SGC. La evolución de la información con el tiempo es mucho más relevante que la información en un determinado momento. La evolución de los indicadores de calidad debe ser un aspecto clave de la UGC Garantizar la constancia y continuidad de las tareas de la UGC es un tema crucial Para asegurar una evaluación positiva en la acreditación ex-post

41. Cómo plantear el SGC de un Titulo de Grado Principios básicos del planteamiento El SGC debe responsabilizarse también del apartado 8 (resultados, indicadores). 6 ¿Puede un SGC no considerar sistemática-mente los resultados previstos y obtenidos? Sería un error estratégico que el SGC no estuviera involucrado en los resultados que se prevean y se vayan consiguiendo Recogida datos / procesado / interpretación Clave para la acreditación futura En el RD hay dos apartados aparentemente independientes: (8) Resultados previstos. (9) SGC.

42. Cómo plantear el SGC de un Titulo de Grado Anexo I: Memoria para la solicitud de verificación de Títulos Oficiales Indicadores (8) Resultados previstos 8.1Estimación de valores cuantitativos ysu evolución. Tasa de graduación Tasa de abandono Tasa de eficiencia • Justificación. • Aspecto clave para la ACREDITACIÓN (a los 6 años de inicio de la Titulación). 8.2 Procedimiento general de la universidad para valorar el progreso y los resultados de aprendizaje de los estudiantes (ej. pruebas externas, trabajos Fin de Grado, etc).

43. Cómo plantear el SGC de un Titulo de Grado Indicadores en el R.D. de Ordenación de las Enseñanzas Tasa de graduación Porcentaje de estudiantes que finalizan la enseñanza en el tiempo previsto en el Plan de Estudios o en un año académico más en relación con la cohorte de entrada. Tasa de abandono Relación porcentual entre el número total de estudiantes de una cohorte de nuevo ingreso que debieron obtener el Título el año académico anterior y que no se han matriculado ni ese año académico ni el anterior. Tasa de eficiencia Relación porcentual entre el número total de créditos del Plan de Estudios a los que deberían haberse matriculado a lo largo de sus estudios el conjunto de graduados de un determinado año académico y el número total de créditos en los que realmente han tenido que matricularse.

44. Cómo plantear el SGC de un Titulo de Grado Otros indicadores • Evolución de los alumnos de nuevo ingreso. • Porcentaje de estudiantes part-time. • Calidad docente e investigadora del profesorado • Empleabilidad, movilidad • Satisfacción de todas las • partes interesadas. • Otros. • Otros. Apartado 9 del Anexo I del R.D. (SGC)

45. Cómo plantear el SGC de un Titulo de Grado Principios básicos del planteamiento El SGC sólo debe hacer propuestas de mejora y nunca tomar decisiones. 7 La UGC no puede convertirse en un poder paralelo Definición de la confidencialidad de la información generada Pero, ... referencia interna para el seguimiento de las propuestas de mejora

46. Cómo plantear el SGC de un Titulo de Grado Proceso informativo input/output Datos internos y externos sobre la Titulación y contexto • Información • procesada(DAFO) • Fortalezas • Debilidades • Oportunidades • Amenazas • Propuestas mejora U G C Titulación Comisión del Plan de Estudios Autoridades académicas del centro Autoridades académicas de la universidad

47. Cómo plantear el SGC de un Titulo de Grado Principios básicos del planteamiento 8 Optimización de recursos institucionales. Las Oficinas/Unidades de Calidad de las Universidades no pueden hacerse cargo plenamente de los SGC periféricos, aunque sí aportar experiencia (formación, asesoramiento). La institución debe organizarse internamente. Red de Calidad Institucional

48. Cómo plantear el SGC de un Titulo de Grado UGC Titulación 2 UGC Titulación 1 UGC Titulación 3 UGC Centro 1 AUDIT VERIFICA ACREDITA UGC Centro 8 UGC Centro 2 Vicerrectorado de Calidad Unidad Técnica de Calidad Rectorado UGC Centro 7 UGC Centro 3 UGC Centro 6 UGC Centro 4 UGC Centro 5

49. Cómo plantear el SGC de un Titulo de Grado Ámbitos de actuación de la UGIC de un Centro Directos Indirectos Coordinación y apoyo a las UGIC de las Titulaciones otras UGIC UGIC UGIC Titulación 1 Titulación 2 Titulación n Gestión del Centro Relación con la UGIC central Rectorado AUDIT VERIFICA

50. Cómo plantear el SGC de un Titulo de Grado Principios básicos del planteamiento 9 Organización interna: la UGC. • Definición previa de misión visión y objetivos. • Definición de composición (< 5-6 personas): • Expertos en evaluaciones. • Representatividad. • Un(a) coordinador(a). • Reglamento de funcionamiento interno. • Documentar todas sus actuaciones. • Función principal: Diseño, desarrollo, validación y aplicación sistemática de un Manual de Calidad del Título