Esther Megía Serrano

1. Evaluación Institucional en la Agencia Andaluza de Evaluación de la Calidad y Acreditación Universitaria (AGAE) VIII Foro de Almagro, 5 y 6 de octubre de 2006 Esther Megía Serrano e-mail: emegia@agae.es

2. Evaluación Institucional en la AGAE II Plan de Calidad de las Universidades (Plan Andaluz de calidad de las Universidades) Aprobó Real Decreto 408 de 20/04/2001 Objetivos iniciales: 1.- Continuar con el Plan Nacional a nivel CCAA 2.- Establecer un sistema de información basado en indicadores 3.- Establecer la acreditación de Titulaciones

3. Presentación de la Convocatoria Jornadas de Formación Comités Internos (Universidad) Titulaciones Fase I. Autoevaluación (Guía UCUA). (Duración aprox. 6 meses) Departamentos Servicios Universitarios/Bibliotecas Fase II. Evaluación Externa (UCUA, Universidad) Formación comités externos* (responsable UCUA) Títulos Propios Visita Externa (Universidad) Entrega Informe Externo (máx. 1 mes) Fase III. Redacción del Informe Final (síntesis Informe Autoevaluación e Informe Externo) (Universidad) ¿Qué y cómo evalúa la AGAE?

4. ¿Qué y cómo evalúa la AGAE? Fase IV. Plan de Apoyo a los Planes de Mejora - Compromiso cofinanciación Universidad-UCUA - Plan de Mejora Titulaciones Ayuda a la financiación 1ª anualidad (UCUA) Departamentos Memoria Seguimiento (acciones corto-medio plazo) Servicios Universitarios Títulos Propios Ayuda a la financiación 2ª anualidad (Universidad) Memoria Seguimiento (acciones Largo plazo) Evaluación Reconocimiento Unidad Evaluada

5. Cuaderno de trabajo (Audiencias) Programa Informático (Valoraciones Cuantitativas) Programa Informático (Valoraciones Cuantitativas) Guías de Evaluación Titulaciones Guía de Autoevaluación (Consejo Universidades adaptada UCUA) Convocatoria 2002 Nueva Guía Externa Protocolo de Informe Externo Nueva Guía Autoevaluación Protocolo de Infor. Autoevaluación Convocatorias 2003 - 2006 Nueva Guía Externa (versión simplificada de la 2002)

6. Novedad: Protocolos de informes Autoevaluación, Informe Externo y Final Guías de Evaluación Departamentos Guía de Autoevaluación (Consejo Universidades adaptada UCUA) Convocatoria 2002 Guía Externa (Consejo Universidades adaptada UCUA) Convocatoria 2003 - 2006

7. Guía Interna y Externa UCUA (Modelo EFQM) Perfil IV (Modelo EFQM) (Informe Autoevaluación) Cartas de Servicios (experimental) Guías de Evaluación Servicios Universitarios Convocatoria 2002 Guía Interna y Externa UCUA Bibliotecas (Modelo EFQM) Convocatoria 2003-2004 Convocatoria 2005 Informe de Validación (equiv. Externo) Convocatoria 2006

8. Informe Externo de Validación (en construcción) Guías de Evaluación Títulos propios/Tercer Ciclo Guía Autoevaluación Experimental Títulos propios y Estudios de Tercer Ciclo Convocatoria 2002 Guía Autoevaluación Títulos propios Convocatoria 2003 - 2006

9. Guías y Procesos de Evaluación Ventajas o Puntos fuertes: • Programa Informático facilita el trabajo de los comités internos y externos • Protocolo de Informe sencillo de utilizar • Informes idéntica estructura para analizar unidades de diferentes universidades • Unidades Técnicas de Calidad involucradas en los procesos

10. Guías y Procesos de Evaluación Inconvenientes o Puntos Débiles: • Comités internos reticentes con la evaluación (¿para qué?) • Evaluadores Externos con demasiada carga de evaluaciones (más 2 evaluaciones por convocatoria) • Programa Informático demasiado rígido • Audiencias demasiado extensas

11. FORMACIÓN Y COMPOSICIÓN DE COMITÉS EXTERNOS Titulaciones y Servicios Universitarios (3 personas): Presidente-Coordinador: Técnico/Académico: Profesional: • Profesor Universitario o P.A.S. • Del mismo ámbito de la Unidad evaluada • Responsabilidad/Cargos de Gobierno • Experiencia Evaluación • Profesor Universitario o P.A.S. • Del mismo ámbito de la Unidad evaluada • - Experiencia Evaluación • Experiencia y prestigio mundo laboral

12. FORMACIÓN Y COMPOSICIÓN DE COMITÉS EXTERNOS Departamentos (2 personas): Presidente-Coordinador: Técnico/Académico: • Profesor Universitario o P.A.S. • Del mismo ámbito de la Unidad evaluada • Responsabilidad/Cargos de Gobierno • Experiencia Evaluación • Profesor Universitario o P.A.S. • - Del mismo ámbito de la Unidad evaluada • Experiencia Evaluación

13. FORMACIÓN Y COMPOSICIÓN DE COMITÉS EXTERNOS Títulos Propios (3 personas): Presidente-Coordinador: 2 Técnicos de UTC: • Profesor Universitario o P.A.S. • Del mismo ámbito de la Unidad evaluada • Responsabilidad/Cargos de Gobierno • Experiencia Evaluación • Experiencia en la metodología • Afín Unidad Evaluada • - 1 propio Universidad • - 1 otra Universidad Andaluza

14. Base de Datos Evaluadores distintas convocatorias Base de Datos Evaluadores Consejo de Universidades Páginas Web de las Unidades de Calidad de Universidades Base de datos de Evaluadores Andaluces (creada 2006) Comités Externos de Evaluación Selección de Evaluadores Otras Agencias de Calidad (AQU-Catalunya, ACSUG, ANECA)

15. Informe Final Andaluz: datos e indicadores Síntesis evaluaciones realizadas en la convocatoria (sólo titulaciones) - clasificación por ramas o áreas de enseñanza - Ciencias Sociales - Humanidades - Ciencias Experimentales - Ciencias de la Salud - Tecnológica - datos generales de las Universidades (Fuente: Tabla 1. Autoevaluación) - datos generales de las Titulaciones (notas de corte acceso, oferta y demanda, Créditos ofertados, nº PAS, % aprobados, presentados, etc.) (Fuente: Tablas Autoevaluación)

16. Evaluaciones realizadas en el PACU

17. ESTADO ACTUAL DE LAS EVALUACIONES • Difusión del Informe Final Andaluz de la Convocatoria 2002 • Informe Final Andaluz de Bibliotecas (en Construcción) • Retraso en las convocatorias 2003 a 2005: • - no entrega informes autoevaluaciòn en la fecha prevista • - no entrega de informes externos en la fecha prevista • Septiembre de 2006, se inició de la convocatoria 2006 (fin del PACU)

18. DESAFÍOS: ÉNFASIS PARA EL FUTURO 1.- Simplificar y Homologar procedimientos en el nuevo plan (con España y Europa) 2.- Mayor énfasis en el papel que juega la evaluación externa y la AGAE

19. Donde encontrar información sobre la Evaluación Institucional en la AGAE: - http://www.agae.es/programas/evaluacion.htm - http://www.ucua.es/ucua/eva_mej_cal.html - Preguntas y sugerencias: emegia@agae.es