Evaluacion externa La experiencia de una agencia de acreditación

1. Evaluacion externaLa experiencia de una agencia de acreditación María José Lemaitre Agosto 2007

2. Decisiones iniciales ¿Para qué? • Retroalimentación: importante conocer el impacto del trabajo hecho, la opinión de las IES, identificar cambios necesarios • Cuenta pública: necesidad de dar un informe confiable acerca de la labor realizada • Mejoramiento: Necesidad de un proceso formal para identificar fortalezas y debilidades, y oportunidades de mejora • AQU Cataluña: demostrar que cumple con criterios ENQA, requisito para membresía María José Lemaitre

3. CNAP: Orientaciones para las buenas prácticas de INQAAHE Propósitos y objetivos de la agencia Acreditación de carreras Acreditación institucional Apoyo y promoción de una cultura de calidad en IES AQU CATALUNYA: Criterios ENQA Propósitos y objetivos de la agencia Criterios de evaluación María José Lemaitre

4. Elementos centrales INQAAHE: • Claridad en la definición de propósitos • Coherencia entre propósitos y acciones • Grado de cumplimiento de los propósitos (medido desde la perspectiva de los principales actores: gobierno, IES; Comisión) • Recursos • Transparencia (en los criterios, los procedimientos, las decisiones) María José Lemaitre

5. Elementos centrales INQAAHE: • Calidad y difusión de materiales de apoyo • Mecanismos para seleccionar, entrenar, apoyar y evaluar a evaluadores externos • Claridad y consistencia en las decisiones de evaluación • Mecanismos internos de autorregulación María José Lemaitre

6. Elementos centrales ENQA: • Uso de los procedimientos para la evaluación externa: claridad en los propósitos, coherencia entre propósitos y procedimientos, Claridad y consistencia en las decisiones, difusión de resultados, mecanismos de seguimiento, periodicidad de los procesos de AC, análisis integrado • Status oficial de la agencia • Desempeño de actividades de AC de manera regular • Recursos adecuados y bien distribuidos para desempeñar sus funciones de manera eficaz y eficiente María José Lemaitre

7. Elementos centrales ENQA: • Propósitos claros, bien definidos y adecuadamente difundidos • Resultados en función de los propósitos • Independencia: autonomía en la operación de la agencia y evidencias de que las decisiones y recomendaciones no están influenciadas por otros actores • Claridad y consistencia en los criterios y procesos de evaluación externa (a IES), incluyendo autoevaluación, informe de pares y seguimiento • Mecanismos internos para rendir cuenta pública de la acción de la agencia María José Lemaitre

8. CNAP: un miembro del board de INQAAHE Dos integrantes (de cuatro) que hablaran castellano Un miembro local Un integrante de USA o R.U. Designados por INQAAHE y aprobados por la agencia AQU: Cinco miembros Todos entendían castellano, sólo uno con castellano como lengua materna Ningún evaluador local Un estudiante Todos designados por ENQA y aprobados por la agencia Pares evaluadores María José Lemaitre

9. Participaron: Los miembros de la comisión La secretaría técnica Representantes de las IES y sus carreras Evaluadores de carreras e instituciones, nacionales e internacionales Proceso de autoevaluación(CNAP) María José Lemaitre

10. Proceso de autoevaluación Evidencias utilizadas: • Cuestionarios respondidos por representantes de las IES y evaluadores • Datos sobre el desempeño (tiempo requerido para completar distintas tareas, número de decisiones de acreditación, respuesta de las IES) • Revisión de documentos, manuales, guías, formularios, talleres, acuerdos, actas María José Lemaitre

11. Uso de la evidencia (ambos procesos) • Descripción clara de la agencia y del trabajo que realiza • Base para el análisis en función de los criterios • Fundamento para los juicios de valor, identificación de fortalezas y debilidades • Fundamento del plan de mejora María José Lemaitre

12. Utilidad del proceso Auto evaluación: • La auto evaluación es un proceso duro (tal como reportan las IES): • Difícil conseguir una adecuada participación de actores externos • Difícil reconocer fortalezas • Difícil identificar debilidades sin justificarlas • Es también un proceso tan útil como reconocen las IES • Esencial la información de respaldo María José Lemaitre

13. Evaluación externa: • Disponibilidad de materiales de respaldo: necesidad de ordenar y priorizar • Organización de reuniones y entrevistas: • Identificación de personas e instituciones • Programa (definido por el equipo evaluador) • Organización logística (contratos, hotel, transporte, traducción, interpretación) María José Lemaitre

14. Evaluación externa: • El equipo estudió detenidamente los materiales • Sostuvo reuniones largas con todos los grupos relevantes (Comisión, secretaria, evaluadores de carreras, evaluadores institucionales, equipos específicos dentro de la secretaría, otros grupos) • Visitó instituciones de acuerdo con el programa solicitado y/o entrevistó autoridades, profesores, estudiantes) • Agregó entrevistas al programa inicial y solicitó reuniones de clarificación María José Lemaitre

15. El informe de evaluación externa: • Preparación: • ¿Destinatarios? Exigencia de que se hiciera público • Equilibrio entre contexto, análisis, evidencia y resultados en terreno • Recomendaciones: Identificación de áreas débiles, sugerencias • Borrador enviado a la agencia para asegurarse de que no hubiera errores María José Lemaitre

16. Utilización: • Una amplia gama de información importante y significativa • Una mirada diferente a tareas familiares • Clara consideración de las conclusiones de la auto evaluación • Sugerencias y recomendaciones útiles • Sugerencias importantes para el trabajo de la agencia • Acuerdo parcial con las recomendaciones María José Lemaitre

17. Pasos posteriores • Trabajo de análisis de las recomendaciones • Para ver cuáles debían implementarse de inmediato • Para decidir acerca de la conveniencia de implementar otras • Para contemplar los aspectos relevantes en el plan de trabajo • Inicio de un proceso de ajustes • Observaciones al proceso y los criterios María José Lemaitre

18. Conclusión • Proceso extremadamente útil, desde distintos puntos de vista: • Mejor relación con las IES • Mejor comprensión de los procesos que se aplican • Oportunidad para revisar y analizar los propios procesos • Oportunidad para saber cómo se ve la agencia desde fuera • Retroalimentación experta María José Lemaitre