LA NUEVA GENERACIÓN DE LOS EGEL: CARACTERÍSTICAS, VENTAJAS Y CONDICIONES DE USO

2. LA NUEVA GENERACIÓN DE LOS EGEL: CARACTERÍSTICAS, VENTAJAS Y CONDICIONES DE USO Jorge Hernández Uralde Director General Adjunto de los EGEL Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Dirección General Adjunta de los EGEL. 6 de diciembre de 2007 Campeche, Campeche

3. Los Exámenes Generales para el Egreso de la Licenciatura Propósito Características Alcance Datos sobre su expansión Delimitación de contenido Revisión y actualización de los EGEL en operación Justificación Enfoque metodológico La nueva Generación de los EGEL Ventajas Condiciones para su adecuada aplicación Interpretación de resultados Resumen CONTENIDO

4. Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL PROPÓSITO DEL EGEL • El EGEL es una prueba nacional, especializada por carrera profesional, que tiene como objetivo… • Identificar la medida en que los egresados de la Licenciatura cuentan conlos conocimientos y habilidades esenciales para el inicio del ejercicio profesional en el país.

5. CARACTERÍSTICAS DEL EGEL Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

6. Con el uso continuo y sistemático del EGEL se espera poder contar con información válida y confiable que contribuya a establecer, fundamentalmente, tres aspectos: El grado de idoneidad de cada egresado con respecto a un estándar de formación nacional; El nivel de eficacia y pertinencia de los distintos programas y modalidades de formación profesional que administran las IES; Los indicadores de rendimiento a partir de los cuales, los organismos acreditadores respectivos, puedan identificar los méritos de cada programa de licenciatura en cada institución educativa. ALCANCE DEL EGEL Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

7. EXPANSIÓN DE LOS EGEL Existen 33 EGEL en operación. El próximo año entrarán en operación tres más: Ciencias de la Comunicación Nutrición Biología En 2008 se iniciarán los estudios de factibilidad de otros seis exámenes. De 1994 a la fecha, más de 450, 000 egresados de la Licenciatura han sido evaluados por un EGEL. Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

8. EXPANSIÓN DE LOS EGEL Durante 2007: Más de 80, 000 egresadossustentaron alguno de los 33 EGELen operación. Representando cerca del 40% del total del egreso nacional de las Licenciaturas relacionadas con estos EGEL. Los sustentantesdel EGEL provienen de más de 300 IES, públicas y privadas, de todas las entidades federativas del país. Un número importante de estas IES han establecido en sus reglamentos de exámenes y titulación, la sustentación y aprobación del EGEL como requisito previopara la titulación. Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

9. En la delimitación del contenido de la mayoría de los EGEL en operación, se puso en práctica una metodología, fundamentalmente, centrada en la oferta educativa de las IES. 1° Se identificaron los puntos en común de los perfiles profesionales de egreso y los contenidos de los planes de estudio de las licenciaturas; 2° De este conjunto de aspectos, se seleccionaron aquellos que se consideraron críticos para el ejercicio de cada profesión. 3° A partir de la importancia relativa de cada uno de estos aspectos, se determinó su peso específico en el examen. 4° A partir del nivel de profundidad con el que se estudian en la licenciatura, se determinó el nivel de complejidad cognitiva en que son evaluados. DELIMITACIÓN DEL CONTENIDO DE LOS EGEL EN OPERACIÓN Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

10. Los supuestos que subyacen a este enfoque son: Losplanes y programas de estudios de la licenciatura están relacionados con las necesidades del ejercicio profesional; Los contenidos de mayor importancia disciplinar o formativa suelen ser los que se comparten por los diferentes planes de estudios; La calidad académica y profesional de los integrantes de los Consejos Técnicos y su cuerpos auxiliares, garantiza que los contenidos finalmente seleccionados, refieran a conocimientos y habilidadescríticos para el inicio del ejercicio profesional. DELIMITACIÓN DEL CONTENIDO DE LOS EGEL EN OPERACIÓN... Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

11. La principal responsabilidad de una agencia dedicada al desarrollo y operación de instrumentos de evaluación consiste enasegurar... que la validez y confiabilidad de éstos sea una constante, es decir, que midan lo que deben medir, con exactitud, durante el tiempo que se mantengan en operación. Por ello, están obligadas a realizar, periódicamente (óptimamente cada cinco años o seis años) la revisión y actualización de los instrumentos que operan. JUSTIFICACIÓN Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

12. En el caso del CENEVAL y los EGEL, la importancia que tiene esta revisión y actualización se acrecienta, en virtud de que: Las profesiones y los planes de estudio de formación profesional, son campos dinámicos en constante transformación; Nos encontramos en una etapa de aceptación y uso generalizado de los EGEL por parte de las IES, públicas y privadas, de todo el país. JUSTIFICACIÓN … Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

13. Realizar la revisión y actualización de los EGEL en operación, implica la puesta en práctica de un complejo proceso, metodológico, técnico y de generación de consensos en el que participan... Más de 600 expertosde IES, colegios y asociaciones profesionales e instancias empleadoras de todo el país, que integran los Consejos Técnicos de los distintos EGEL. Miles de académicos y profesionistas en ejercicio, vinculados con las respectivas licenciaturas y carreras profesionales, que responderán una encuesta de validación sobre tareas profesionales. IMPLICACIONES INSTITUCIONALES Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

14. Para fortalecer la objetividad del proceso de revisión y actualización de los EGEL en operación, se planteó seguir una metodología diferente: Centrada enla identificación delos puntos de encuentroentre la oferta educativa y los requerimientos del mundo del trabajo. Toma también en cuenta los puntos en común de los Currículos de la licenciaturas, pero teniendo un punto de partida distinto… la recuperación de lo que hacen las personas alenfrentar y resolver situaciones y problemas característicos de la profesión. ENFOQUE PARA LA REVISIÓN Y ACTUALIZACIÓN DEL CONTENIDO DE LOS EGEL Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

15. Se requiere, progresivamente, especificar: El papel y las responsabilidades del profesionista en la sociedad en términos de funciones profesionales; Las actividades profesionales típicamente involucradas en cada función profesional, Las tareas que resultan críticasparael desarrollo de cada una de las actividades profesionales identificadas, De estas tareas críticas, aquellas que se abordan en la mayor parte de los currículos de las licenciaturas respectivas del país, Los conocimientos y habilidades que son esenciales para la adecuada realización de estas tareas profesionales. ENFOQUE PARA LA REVISIÓN Y ACTUALIZACIÓN DEL CONTENIDO DE LOS EGEL… Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

16. PROCEDIMIENTO PARA LA REVISIÓN Y ACTUALIZACIÓN DEL EGEL DETERMINAR Y ACOPIAR FUENTES DE INFORMACIÓN IDENTIFICAR LAS ACTIVIDADES RELACIONADAS CON LAS FUNCIONES PROFESIONALES SI DEFINIR FUNCIONES PROFESIONALES VALIDAR NO NO VALIDAR NO SI IDENTIFICAR LOS CONOCIMIENTOS Y LAS HABILIDADESIMPLICADOS EN LAS TAREAS DEFINIR LAS TAREAS CRÍTICAS DE CADA ACTIVIDAD SI VALIDAR VALIDAR SI NO DEFINIR OPERACIONALMENTE LOS CONOCIMIENTOS Y HABILIDADES SI ESTRUCTURA DEL EGEL VALIDAR NO

17. ENCUESTA PARA LA VALIDACIÓN SOCIAL DE LAS TAREAS PROFESIONALES Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL • Objetivos de la encuesta: • Confirmar las tareas que deben ser consideradas para la delimitación del contenido del EGEL • Determinar el peso específico que tendrán en el EGEL los conocimientos y habilidades implicados en cada tarea profesional • Recoger sugerencias sobre tareas que deben ser contempladas para la delimitación del contenido del EGEL

18. La especificación de un reactivo es… La descripción detallada de lo que se espera que el sustentante sea capaz de realizar como evidencia de que posee un conocimiento o habilidad cognitiva determinada. Incluye, como condición indispensable, la descripción, en términos observables, de dos aspectos: La acción que el sustentante debe ser capaz de realizar, en el contexto de la prueba. Las condiciones en las que se espera realice esta acción, en el contexto de la prueba. ESPECIFICACIÓN DE REACTIVOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

19. Para el caso del EGEL incluye también la descripción de un tercer aspecto fundamental: El papel y la importancia que tienen los conocimientos y habilidades cognitivas que se pretenden medir, en el contexto de la ejecución de la tarea profesional en la que están implicados. Esta descripción, constituye un referente muy importante para la elaboración de reactivos a partir de “casos” o problemas profesionales. ESPECIFICACIÓN DE REACTIVOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

20. FASES DE CONSTRUCCIÓN Y MANTENIMIENTO Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL SII BRAE Ensamble versión piloto Estructura del examen Revisión editorial Revisión técnica Calibración piloto Especificación reactivo Revisión técnica Revisión técnica Ensamble versión operativa Elaboración reactivos Revisión editorial Migración Revisión técnica Revisión técnica Validación externa Calibración operativa Revisión estilo Revisión técnica Revisión técnica Mantenimiento de banco

21. Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL FASES FINALES DEL PROCESO Impresión de materiales Distribución de materiales Aplicación del examen Lectura hojas de respuesta Calificación de los sustentantes Elaboración de bases de datos Calibración de reactivos Establecimiento de puntos de corte y especificación niveles de desempeño Emisión de reportes

22. Su contenido se encontrará: Socialmente validado Definido en forma más precisa y detallada Orientado a determinar si los egresados son capaces de utilizar lo que han estudiado y aprendido en su licenciatura, en situaciones similares a las que enfrentarán en el ejercicio profesional Contarán con estándares de desempeño definidos en forma cualitativa, con base en los cuales, se podrá conocer... Qué problemas y situaciones es capaz de resolver un sustentante cuando alcanza un desempeño satisfactorio y cuales, cuando alcanza un desempeño sobresaliente. VENTAJAS DEL EGEL DE NUEVA GENERACIÓN Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL

23. CONDICIONES DE APLICACIÓN Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL • La potencialidad del EGEL de nueva generación está ligada al hecho de que se le utilice en forma apropiada. • Se diseña y elabora como una prueba estandarizada, con el objeto de garantizar la comparabilidad de sus resultados: • Siempre son iguales el dominio medido, las instrucciones, el formato, la tipografía de las preguntas y la forma de asignar las puntuaciones. • Como se tienen diferentes preguntas en distintas versiones de la prueba, se utilizan procedimientos formales y estadísticos que garantizan que las versiones sean rigurosamente equivalentes para todos los sustentantes.

24. CONDICIONES DE APLICACIÓN Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL • En su aplicación siempre son igualeslos límites de tiempo, las restricciones y los materiales de apoyo que utiliza el sustentante. • Sin embargo, hay un aspecto más sutil referido a las condiciones de aplicación que el Ceneval no controla: • La motivación con la que el sustentante enfrenta la resolución de la prueba. • Debe asegurarse que el sustentante al resolver la prueba haga su máximo esfuerzo. Para lo cual, es condición indispensable que… • La IES usuaria, introduzca los incentivos necesarios, estableciendola como una evaluación de alto impacto en la vida académica del sustentante.

25. LA INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL • En las pruebas de evaluación educativas referidas a un criterio, como es el caso del EGEL, lo que se busca es: • Comparar los resultados de una persona contra un patrón o estándar de desempeño, el cual… • Refiere a un cambio educativo deseado o previsto • Se define con independencia del puntaje obtenido por el conjunto de los sustentantes. • En el caso del EGEL de nueva generación, este estándar invariablemente, estará referido a… • El dominio que debe mostrar el sustentante respecto de conocimientos y habilidades que se consideran indispensablespara iniciarse en el ejercicio de la profesión. • .

26. Sobresaliente Satisfactorio No satisfactorio Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL INTERPRETACIÓN DE LOS RESULTADOS El énfasis está en establecer categorías cualitativas más que diferencias cuantitativas entre los sustentantes. Se requiere establecer un punto de corte que permita identificar a partir de que puntaje el sustentante alcanza el estándar de desempeño Las puntuaciones obtenidas, por tanto, permiten inferir los problemas y situaciones que el sustentante es capaz de resolver

27. LA INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL • Con el EGEL de nueva generación, en el caso de la evaluación del egresado, no es relevante: • Conocer la posición relativa que éste ocupa en el continum de puntuaciones del total de personas que sustentaron la prueba. • Es decir… • Si se encuentra entre los últimos o los primeros en el continum de puntuaciones de la población evaluada o • Si su puntuación se encuentra o no cerca de, por ejemplo, la media aritmética, la desviación estándar, un determinado percentil.

28. LA INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL • En la evaluación de los programas de licenciatura, uno de los principales indicadores de calidad los es, sin duda, el nivel de aprendizaje efectivo alcanzado por sus estudiantes y egresados. • Por tanto, al utilizar el EGEL de nueva generación, lo relevante es: • la proporción de egresados que logran alcanzar el estándar de desempeño. • Lo irrelevante: • la puntuación promedio obtenida por el conjunto de egresados.

29. INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL • En el caso de la comparación entre IES, lo relevante es: • la proporción diferencial en que se ubican los egresados de las IES (equivalentes) en cada nivel de desempeño. • Lo irrelevante: • la posición relativa en que se ubican los egresados de cada IES a partir de sus puntuaciones promedio.

30. Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL LA INTERPRETACIÓN DE LOS RESULTADOS • De cualquier forma, los resultados del EGEL no pueden considerarse, en ningún caso, como indicadores suficientes para obtener conclusiones absolutas sobre: • la idoneidad profesional de un egresado o • la calidad de un programa de formación profesional

31. Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL LA INTERPRETACIÓN DE LOS RESULTADOS • Entre otras cosas, porque no abarca la evaluación de aspectos relevantes de la formación de los egresados, tales como: • Sus habilidades sociales, afectivas y motríces • Sus valores • Sus conocimientos y habilidades de tipo genérico • Los resultados del EGEL deben verse, siempre, como indicadorescomplementarios de los demás que recojan las IES en su sistema de evaluación institucional.

32. LA INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL Para poder hacer inferencias válidas respecto de la calidad de un programa con base en los resultados del EGEL se requiere, además, contar con los resultados de: • El conjunto de egresados del programa o • Una muestra representativa de ellos

33. Realizar la revisión y actualización de los EGEL en operación, es una responsabilidad insoslayable del Ceneval que implica la puesta en práctica de un complejo proceso en el que participa una gran cantidad de representantes y expertos de las IES y colegios profesionales y profesionistas en ejercicio. Los EGEL de nueva generación, producto de este proceso: Representan un avance importante respecto a los vigentes, en virtud de que su contenido se encontrará validado socialmente, definido con mayor precisióny orientado a determinar si los egresados son capaces de utilizar lo que han estudiado y aprendido en su licenciatura, en situaciones similares a las que enfrentarán en el ejercicio profesional. Serán herramientas de evaluación sumamente poderosas, siempre y cuando se les utilice y sus resultados seinterpreten en consonancia con los propósitos ysupuestos teórico - metodológicos con base enlos cuales se les diseña y elabora. A MANERA DE RESUMEN

34. GRACIAS Jorge Hernández Uralde Director General Adjunto de los EGEL jorge.hernandez@ceneval.edu.mx