LA MEDICIÓN COMO UNA MANERA DE EXPRESAR LA EVALUACIÓN DEL ESTUDIANTE: SUS POSIBILIDADES Y LIMITACIONES

1. LA MEDICIÓN COMO UNA MANERA DE EXPRESAR LA EVALUACIÓN DEL ESTUDIANTE: SUS POSIBILIDADES Y LIMITACIONES Richard J. Shavelson Laboratorio de Evaluación de la Educación Universidad de Stanford Conferencista Invitado Foro Nacional de Evaluación del Aprendizaje en la Educación Superior Bogotá, Colombia Noviembre 5-6, 2008

2. Visión general • La búsqueda para evaluar el aprendizaje de los estudiantes y permitir la rendición de cuentas en Estados Unidos: posibilidades y limitaciones. • Un marco de referencia para la evaluación del aprendizaje en la universidad. • The Collegiate Learning Assessment (La Evaluación del Aprendizaje Universitario) • Conclusión: implementación fundamentada de las funciones formativa y sumativa de la rendición de cuentas.

3. Comisión de la Secretaría de Educación de los Estados Unidos, Margaret Spellings, sobre el futuro de la Educación Superior • Reconoció los logros de la educación superior de los Estados Unidos… PERO • “La educación superior debe cambiar de un sistema que se basa principalmente en la reputación, a uno basado en el desempeño” • Urgió a la “creación de una fuerte cultura de rendición de cuentas y transparencia”

4. Evaluación de la Educación Superior por la Comisión • Ayuda Financiera: “…nuestro sistema de ayuda financiera es confuso, complejo, ineficiente, duplica acciones y frecuentemente no ayuda directamente a los estudiantes que realmente lo necesitan” • Aprendizaje: “… la calidad del aprendizaje de los estudiantes de las universidades en Estados Unidos es inadecuada, y algunos casos, decadente” • Transparencia y Rendición de Cuentas: “… una escasez notoria de información clara y accesible sobre aspectos cruciales en las universidades norteamericanas, desde la ayuda económica hasta las tasas de graduación”. • Innovación: “… numerosas dificultades …hay riesgos de obstaculizar la capacidad de las instituciones postsecundarias para responder a las necesidades laborales en el ámbito nacional y competir en el mercado global”

5. La Comisión destaca la rendición de cuentas sobre el aprendizaje de los estudiantes • Los logros del estudiante, estrechamente relacionados al éxito de la institución, deben ser medidos por las instituciones según una base de “valor agregado”, que tome en cuenta la línea de base académica de los estudiantes al evaluar sus resultados • Esta información debe estar disponible para los estudiantes, y debe ser suministrada públicamente de manera agregada para aportar a los consumidores y a quienes formulan las políticas una forma accesible e interpretable de medir la efectividad relativa de diferentes universidades

6. Evaluación de seis organizaciones profesionales de la educación superior • Ampliar el acceso a la universidad para los estudiantes de bajos recursos y minorías • Lograr que la universidad sea accesible • Mejorar el aprendizaje utilizando nuevos conocimientos y nuevas técnicas instruccionales • Preparar a los estudiantes de secundaria para la educación superior • Aumentar la rendición de cuentas sobre los resultados educativos • Internacionalizar la experiencia del estudiante • Aumentar las oportunidades para una educación de por vida y el entrenamiento del personal

7. Respuestas enfáticas de dos organizaciones profesionales • Creación de un Sistema Voluntario de Rendición de Cuentas (SVRC) • Propósito: • Demostrar al público la rendición de cuentas y la gestión • Medir los resultados educativos para identificar las prácticas educativas efectivas • Integrar información que se accesible, comprensible y comparable • Crear un ambiente propicio para la rendición de cuentas sobre los intereses más representativos de las universidades

8. Las universidades reaccionan: ¡Limitaciones! • La misma talla no le sirve a todos — La Comisión falló en reconocer la diversidad de las instituciones de educación superior • Los resultados varían según las áreas académicas de énfasis • La concentración en los resultados “cognitivos” (conocimiento declarativo y procedimental) es muylimitante – se necesitan resultados sobre la responsabilidad individual y social

9. Las universidades reaccionan: ¡Limitaciones! Hay intromisión en la cultura académica en la cual los profesores son responsables del currículum, la enseñanza y la evaluación El sistema de educación superior es muy complejo para una simple medida cuantitativa Las comparaciones al estilo de “carreras de caballos” entre las universidades es, en el mejor de los casos, equivocada y, en el peor, tiene efectos perversos en la enseñanza y el aprendizaje

10. Hacia un rumbo común: posibilidades Rechazo a la evaluación estandarizada del aprendizaje y la rendición de cuentas en la educación superior: • Se ignoran las prácticas de evaluación buenas y malas • No es democrático afirmar que sólo unos pocos estudiantes con talentos notorios pueden tener éxito en vez de identificar, modelar y crear un conjunto de habilidades intelectuales y prácticas accesibles para todos los estudiantes • Se niega la responsabilidad de la educación superior para generar un curriculum coherente • Es un error cuando se argumenta que las universidades no comparten estándares comunes

11. Rumbo común para la educación superior • Percibir y resumir de manera precisa los puntos de vista de otros • Explorar las afirmaciones del conocimiento • Pensar críticamente • Razonar analíticamente • Relacionar información aparentemente dispareja • Justificar las propias afirmaciones del conocimiento con evidencias válidas

12. Marco de referencia para evaluar el aprendizaje Inteligencia General Fluida Cristalizada Heredado o por experien-cia acumulada Abstracto Orientado al proceso Razonamiento general Verbal Cuantitativo Espacial Ejemplo: Graduate Record Examination (GRE) Habilidades básicas Razonamiento Pensamiento crítico Solución de problemas Toma de decisiones Comunicación En diversos campos (Disciplinares – humanidades, ciencias sociales, ciencias – Y en la responsabilidad – personal, social moral y cívica Ejemplo: Collegiate Learning Assessment (CLA) Bases comunes Concreto Orientado a contenido Experien-cia directa Conocimiento, comprensión y razonamiento En campos de profundización y en las profesiones (literatura americana, negocios) Ejemplo: Exámenes del ETS en campos de profundización Aprendizaje disciplinar

13. Marco de referencia amplio para evaluar el aprendizaje Creciendo / Avanzando Conocimiento y razonamiento disciplinar Medio ambiente universitario • Habilidades generales • Pensamiento crítico • Razonamiento analítico • Solución de problemas • Comunicación Aprendizaje transformador • Responsabilidad • Identidad • Resilencia • Competencia emocional • Perspectiva para mirar y actuar

14. Un propuesta para la medición del aprendizaje:La Evaluación del Aprendizaje Universitario (EAU)The Collegiate Learning Assessment (CLA) • La larga historia de la evaluación del aprendizaje en la educación superior • Predominio de una tradición comportamental / psicométrica caracterizada por pruebas de selección múltiple sobre hechos y procedimientos • Períodos progresivos que reaccionaron a la tradición comportamental, optando por una visión holística cercana a la mirada de los educadores de la educación superior sobre la enseñanza y el aprendizaje de tareas complejas • El CLA ejemplifica el “nuevo”, nuevo enfoque para evaluar el aprendizaje

15. Evaluación del Aprendizaje Universitario • CLA • Pensamiento crítico • Razonamiento analítico • Solución de problemas • Comunicación Trabajos de escritura analítica Trabajos de desempeño Formular un argumento Descomponer un argumento

16. Evaluación del Aprendizaje Universitario (CLA):Un enfoque de muestreo de criterios • Enfoque de muestreo de criterios • Muestras de tareas sobre campos de la “vida real” • Muestreo de operantes así como de respuestas de quien responde • Da lugar al pensamiento abstracto complejo (“patrones de pensamiento operante”) • Entrega de información sobre cómo mejorar en las tareas (la trampa no es posible si se pueden hacer tareas de criterio!) • Evaluación del aprendizaje universitario (CLA) • Muestras holísticas, tareas del mundo real tomadas de experiencias de la vida • Toma muestras de respuestas abiertas (no selección múltiple) • Da lugar al pensamiento crítico, al razonamiento analítico, a la resolución de problemas y a la comunicación • Suministra tareas tanto para la enseñanza como para la evaluación

17. - : - - : - Tarea de desempeño – CLA - Ejemplo de“DynaTech” Usted es el asistente de Pat Williams, el presidente de Dyna Tech, una compañía que fabrica instrumentos electrónicos de precisión y equipos de navegación. Sally Evans, miembro del grupo de ventas de Dyna Tech, recomienda que la compañía compre un pequeño avión (SwiftAir 235) que ella y otras personas pueden usar para visitar a los clientes. Pat estaba listo para aprobar la compra cuando ocurrió un accidente de un avión SwiftAir 235. A usted le entregan la siguiente documentación: 1. Artículos de periódico sobre el accidente 2. Informes Federales sobre accidentes de aviones monomotores 3. Copia del correo electrónico de Pat para usted y del correo de Sally para Pat 4. Cuadros sobre las características del desempeño del SwiftAir 5. Un artículo de un piloto aficionado comparando el SwiftAir con aviones similares 6. Fotografías y descripciones del SwiftAir modelos 180 y 235 Por favor prepare un memorando que dé respuesta a varias preguntas, entre estas : qué datos apoyan o refutan el reclamo de que el tipo de ala del SwiftAir 235 propicia más accidentes en vuelo, cuáles otros factores pueden haber contribuido para que se produjera el accidente y deben ser tenidos en cuenta, y una recomendación general acerca de si DynaTech debe comprar o no el avión

18. CLA - Documentos en la Carpeta Tarea de desempeño sobre “Crimen”

19. CLAEvalúe una tarea de argumentación Una respetada revista profesional que incluye entre sus lectores a directores de escuelas primarias publicó recientemente los resultados de un estudio de dos años sobre la obesidad en los niños. (Usualmente se consideran obesos aquellos individuos que están un 20% arriba del peso recomendado para su altura y edad.) El estudio tomó una muestra de 50 estudiantes de 5 a 11 años de la Escuela Primaria Smith. Un restaurante de comida rápida abrió una sucursal cerca de la Escuela justo antes de que el estudio comenzara. Después de dos años, los estudiantes que permanecieron en el grupo muestreado presentaban más probabilidades de tener sobrepeso en relación con el promedio nacional. Con base en este estudio la Directora de la Escuela Primaria Jones decidió enfrentar el problema de obesidad de su Escuela oponiéndose a que cualquier restaurante de comida rápida abra una sucursal cerca de su Escuela.

20. Tecnología CLA

21. Evaluación sumativa y rendición de cuentas externas • Evaluación • CLA mide una pieza clave del rompecabezas al centrarse en el valor agregado del aprendizaje de pregrado • Otras mediciones son necesarias • El área de énfasis • Responsabilidad personal, cívica, social y moral • Funciones de rendición de cuentas • Señalar • Benchmarking (comparar) • Medir el valor agregado • Problemas • ¿Riesgos altos vs. riesgos bajos? • ¿Contar con un conjunto común de indicadores? • ¿Incentivos vs. castigos?

22. Evaluación formativa y rendición de cuentas externas • Evaluación • Las acciones relacionadas con el CLA son usadas para la enseñanza y el diagnóstico de las necesidades de los estudiantes y para suministrar retroalimentación para mejorar • Programa de evaluación de la universidad incluyendo portafolios y cursos/proyectos claves • Identificar áreas para el mejoramiento • Experimentar con “soluciones” alternativas • Actuar sobre los resultados • Función de la rendición de cuentas • Monitorear el cambio • Actuar sobre los resultados para mejorar la enseñanza y el aprendizaje • Dar retroalimentación a los estudiantes, a la facultad, a los jefes de departamento, a los decanos, y al rector para mejorar