La autoevaluación como método de autoaprendizaje

1. La autoevaluación como método de autoaprendizaje Universidad de Oviedo Daniel Gayo Avello Hortensia Fernández Cuervo Fernando Torre Cervigón

2. Situación de partida • Algorítmica y Lenguajes de Programación es una asignatura de 12 créditos: • 6 teóricos. • 6 prácticos (tablero y laboratorio). • Impartida en primer curso de Licenciatura de Matemáticas de la Universidad de Oviedo. • Aunque la valoración hacia la asignatura y el profesorado por parte de los alumnos era positiva: • la encontraban difícil. • afirmaban estudiar poco o nada.

3. Planteamiento del problema • ¿Podría crearse un sistema de autoevaluación mediante pruebas objetivas en la Web para que los alumnos conozcan su su grado de aprendizaje? • Inconvenientes: • Creer erróneamente que la asignatura sería evaluada mediante pruebas objetivas. • Aprendizaje “por respuestas”. • Frustración al aprender, por tratarse de pruebas cerradas.

4. Opción alternativa: Duck • Herramienta desarrollada por el Biology Computer Resource Center de la Univ. de Massachutts Amherst. • Es un sistema de scripts PHP3. • Es diferente de una prueba de respuesta múltiple por: • El tipo de preguntas... • De respuesta múltiple. • De respuesta corta. • De respuesta extensa. • El tipo de evaluación... • No hay respuestas correctas o incorrectas, sino que se proporciona un feedback que ayuda a resolver las dudas del alumno. • La navegación... • No tiene que ser necesariamente lineal.

5. Antecedentes Evaluación y Aprendizaje • Existen varios estudios sobre la “influencia” de la evaluación en el aprendizaje. Sin embargo, ninguno establece una vinculación clara entre ambas. • Algunos ejemplos: • (Serra, 1997) presenta conclusiones sobre una aplicación informática de autoevaluación con refuerzo, los datos obtenidos son puramente cualitativos. • (Davies, 1999) describe la utilización de herramientas de respuesta múltiple como sistema de evaluación on-line; el objetivo era la evaluación no el aprendizaje. • (Sly y Rennie, 1999) emplean una herramienta de evaluación por ordenador como sistema de evaluación formativa; tampoco vinculan evaluación y aprendizaje.

6. AntecedentesAprendizaje operante vs. significativo • En las herramientas de autoevaluación se dan implícitamente dos tipos de aprendizaje: • Operante: • Aquel en el que la conducta se produce en función de sus consecuencias. • Presente en herramientas tradicionales de respuesta múltiple. Al obtener valoración en la respuesta (correcta o incorrecta), se provoca el refuerzo o la extinción del comportamiento (la respuesta del alumno). • Significativo: • Se logra al establecerse relaciones entre conocimientos previos y nuevos conocimientos. • Duck estaría inspirado por este tipo de aprendizaje, pues no aporta “valoración” sino argumentos sobre la pregunta y la respuesta dada que permiten al alumno elaborar asociaciones para construir su propia solución.

7. Formulación de hipótesis • Dos cuestiones clave: • El uso de herramientas de autoevaluación on-line ¿mejora el aprendizaje? • La aplicación con realimentación ¿es superior a instrumentos de respuestas múltiples? • Hipótesis: • La utilización de herramientas de autoevaluación en la Web mejora el aprendizaje, por parte de los alumnos, de conceptos teóricos de programación. • La herramienta de autoevaluación Duck resulta más útil para los alumnos que herramientas de respuesta múltiple.

8. MetodologíaIdentificación de variables, población y muestra • Identificación de variables: • Variable Independiente (VI): Herramienta de autoevaluación. • Variable Dependiente (VD): Rendimiento académico • Población: • Alumnos matriculados en ALP en la Licenciatura de Matemáticas de la Universidad de Oviedo en el curso 2001/2002. • 39 alumnos de 18 años y 3 de 19 años. • 23 mujeres y 19 hombres. • 3 repetidores. • Muestreo aleatorio estratificado. • 24 alumnos. • Distribuidos en tres grupos de 8 personas. • 4 mujeres y 4 hombres en cada grupo. • 1 repetidor por grupo.

9. MetodologíaDiseño del experimento • Diseño multivalente pretest-postest. • Un grupo de control y un grupo experimental por cada herramienta. • Los tres grupos realizan un pretest y un postest. • El grupo de control no recibe tratamiento. • Los grupos experimentales recibirían dos niveles de la VI: • Grupo duck: herramienta Duck. • Grupo tradicional: herramienta tradicional.

10. MetodologíaProcedimiento (i) • Las sesiones tuvieron lugar en una de las salas de ordenadores de la Facultad de Ciencias de la Univ. de Oviedo, durante tres viernes consecutivos en horario de mañana. • Los alumnos fueron informados sobre la forma en que se puntuarían las pruebas (pretest). • No se les informó sobre la naturaleza del experimento; se les hizo creer que participaban en un programa de evaluación de calidad de la enseñanza (efecto Hawthorne, desmoralización, rivalidad).

11. MetodologíaProcedimiento (ii)

12. MetodologíaProcedimiento (iii) • Primera Sesión: • Cuestionario para determinar la actitud hacia la asignatura (Escala Likert) • Pretest para precisar rendimiento académico en la parte teórica de ALP: • El pretest era un cuestionario con 20 ítems sobre “Funciones y subrutinas” y “Recursividad”. • Cada ítem presentaba 4 respuestas de las que sólo 1 era válida. • Se penalizaba el azar otorgando 1/2 por acierto y -1/6 por fallo.

13. MetodologíaProcedimiento (iv) • Los grupos duck y tradicional recibieron tras el pretest la primera sesión de tratamiento. • Grupo tradicional: • Una hora con una herramienta de respuesta múltiple similar a la utilizada en el pretest. • Constaba de 40 ítems con 4 respuestas cada uno. • Permitía saber al alumno: • Si “acertaba” o “fallaba” en sus respuestas. • Cuáles eran las respuestas correctas. • La “nota” que obtenía.

14. MetodologíaProcedimiento (v)

15. MetodologíaProcedimiento (vi) • Grupo duck: • Una hora con una herramienta con 40 ítems. • Mismos ítems y respuestas que en la herramienta tradicional. • El alumno no obtenía una evaluación de sus respuestas sino una explicación detallada que le permitía deducir su grado de validez.

16. MetodologíaProcedimiento (vii)

17. MetodologíaProcedimiento (viii) • Tras el primer tratamiento: cuestionario para determinar grado de satisfación de cada grupo con su herramienta.

18. MetodologíaProcedimiento (ix) • Segunda Sesión: tratamiento Grupos duck y tradicional. • Tercera Sesión: • Cuestionario (Escala Thurstone) a todos los alumnos para conocer trabajo personal dedicado a la asignatura durante el experimento. • Postest a los tres grupos (igual que el pretest pero alterando el orden de preguntas y respuestas).

19. Discusión de resultados (i) • Se midió: • La actitud de los alumnos ante la asignatura (escala Likert). • Conocimientos teóricos antes (pretest) y después (postet) del tratamiento. • Esfuerzo personal dedicado a la asignatura (escala de Thurstone). • ¿Existen o no diferencias significativas entre los grupos antes y después del tratamiento? • Si los grupos fueran inicialmente equivalentes y tras el tratamiento existieran diferencias estadísticamente significativas, éstas serían debidas al tratamiento, es decir, la herramienta.

20. Discusión de resultados (ii) • Uso del paquete SPSS. • ANOVA de un solo factor para actitud, aptitud (pretest) y trabajo personal. • Determinar si la situación del grupo control en el postest era equivalente a la original (pretest). • Comparar los grupos experimentales con el grupo control y con la situación original de cada grupo. • Uso de la prueba T de Student (contraste de puntuaciones medias). • Comprobar si el grupo duck había obtenido mejores resultados que el grupo tradicional.

21. Discusión de resultados (iii) • Las puntuaciones de los tres grupos en todas las medidas seguían distribuciones normales y presentaban varianzas homogéneas, por tanto se podía aplicar ANOVA y prueba T de Student. • Los resultados de ANOVA en pretest, prueba de actitud y nivel de trabajo mostraron que los 3 grupos eran equivalentes. Por tanto, las diferencias en el postest (de haberlas) serían debidas al tratamiento. • La prueba T de Student demostró que en el postet los grupos duck y tradicional presentaron una mejoría significativa respecto al grupo de control y frente a su situación original. • El grupo de control empeoró ligeramente pero no de forma significativa. • El grupo duck rindió más que el tradicional pero no de forma significativa. • Se demuestra la primera hipótesis: “La utilización de herramientas de autoevaluación en la Web mejora el aprendizaje por parte de los alumnos de conceptos teóricos de programación.” • No se pudo demostrar la superioridad de Duck frente a herramientas tradicionales de respuesta múltiple.

22. Discusión de resultados (iv)

23. Conclusiones • Se ha demostrado que la utilización de herramientas de autoevaluación en la Web facilita el aprendizaje de conceptos teóricos de asignaturas de programación. • Los resultados en el postest fueron equivalentes para los grupos duck y tradicional pero el grado de satisfacción fue mayor en el grupo duck. • Cuestiones abiertas: • ¿Con qué tipo de herramientas (respuesta múltiple o con feedback) se aprende más y mejor? • Este tipo de iniciativas suele ser aprovechada por los alumnos más destacados. ¿Qué hacer para fomentar el uso de las herramientas por parte de todos los alumnos?

24. La autoevaluación como método de autoaprendizaje Universidad de Oviedo Daniel Gayo Avello Hortensia Fernández Cuervo Fernando Torre Cervigón