Diseño e implementación de problemas con e-status

1. Diseño e implementación de problemas con e-status José A. González Dpto. EIO UPC E.U. de Estadística Universidad Complutense de Madrid 15 de junio de 2010

2. Contenido • Introducción • A modo de ejemplo • El editor de problemas • El ingRediente secReto • Los problemas de precisión • Uso de e-status • Manos a la obra

3. Presentación • e-status es una herramienta basada en web (http://ka.upc.es/). • Trata de ayudar a los estudiantes con ejercicios que se corrigen automáticamente. • R es el motor oculto: • para cálculos, • para gráficos, • para algún tratamiento.

4. Arquitectura actual Linux + Apache + Cake-PHP MySQL navegador

5. Qué no es e-status • una colección estática de problemas; • Los problemas pueden (deberían) ser dinámicos. • un curso de estadística o un libro de texto online; • Los materiales adicionales se pueden enlazar desde los problemas, pero no son componentes estructurales. • una herramienta para demostraciones (tipo colección de applets); • La atención se centra en el estudiante, que es quien posee el papel activo.

6. Por supuesto… …que los estudiantes han de seguir resolviendo ejercicios como siempre. De hecho, ellos reconocen que hacer problemas es una de las formas más eficaces de aprender. Un inconveniente: ¿cómo valorar que el ejercicio ha sido bien resuelto, sin acudir al profesor?

7. ¿Qué es un problema en e-status? • Metadatos • autor, dificultad, … • descripción, palabras clave. • Modelos • del problema didáctico; • del propio problema. • Criterios de corrección • Realimentación • Historial • Enunciado • Preguntas • Respuestas y además…

8. Cons & Pros • Un alumno puede resolver varias veces el mismo problema. • No pueden copiarse las respuestas (en un examen, p. ej.). • Se habitúa a usar software dedicado. • La evaluación es instantánea y sistemática. • Se almacena todo el trabajo del alumno, facilitando el seguimiento personal y el del profesor. • El alumno puede compararse con el resto del grupo. • (de acuerdo; pero tampoco sabe si su análisis es el correcto) • Hay que especificar los elementos del problema en R. • No basta con poner unos datos, hay que diseñar una máquina de producir datos. • La respuesta no es única, hay que detallar el proceso de solución. • e-status puntúa los ejercicios, deben utilizarse criterios precisos pero flexibles. • Es deseable incorporar ayudas (y eso supone un esfuerzo). • Un ejercicio clásico puede incluir preguntas de análisis.

9. ¿Qué aspecto tiene un problema en e-status?

10. El alumno hace una primera tentativa. En este problema cuenta con dos oportunidades por pregunta. La 3ª está perfecta, la 2ª bastante bien, y las otras dos necesita mejorar. Por suerte, hay unas indicaciones de ayuda. ¿3.5? ¿2.8? ¿2.6?

11. ¡Bien!

12. Retroalimentación: el toque final La retroalimentación cataliza el aprendizaje. • inmediatamente: el estudiante verifica si sus respuestas han sido correctas • Algunas veces, el sistema facilita una pista. • a la larga: todo se guarda. Con estos registros se pueden detectar puntos fuertes y débiles • no sólo el estudiante, … • el profesor tiene el punto de vista local y el global.

13. BLOQUES PROBLEMAS Ejemplo: historial

14. El editor El editor es el componente de e-status que asiste al profesor en la creación de los problemas.

16. Crear • Modificar • Reordenar • Eliminar Gestión de preguntas Símbolo de la respuesta Texto de las preguntas Ponderación

19. Resumen del editor • En los enunciados pueden aparecer elementos variables (datos, tablas, textos, figuras, …). • Las preguntas cuentan con filtros elementales (entero, real, vector, …). • Se evalúan con criterios predefinidos, o modificados a conveniencia. • Se permite la repetición en caso de error (hasta un máximo). • Puede incorporar ayudas (como enlaces a la web). • Posibilidad de mostrar la solución correcta al final. • Tres campos preestablecidos para incluir comentarios según el resultado (correcto, regular, incorrecto).

20. R: lenguaje y plataforma

21. Algunas características de R • “Statistical computing”, rápido y robusto. • Variedad de tipos de datos (escalares, vectores, matrices, tablas, …, objetos en general). • Potente generación de gráficos. • Programación sencilla (secuencia de instrucciones); incluye bucles y condiciones (if…else…, switch…). • Disponibilidad de librerías de funciones para todo. • Software libre, en rápida expansión; gran comunidad de usuarios en la web. • Se puede comunicar con aplicaciones PHP y Java (Rserve).

22. El motor del problema Dos preguntas diferentes para el creador: • ¿Cuál es el objetivo docente? • Conocer los procedimientos del modelo lineal simple • Implementaré las estimaciones sobre la recta, la desviación residual, R2, predicción, … • ¿Cómo genero la información para el alumno? • Quiero un ejercicio sobre el efecto de un abono en la cosecha. ¿Qué modelo aplico para generar la muestra supuestamente observada? • Implementaré algún procedimiento de simulación robusto y verosímil. El código (R) del problema recoge los dos puntos de vista.

23. Ejemplo 1: para obtener “una distribución de forma diversa (asimétrica por la derecha, por la izquierda, concentrada, dispersa, …)” utilizamos valores aleatorios de una distribución Beta con parámetros generados al azar. sh = exp(rnorm(2, me=0, sd=0.7)) y = 10*rbeta(50, sh[1], sh[2]) grf = ini_imagen(600,200) boxplot(y,ylim=c(0,10),horizontal=TRUE ,axes=FALSE) axis(1,at=0:10) rug(y,tick=0.08) fin_imagen()

24. Ejemplo 2: cómo obtener una muestra de pares de zapatos con dos materiales diferentes en la suela: n = sample(8:14,1) D = round(rnorm(n,m=0.8,sd=1),1) xA = round(rnorm(n,m=10,sd=2.2),1) xB = xA - D Apie = sample(c("Drcho","Izqdo"),n,repl=TRUE) pieA = as.numeric(Apie=="Drcho") drcho = pieA*xA + (1-pieA)*xB izqdo = pieA*xB + (1-pieA)*xA

25. Ejemplo 3: simular los efectivos derivados de tres variables dicotómicas: • Depresión • Adicción al chocolate • Género • En este caso, se trata también de reproducir las relaciones especiales que pueden existir entre las variables: • Mayor presencia de un sexo, • Asociación entre factor y respuesta, • Interacción del género en la relación anterior, • Confusión… • Un modelo loglineal con parámetros específicos sirve para generar las subtablas controladamente.

26. Las soluciones a las preguntas se obtienen aplicando el método a los datos iniciales. R dispone de funciones eficientes para las principales técnicas de modelado estadístico, y otras no estadísticas (la comunidad aporta continuamente nuevas librerías). Ejemplo: cuestiones acerca de un problema ANOVA. fit = lm(precio ~ proveedor) z = anova(fit) VarP = z$Mean[2] # Estimación variancia residual SS = z$Sum cof=sample(1:2,1) SS_ok = round(SS[cof]) # Suma de Cuadrados (explicados o residuales, al azar) F = round(z$F[1],3) # Estadístico F de la prueba

27. Los problemas de precisión Decidir cuándo una respuesta es correcta o no es una de las decisiones más complicadas. Criterios posibles: • Exacto: Y = y • Error absoluto: |Y – y | < Δ • Error relativo: |Y – y | / |Y| < Δ • # decimales correctos • … Elegir un criterio no es una decisión sencilla.

28. Ejemplo Probabilidad Y = 0.2876 • Núm. decimales mínimo (usualmente, k>2) • Si k = 3: 0.287 incorrecto; 0.288 correcto • Para redondear correctamente, observe el decimal k+1 • Error relativo. • Con 1%, correcto si 0.284724 < y < 0.290476 ¿Es aceptable este rango de respuestas? • La simetría y la amplitud del intervalo parecen razonables, permiten contemplar pequeños errores de cálculo. • ¿El criterio del error relativo se puede extender a una probabilidad cualquiera?

29. Ejemplo (cont.) • Probabilidad Y = 0.9876 (≈ 1–1/80) • Error relativo • Con 1%, correcto si 0.977724 < y < 0.997476 ¿Es aceptable este rango de respuestas? • Equivale a [≈ 1–1/45, ≈ 1–1/396] (¡@!) • Una probabilidad próxima a 0 o 1 debería emplear una precisión asimétrica. • Núm. decimales mínimo • Si k = 3: 0.987 incorrecto; 0.988 correcto

30. Respuesta parcialmente correcta Si la respuesta procede de un cálculo largo, puede incluir imprecisión arrastrada. Puntuar en función del error cometido. function(y) { err=(Y-y)/e; round(dnorm(err) /dnorm(0),1) } La tolerancia e depende de cada caso.

31. Curso Primavera 2010 • 121 alumnos matriculados Estadística (tercer semestre carrera) • 113 activos (mediana: 25 problemas; Q3: 44; máximo: ¡401!) • 37 problemas publicados; 3847 resoluciones. Prim 2010 +36%, +52% Otoño 2009

32. Valoración de los alumnos • Los alumnos pueden dar una valoración a los problemas (entre 1 y 5), • de los que han recibido al menos 10 opiniones: • 9 entre 4 y 5 • 20 entre 3 y 4 • 1 con 2.92, 1 con 2.44 • con menos de 10 opiniones: • 6 problemas, de los que 2 tenían menos de 3 • Globalmente, e-status es una herramienta muy bien valorada, y se ha convertido en un recurso docente imprescindible.

33. Ejercicios A continuación vamos a trabajar con unos problemas propuestos: • problema 1: datos apareados, • problema 2: Odds-Ratio. http://www-eio.upc.es/~josean/UCM/problemas.pdf Edite los problemas en e-status con un rol de profesor. Está invitado a hacer todas las modificaciones que desee. Piense en lo que puede ser útil para sus alumnos. ¡Suerte!

34. Muchas gracias por su atención Puede encontrar esta presentación en: http://www-eio.upc.es/~josean/UCM/constr.pps e-status: http://ka.upc.es/