Verhaltensbewertung Verhaltensstruktur Verhaltensinterpretation

1. Verhaltensbewertung Verhaltensstruktur Verhaltensinterpretation Computerunterstützter Kurs zur kompetenzbasierten Wissensraumtheorie Verena Bieber, Julia Nöbauer, Heidrun Rothe

2. THEMENÜBERBLICK • Einführung • Verhaltensstruktur • Verhaltensbewertung und –interpretation • Zusammenfassung • Fazit

3. EINFÜHRUNG • Formale Theorie zur effizienten Erfassung von Wissen (Doignon & Falmagne) • Aufgabenmenge Q • Abhängigkeitsbeziehungen • Wissenszustand • Wissensstruktur K

4. EINFÜHRUNGAbhängigkeitsbeziehungen • Hasse-Diagramm

5. EINFÜHRUNGWissenszustand • Teilmenge von Aufgaben die eine Person lösen kann • 2n mögliche Wissenszustände • Durch „prerequisite relations“ auf theoretisch erwartbare reduziert

6. EINFÜHRUNGWissensstruktur = Menge aller Wissenszustände einer Aufgabenmenge Q K = { { } , {a}, {c}, {a, c}, {a, b}, {a, b, c}, {a, b, d}, {a, b, c, e}, {a, b, c, d}, Q }.

7. VERHALTENSSTRUKTURTheoretischer Hintergrund • Auswahl des nächsten Items ist abhängig von • der Antwort des vorausgegangenen Items • den Beziehungen zwischen den Items (prerequisite relations) • der Wissensstruktur

8. VERHALTENSSTRUKTUR • Vorgabe eines Items mittlerer Schwierigkeit • Bei korrekter Antwort zu nächst schwierigerem Item übergehen • Bei falscher Antwort zu leichterem Item übergehen

9. Aufgabe D Aufgabe C Aufgabe A Aufgabe B VERHALTENSSTRUKTUR

10. VERHALTENSSTRUKTUR • Beispiel • Annahme: Lerner ist Studierender der Psychologie, der die Prüfung „Theorie und Konstruktion psychologischer Tests“ bereits absolviert hat • Vorgabe eines Items zu Abhängigkeitsbeziehungen

11. VERHALTENSSTRUKTUR • Bei korrekter Antwort: Übergang zu nächstem Item • Bei falscher Antwort: Übergang zu Items des untergeordneten Kapitels BEISPIEL

12. VERHALTENSSTRUKTUR • Jeder Lerner wird individuell durch das Programm navigiert • Die Auswahl von neuen Items ist dadurch an das Wissen des Lerners angepasst • Vorgegebene Items werden reduziert • Lernvorgang wird effizienter • Vorteil bei sehr großem Itempool

13. VERHALTENSBEWERTUNG & -INTERPRETATION • Wichtigste Funktion von Feedback • Lerner kann den Lernprozess erfolgreich regulieren • Folgende Faktoren sind relevant • Art und Qualität des Feedbacks • Instruktionskontext • Individuelle Merkmale des Lerners

14. VERHALTENSBEWERTUNG & -INTERPRETATION • Regeln für das Geben von Feedback • zielorientiert • konstruktiv • beschreibend • konkret • subjektiv • nicht nur negativ

15. VERHALTENSBEWERTUNG & -INTERPRETATION • Art und Qualität des Feedbacks: • Funktionen • Kognitiv • Meta-kognitiv • Motivational • Komponenten • Evaluative Komponente • Informative Komponente

16. VERHALTENSBEWERTUNG & -INTERPRETATION • Instruktionskontext • Lernobjekte • Lernaufgaben • Fehler

17. VERHALTENSBEWERTUNG & -INTERPRETATION • Individuelle Merkmale des Lerners • Lernobjekte • Vorhandenes Wissen und Fähigkeiten • Motivation, ein Ziel zu erreichen

18. VERHALTENSBEWERTUNG & -INTERPRETATION • Feedback-Typen • KR: Knowledge of result or response • Informiert nur ob die Antwort korrekt/inkorrekt ist • KCR: Knowledge of correct response • Präsentiert die korrekte Antwort oder Lösung • AUC: answer until correct • Präsentiert KR; Item muss solange bearbeitet werden bis es korrekt beantwortet wurde • EF: elaborated feedback

19. VERHALTENSBEWERTUNG & -INTERPRETATION • Elaboratives Feedback • Alle Feedback-Typen, die mehr Information enthalten als KR • Zum Beispiel: • Erklärungen für korrekte/ inkorrekte Antworten • Information über die Lokalisation des Fehlers • Art des Fehlers • Hinweise über hilfreiche Informationen zur Fehlerbehebung • Hinweise über Problemlösestrategien

20. VERHALTENSBEWERTUNG & -INTERPRETATION • Beispiele: • KR • „Diese Antwort ist richtig“ • „Diese Antwort ist falsch“ • KCR • „Das ist richtig“ • „Das ist leider falsch, die richtige Antwort lautet…“ • AUC • „Das hast du richtig gelöst“ • „Das ist leider falsch, versuche es noch einmal“ • „Das ist nicht die richtige Antwort, beim nächsten Mal schaffst du es bestimmt“

21. VERHALTENSBEWERTUNG & -INTERPRETATION • Studie von Narciss & Huth „Fostering achievement and motivation with bug-related tutoring feedback in a computer-based training for written substraction“ • 50 Untersuchungspersonen • 23 weiblich, 27 männlich • Alter: 9-10 Jahre) • 2 Gruppen • Bug-related Feedback • KR-KCR-Feedback

22. VERHALTENSBEWERTUNG & -INTERPRETATION • Messungen: • Pre-Test: 32 Substraktionsaufgaben • Erfassung der Vorerfahrung mit CBT (2 Items, Likert-Skala) • Initiale Motivation (4 Items) • Leistung (wie oft „mastery level“ erreicht wurde) • Post-Test: 32 Substraktionsaufgaben (wie Pre-Test) • Wahrscheinlichkeit im Pre-Test falsch gelöste Aufgaben im Post-Test richtig zu lösen • Motivationsmessung (6 Items)

23. VERHALTENSBEWERTUNG & -INTERPRETATION • Ergebnisse: • Höhere Leistung hängt mit höherer Motivation zusammen • Höheres Vorwissen (Pre-Test) hängt zusammen mit • Höherer initialer Motiviation • Höherer Post-Test Leistung • Höherer Motivation • Höhere initiale Motivation hängt mit höherer Motivation nach dem Treatment zusammen • Mehr CBT-Vorerfahrung hängt mit höherer Leistung und Motivation zusammen

24. VERHALTENSBEWERTUNG & -INTERPRETATION • Ergebnisse: • TeilnehmerInnen die bug-related Feedback erhalten haben • Haben das „mastery level“ bei mehreren Aufgabentypen erreicht • Können im Post-Test mehr Fehler (in Bezug auf Pre-Test) korrigieren • Haben höheres Leistungslevel im Post-Test • Zeigen höhere Motivation als TeilnehmerInnen die nur KR-KCR-Feedback erhalten haben

25. VERHALTENSBEWERTUNG & -INTERPRETATION • Direkte Darbietung eines komplexen Feedbacks bei Multiple-Choice Aufgaben nicht notwendig • Wird als irrelevant oder störend angesehen • Abstufung des Feedbacks zur individuellen Anpassung

26. VERHALTENSBEWERTUNG & -INTERPRETATION • 3 Stufen des Feedbacks

27. VERHALTENSBEWERTUNG & -INTERPRETATION BEISPIEL zu 3 Stufen des Feedbacks

28. VERHALTENSBEWERTUNG & INTERPRETATION 5 Richtlinien von Feedback-Präsentation 1. Kein Feedback (besonders KCR) bevor Lerner versucht hat, die Aufgabe zu lösen (Anderson et al., 1971; Bangert-Drowns et al., 1991) 2. Elaborative Feedback Komponenten (EF) nicht mit KCR verbinden (Kulhavy et al., 1985; Schimmel, 1988)

29. VERHALTENSBEWERTUNG & INTERPRETATION 3. Elaborative Feedback Informationen stufenweise in kontrollierbaren Einheiten präsentieren (Mayer & Moreno, 2002; Phye & Bender, 1989) 4. Level festlegen, dass erreicht werden muss, um die Zielerreichung zu kontrollieren (Atkinson, 1974) 5. Komplexe Feedback Informationen nicht unbedingt als Text präsentieren (Mayer & Moreno, 2002)

30. DISKUSSION • Feedback als Text  besser auditiv oder visuell • Geringe Kenntnisse im Programmieren • E-Learning Tools – Moodle (Open Space)

31. VERSTÄNDNISFRAGEN • Welche Arten von Feedback sind laut Narciss & Huth effektiver und warum? • Von welchen Kriterien ist die Auswahl des nächsten Items bei adaptiven Testen abhängig?

32. LITERATURVERZEICHNIS Narciss, S. & Huth, K. (2004). How to design informative tutoring feedback for multimedia learning. In H. M. Niegemann, D. Leutner, & R. Brünken (Eds.), Instructional design for multimedia learning (pp. 181-195). Münster: Waxmann. Narciss, S. (2004). The impact of informative tutoring feedback and self-efficiacy on motivation and achievment in concept learning. Experimental Psychology, 51(3), 214-228. Narciss, S. & Huth, K. (2006). Fostering achievement and motivation with bug-related tutoring feedback in a computer-based training for written substraction. Learning and Instruction, 16, 310-322.

33. DANKE FÜR EURE AUFMERKSAMKEIT