240 likes | 323 Views
Leistungssteigerung durch Notendruck ?. Die Wirkung der Benotung auf die Studierleistungen in einem Seminar. Quellen: URN: urn:nbn:de:bsz:291-psydok-25299 URL: http://psydok.sulb.uni-saarland.de/volltexte/2009/2529/
E N D
Leistungssteigerung durch Notendruck ? Die Wirkung der Benotung auf die Studierleistungen in einem Seminar Quellen: URN: urn:nbn:de:bsz:291-psydok-25299URL: http://psydok.sulb.uni-saarland.de/volltexte/2009/2529/ http://www.phil.uni-sb.de/~jakobs/wwwartikel/extrinsische_motivierung/notendruck/notenanreiz.html Bernhard Jacobs
Motivierung zum Lernen Intrinsische Lernmotivation Interesse am Lerngegenstand und Freude bei der Lernaktivität pädagogisch wertvoll tiefe Verarbeitung des Wissens viele theoretische Ergüsse (Selbstbestimmung, Flow, Interesse…) schwer im Schulalltag zu finden noch schwieriger pädagogisch zuverlässig anzuregen Extrinsische Lernmotivation (mehrere Facetten) Lernen nur wegen der erwarteten Konsequenzen pädagogisch bedenklich oberflächliche Verarbeitung ? theoretisch uninteressant: sehr nahe am common sense zuverlässig im Schulalltag zu finden bestimmt den größten Teil schulischer MotivierungSehr wenige empirische Studien! Bernhard Jacobs
Untersuchungsziel Quiz: benotet Quiz: unbenotet, aber verpflichtend gegen Ausgangsfrage Reicht das verpflichtende Angebot eines unbenoteten Online-Quiz mit vielfältigen Rückmeldungen aus, die Studierleistungen in einem durch Notenbedrohung analogen Ausmaß zu fördern ? Realistische Erwartung : nein Bernhard Jacobs
Wichtige Forschungsfragen • Fällt die Leistung im benoteten Quiz besser aus? • Bleibt der vermutete Leistungsvorteil länger erhalten? • Impliziert der vermutete Leistungsvorteil auch ansatzweise einen Wissenstransfer? • Verbessern auch unbenotete Quiz die Lernleistung? Kognitive Leistung Motivationale Anreize bzw. Auswirkungen der Benotung • Erhöht sich die Bedeutsamkeit, im Quiz gut abzuschneiden? • Verbessert sich die Vorbereitung auf das Quiz? • Steigert Benotung die aktuelle Angst vor dem Quiz ? Bernhard Jacobs
Hypothesen Höhere Bedeutsamkeitguter Leistungen Quizbenotung mehr aktuelle Angst vor Quiz Intensivere Vorbereitungauf das Quiz höhere Testmotivation Lehrstofferlernbar Stabilität derLeistung ? HöhereQuizleistung Bernhard Jacobs
Untersuchungseinheiten 4 Proseminare Pädagogische Diagnostik des WS 2008/2009 Dozent: für alle 4 Seminare gleich [Verfasser] Unterrichtsmethode: Lehrervortrag mit Powerpoint Lerngrundlage: Seminarsitzung, verfügbare Powerpoint-Folie Quiz 1 für alle: Aufgabentypen und Aufgabenformen 2 Seminare Diagnostik Aufgaben 2 Seminare Diagnostik Grundlagen Quiz 2a : Skalen, Stichproben …… …… Quiz 5: Aufgabenanalyse Quiz 2b: Aufgaben und Feedback Bernhard Jacobs
Unabhängige Variable • Für alle Bedingungen gilt: • Quiztermin angekündigt und lange bekannt • Quizteilnahme: verpflichtend • Quizfunktion: Überprüfung zuvor präsentierten Lehrstoffs; Vorbereitung ca. 7 Tage. • Quizlehrziele: sehr transparent, überwiegend Verständnis und Anwendung • Umfang der Quizlehrziele ca. 1 bis 2 Seminarsitzungen Bernhard Jacobs
Abhängige Variable Leistung im Quiz: Welchen Einfluss hat die Benotung auf das Quizergebnis ? Leistung im Parallelretest nach einer Woche Bleibt der erwartete Leistungsunterschied erhalten ? Leistung in der unbenoteten Abschlussklausur/quiz Ist ein Leistungsunterschied noch nach 4-8 Wochen feststellbar ? Checkliste der Quiz Aufgabenformen: Quiz 1: Aufgabenformen : Aufgabenanzahl: 21 a = .78 N=108 Quiz: Retest/Kriterium : Aufgabenanzahl: 22 a = .76 N=114 Parallel-Retestreliabilität rtt = .64 N=103 Abschlussquiz Aufgabenformen : Aufgabenanzahl: 12 a = .65 N=107 Bernhard Jacobs
Aufgaben /Wissen, Verstehen, Anwenden Verschiedene Aufgabenformen, alle maschinell auswertbar • Aufgaben in Quizwiederholungen • 50% identisch 50% parallel naher Transfer • Beispiel für Short Answer Aufgabe [Aufgabenformen] • Wie hoch ist die Wahrscheinlichkeit, eine einfache MC-Aufgabe…. • Aufgabe 3 [Quiz 1] • mit 5 Antwortoptionen durch Zufall korrekt zu beantworten ? • Aufgabe 3 [Retestquiz] • mit 4 Antwortoptionen durch Zufall korrekt zu beantworten ? • Aufgabe 3 [Abschlussquiz] • mit 4 Distraktoren und einer korrekten Antwort • durch Zufall korrekt zu beantworten ? Bernhard Jacobs
Beispiel Zuordnungsaufgabe /Skala Bernhard Jacobs
Untersuchungsvorgehen Diagnostik Grundlagen Diagnostik Aufgaben 1 Seminar 2 Seminar 3 Seminar 4 Seminar R R R R B B B A B A A A Versuchsplan 10.11.2008 17.11.2008 1.12.2008 9.2.2009 Quiz1 Parallel Quiz2 .... Abschlussquiz retest zu Quiz 1 und 2 zu Quiz 1 R Gruppe A: benotet unbenotet unbenotet unbenotet R Gruppe B: unbenotet unbenotet benotet unbenotet Bernhard Jacobs
Wirkung der Benotungsankündigung auf die Leistung im Quiz 1 Korrekte Lösungen [%] in Quiz 1 [Aufgabentypen] M s Quiz benotet: 80.1 7.5 Quiz unbenotet: 70.1 14.5 t(106): 4.4 p : 0.001 d : .87 Bernhard Jacobs
Auswirkung der Benotung von Quiz 1 auf das Behalten eine Woche nach dem Quiz Prozentsatz korrekter Lösungen im unbenoteten und unangekündigtenParallelretest Aufgabenformen: M s N t p d Quiz 1 benotet: 78.5 9.0 54 5.3 0.001 1.04 Quiz 1 unbenotet: 66.3 14.0 49 Abschlussklausur, unangekündigt und unbenotet: 8 Wochen später Vorteil für benotetes Quiz bleibt weitgehend erhalten. Effektstärke im mittleren Bereich Zusammenfassung: Leistungsvorteile für benotetes Quiz in Effektstärke im nach 1 nach 8 Quiz 1 Woche Wochen .87 1.04 .53 Bernhard Jacobs
Replikation des Benotungseffektes bei Quiz 2 Bernhard Jacobs
Replikation : Quiz 3 und 4 Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik Quiz 3 Quiz4 Statistik Testgütekriterien Abschlussquiz R Gruppe A: .... benotet unbenotet ... unbenotet R Gruppe B: .... unbenotet benotet ..... unbenotet Ergebnisse im Quiz Ergebnisse im Abschlussquiz: Quiz 3 Quiz 4 benotet 76.4 76.7 unbenotet 69.3 70.0 d .57* .25 d=.59 d=.99 Bernhard Jacobs
Unbenotete Quiz besser als gar nichts ? Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik Abschlussquiz R Gruppe A:... unbenotetes Quiz kein Quiz... unbenotet R Gruppe B:... kein Quiz unbenotetes Quiz unbenotet Ergebnis: Bei einem Quiz bessere Ergebnisse, beim anderen Quiz kein Leistungsvorteil im Abschlussquiz Kritik: Zu wenige Items im Kriteriumstests [Abschlussquiz] • Bessere Überprüfung der Fragestellung siehe • Leistungssteigerung ohne Notendruck ? -Die Wirkung verpflichtender • , unbenoteter Quiz auf die Studierleistung Bernhard Jacobs
Höhere Angst bei benotetem Quiz ? verstärkt Quizbenotung Höhere Bedeutsamkeitguter Leistungen bewirkt Bernhard Jacobs
Höhere Bedeutsamkeit guter Leistungen ? Erhebung "stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5). Ergebnis Quiz benotet unbenotet Effektstärke M M d 2a 4.0 3.1 1.00 2b 4.4 3.0 2.18 3 4.3 3.3 1.15 4 4.1 2.8 1.85 Fazit Die benoteten Quiz erhöhten die Bedeutsamkeit guter Leistungen konsistent in einem praktisch sehr bedeutsamen Ausmaß Bernhard Jacobs
Aktuelle Angst unmittelbar vor dem Quiz 1 und 2 d=.55 d=.73 Bernhard Jacobs
Angst unmittelbar vor dem Quiz 3 und 4 [Replikation] Gruppe A: erst benotet, dann unbenotet Gruppe B: erst unbenotet, dann benotet Aktuelle Prüfungsangst (SPA) d=.69 d=1.03 Quiz 3 Quiz4 Bernhard Jacobs
Quizvorbereitung und Testmotivation Intensivere Vorbe- reitung auf das Quiz Quizbenotung Höhere Bedeutsamkeitguter Leistungen höhere Testmotivation "stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5). Bernhard Jacobs
Quizvorbereitung und Testmotivation benotet nicht Effekt- benotet stärke d Quizvorbereitung 2a 4.1 3.0 1,32 2b 4.3 2.9 2.00 3 4.0 3.1 0.99 4 4.0 2.4 1.82 Zeit für Quizvorbereitung 2a 135.8 35.8 1.90 in Minuten 2b 74.8 24.2 1.31 3 78.8 28.4 1.33 4 95.7 24.2 1.60 Anstrengungsbereitschaft 1 4.6 3.8 1.13 2a 4.4 3.7 1.05 2b 4.5 3.8 1.24 3 4.6 3.7 1.27 4 4.3 3.7 0.70 Alle Ergebnisse stützen die Erwartungs-mal-Werttheorie deutlich und konsistent Bernhard Jacobs
Resumé Bernhard Jacobs
Resumé und einige Implikationen • Noten bewirken bessere Leistungen als keine Noten: trivial ?nicht trivial: Leistungsvorteil bleibt einige Zeit erhalten; kein rein oberflächliches Lernen. • Leistungsvorteil erzielt durch bessere und mehr Vorbereitung Lernleistung=(realisierte Lernzeit / benötige Lernzeit) [Caroll] • Mehr Leistung auch erkauft durch höhere Angst und Stress • Systemimmanente Rationalität der Studierenden. „Lerne wegen der instrumentellen Folgen, Bleib locker, wenn nicht prüfungsrelevant“ • Studienkonzeption zwingt zu nutzenorientiertem Studium, begünstigt extrinsische Haltung zur Arbeit und Leistung. Gute Vorbereitung für die „Erfolgsgesellschaft“ • Die bessere Leistung benoteter Quiz erzwingt keineswegs die verstärkte Anwendung benoteter Quiz. Denn aus dem Sein folgt bekanntlich nicht das Sollen. • Benotete Quiz führen nicht zwingend zu besseren benoteten Abschlussklausuren, weil die Notenerwartung der Klausur die Vorbereitung auf die Abschlussklausur intensiviert. • Auch unbenotete Quiz fördern die Leistung, wenn auch weniger stark und zuverlässig. Bernhard Jacobs