Evaluation eines E-Learning Programms

1. Evaluation eines E-Learning Programms Ulrike Zeißler, Mareike Menz, Betty Kögler, Juliane Tiefensee, Katja Liebscher und Katja Brendler - HINTERGRUND - Bereits 1998 stellte rund ein Drittel aller amerikanischen Universitäten Kurse per Internet zur Verfügung. Die Zahl der Fernstudenten steigt seit dem ständig. Ob nun bei der Vermittlung von Inhalten oder als Wissenstest, Lernprogramme haben beständig an Bedeutung gewonnen. Was genau muss ein elektronisches Lernprogramm nun bieten, um auf effektive und angenehme Weise den Nutzer beim Lernprozess zu unterstützen? Im Unterschied zum Frontalunterricht ist der Schüler beim Selbststudium auf sich allein gestellt und ohne Aufsicht. Ist also ein gewisses Maß an Motivation notwendig, um das Programm effektiv zu nutzen oder spielt das keine Rolle. Wie reagiert der Anwender auf Feedback? Und welche Feedbackform ist in diesem Fall die günstigste? Im Rahmen des Empiriepraktikums haben wir diese Fragen näher untersucht. Ein von Katja Brendler entwickeltes E-learning-Modul zur Schriftsprache wurde von uns, unter oben genannten Gesichtspunkten, evaluiert. - ERGEBNISSE - Aufgrund der zu geringen Stichprobengröße im Posta-Test haben wir uns auf die Auswertung des Postb- Testes beschränkt. 1. Paardifferenzentest zum Vergleich der Prä/Postb-Test-Fehleranzahl - DISKUSSION - Der Paardifferenzentest zwischen Prä- und Postb- Test zeigt, dass es grundsätzliche Lernerfolge gibt. Die Fehlerwahrscheinlichkeit sinkt vom Zufallsniveau (75%) auf 52,6% ab. Alle weiteren Analysen zeigen jedoch, daß die Fehleranzahl nicht systematisch oder aufgrund bestimmter Manipulationen wie z.B. die Verwendung von Feedback oder durch vorheriges Vorkommen in den Programmübungen gesenkt werden kann. Auch die Analyse der Einzelfragen, die wir in diesem Bericht durch einige Beispiele repräsentiert haben, zeigte, dass der Wissenszuwachs bezüglich der Fragenbeantwortung im Postb- Test lediglich auf einige Fragen beschränkt bleibt. Wo sind nun die Gründe hierfür zu suchen? Eine genauere Betrachtung der Einzelfragen lässt nur Vermutungen zu. So zum Beispiel die Betrachtung der Frage 5. Es geht hierbei um den Prozentsatz der Sprachen, die eine Schriftform besitzen. Hier war ein eindeutiger Lernerfolg zu verzeichnen. Vielleicht deshalb, weil dieses Wissen für den Probanden auch zukünftig als Allgemeinwissen genutzt werden kann. Diese Annahme bestätigt sich bei der Betrachtung von Frage 3, wo ein spezielleres Wissen behandelt wird und sich kein Lernerfolg zeigt. Bei Frage 11 könnte die Erklärung für den Wissenszuwachs in einem Aha-Effekt liegen. Die Antwort D „Knochen“ schien bei der Beantwortung des Prä-Testes noch unwahrscheinlich. Beim Post-Test antworteten dann ¾ der Leute korrekt. Tatsächlich wurde gerade diese Antwort auch in den Interviews als überraschend und interessant bewertet. Frage 14 ist ein Beispiel dafür, dass ein Lernprogramm auch verwirren kann. Kleinasien/ Mesopotamien wurde im Programm so oft erwähnt, dass diese Antwort –obwohl falsch- bevorzugt wurde. Die Fehlerwahrscheinlichkeit sinkt von 100% im Prä-Test auf 75% Zufallsniveau im Postb-Test. Das auch das Vorwissen eine Rolle spielt - und dabei unter Umständen überhaupt nicht modifiziert wird - ist im Antwortverhalten zu Frage 6 zu beobachten. Die Versuchspersonen antworteten in Prä- und Postb- Test in der Gesamtheit identisch. Wir konnten keinen Zusammenhang zwischen der von den Versuchspersonen genannten Bearbeitungszeit und der Fehleranzahl finden. Ebenso hatte es keinen Einfluss wieviel Zeit zwischen Bearbeitung des Programms/ Prätest und dem Postb- Test lag. Motivationale Gründe schienen ebenfalls keine Rolle für den Lernerfolg zu spielen. Einzig die empfundene Einfachheit in der Programmbedienung wies einen signifikanten Zusammenhang zur Fehleranzahl auf. Effekte hätten sich eventuell bei einer größeren Stichprobe gezeigt. Insgesamt macht der Lernerfolg durch das E-Learning-Modul zur Schriftsprache einen mäßigen Eindruck. Wir sind uns jedoch sicher, dass hier ein starker Einfluss der Stichprobe vorliegt. Das Modul ist zur Prüfungsvorbereitung konzipiert, was in sich schon eine Motivation beinhaltet. Die Versuchspersonen gaben jedoch mehrheitlich an, für Versuchspersonenstunden und nicht aus Interesse an der Evaluation teilgenommen zu haben. Ein Wissenszuwachs von 25% kann durch die eigentlichen Anwender sicherlich überboten werden. Der Paardifferenzentest zeigt, dass es signifikante Unterschiede in der Fehlerzahl zwischen Prätest und Posttestsgibt. Die Fehleranzahl liegt im Posttest deutlich niedriger. 2. Untersuchung der Unterschiede zwischen den Feedbackgruppen bezüglich des Postb-Tests Die ANOVA zeigt, dass es keinen Unterschied zwischen den Feedbackgruppen gibt. Die Tendenz geht dahin, dass die Gruppe, die kein Feedback bekommen hat, weniger Fehler gemacht hat. 3. Untersuchung darüber, ob die im Programm zu bearbeitenden Übungen einen Effekt auf die Beantwortung der Fragen haben Die Korrelation zwischen der Fehlersumme/ Frage und dem Vorkommen einer Frage in einer Übung zeigt:Das Vorkommen einer Frage in einer Übunghatkeine Rolle gespielt. 4. Analyse von Beispielfragen Frage 3: Welche Schriftart ist nicht phonographisch? a) Alphabetschrift b) Silbenschrift c) Keilschrift d) Segmentalschrift • - HYPOTHESEN - • Im Prätest machen die Versuchspersonen mehr Fehler als im Posttest. • 2. Eine Variation des Feedbacks wirkt sich auf die Fehleranzahl im Posttest aus • 3. Die Bearbeitung von Übungen wirkt sich auf die Fehleranzahl im Posttest aus. • 4. Motivation und Einschätzung des Lernprogramms beeinflussen die Fehleranzahl im Posttest. Es gibt keine erkennbaren Unterschiede zwischen Prä- und Postb-Test, also keine Lernerfolge. Der Inhalt der Frage kam nicht explizit in einer Übung innerhalb des Programms vor. Frage 6: Zu welchen Aktivitäten wurde die Schrift anfänglich besonders benutzt? A) Handel B) Geburts- und Sterberegister C) Steuerfestsetzungen D) religiöse Rituale - METHODIK – Die 19 Vpn in der Untersuchung zur Evaluation eines e-learning Programms zur Schriftsprache, waren ausschließlich Studenten der Psychologie. Ihre Aufgabe bestand darin, ein Lernprogramm zur Entstehung der Schriftsprache zu bearbeiten sich somit ein themenbezogenes Wissen anzueignen und durch Übungen zu verfestigen. Mit einem Prä- und zwei Posttests wurde der jeweilige Wissensstand überprüft. Die Untersuchung wurde durch den Feedbackerhalt variiert. Zur weiteren Evaluation des e-learning Programms wurden Daten mit Hilfe standardisierter und offener Fragen zum Aufbau und Inhalt des Moduls erhoben. Hier ist kein Lernerfolg zu sehen. Diese Frage kam ähnlich in einer Übung vor. 5. Korrelation der Einstellungen/ Motivation mit der Postb-Test-Fehleranzahl Wir haben nur ein einziges signifikantes Beispiel gefunden: Einfachheit des Programms/Fehleranzahl Die Korrelation zeigt, dass es einen Zusammenhang zwischen der Einfachheit des Programms und der Fehleranzahl gibt- je einfacher das Programm empfunden wurde, desto weniger Fehler wurden von den Vpn begangen.