Auswahl von Aufgabenformaten und Formulierung von Items

1. Auswahl von Aufgabenformaten und Formulierung von Items Seminar: Testtheorie und Testkonstruktion Referenten: Annekathrein Frenkel, Sara Dürr 10.05.06

2. Gliederung • Einführung • Definition: Aufgabenformate (auch: Aufgabentypen) • Hauptteil • Darstellung der verschiedenen Aufgabenformate • Vor- und Nachteile der jew. Aufgabenformate • Leitfaden Formatauswahl • Leitfaden Itemkonstruktion • Mögliche Biases • Schlussteil • Fragen???

3. Lernziele • Was sind die Vor- und Nachteile der verschiedenen Aufgabenformate? • Was ist bei der Konstruktion von Testitems zu beachten? • Mit welchen biases (wie z.B. der Antwort-tendenz) muss man u. U. rechnen?

4. Was ist ein Aufgabenformat? • Die Art und Weise, in der die Beantwortung einer Testaufgabe erfolgt

5. Man unterscheidet… • Gebundene Aufgabenformate = es sind festgelegte Antwortkategorien vorgegeben • Freie Aufgabenformate = die Aufgabenbeantwortung erfolgt frei oder teilstrukturiert (Teile der Lösung sind vorgegeben)

6. Gebundene Aufgabenformate 1. Richtig-Falsch-Aufgaben (RF-Aufg.) 2. Mehrfach-Wahl-Aufgaben (MF-Aufg.) 3. Zuordnungsaufgaben (ZO-Aufg.) 4. Umordnungsaufgaben (UO-Aufg.)

7. 1. Richtig-Falsch-Aufgaben • Bestehend aus nur zwei Antwortmöglich-keiten • (Richtig-Falsch, Ja-Nein etc.) • Oft verwendet z.B. in Leistungs- oder Persön-lichkeitstests • Beispiel: • Ich gehe abends gerne aus stimme zu – stimme nicht zu

8. Bearbeitungs-, Auswertungs- und Lösungszeit meist kurz i.d.R. leichtes Verständnis der Testinstruktionen Formulierungsschwierig-keiten (Notwendigkeit eindeutiger Beantwortung) Hoher Prozentsatz an Zufallslösungen mögl. (bis 50%) Wenig differenzierte Information Hinweise für eine erhöhte Ja-Sage-Tendenz z.B. Krosnick, 1999. S.552 Vorteile – Nachteile

9. 2. Mehrfach-Wahl-Aufgaben • Bestehend aus mehr als zwei Antwortalternativen (z.B. multiple-Choice-Aufg.) • Eine Bestantwort(Attraktor) + mehrere Alternativantworten(Distraktoren) (für letztere gelten die Kriterien der Plausibilität und der Gleichwertigkeit) • Insbesondere in Wissens- oder Intelligenztests • In der modernen Testkonstruktion absolut vorherrschend • Sonderform: Ratingskalen

10. Beispiel einer MW-Aufgabe • In einem Test kann man verschiedene Aufgabenarten verwenden. Welche der folgenden Aufgabenarten haben ein gebundenes Antwortformat? • Multiple-Choice-Items • Ergänzungsaufgaben • Ratingskala • Zuordnungsaufgaben • Kurzaufsatzaufgaben

11. Ökonomische Durch- und Ausführung Relative Zufallsunabhängigkeit Durch die Anzahl der Antwortalternativen wirkt sich das Raten weniger auf das Testergebnis aus Bei Ratingskalen: Differenziertheit der Antworten Problem: Antwortalternativen? Plausibilität und Gleichwertigkeit Lediglich Wieder-erkennen von Material, keine Reproduktion Nicht für alle Konstrukte sinnvoll (z.B. Kreativität) Vorteile – Nachteile

12. 3. Zuordnungsaufgaben • Zeichen oder Inhalte werden anderen Zeichen oder Inhalten zugeordnet • Z.B. in Wissens- oder Leistungstest • Beispiel: Was wurde von wem geschrieben? • Die Räuber Süßkind • Werthers Leiden Goethe • Faust Schiller • Das Parfum Mann

13. Ökonomische Durch- und Ausführung Relative Zufallsunabhängig-keit Problem: Antwortalternativen? Lediglich Wieder-erkennen von Material, keine Reproduktion Nicht für alle Konstrukte sinnvoll (z.B. Kreativität) Vorteile – Nachteile

14. 4. Umordnungsaufgaben • Vorgegebene Fragmente müssen der Reihenfolge entsprechend sortiert werden • z.B. Materialbearbeitungstest (z.B. HAWIK) • Beispiel • Herrn seinen ein rettete treuer Hund (6) (5) (1) (4) (2) (3)

15. Einsetzbar bei Materialbearbeitungs-tests Großer Materialaufwand - speziell bei Gruppentestungen Itemformat ist nur für wenige spezifische Fragestellungen anwendbar Vorteile – Nachteile

16. Freie Aufgabenformate 1. Ergänzungsaufgaben (EG-Aufg.) • Offene Fragen (z.B.: Wo liegt Lima?) • Text- oder Wortergänzungsaufgaben 2. Kurzaufsätze (KA-Aufg.) • Auf Fragen freie Antworten geben (z.B. „wie kommen Sommer und Winter zustande?“)

17. Zufallslösungen kaum möglich Qualitative Auswertung möglich Nur Reproduktion von Wissen – keine Kreativität Hoher zeitl. Aufwand Eingeschränkte Auswertungsobjek-tivität Schwer zu klassifizieren, was eindeutig falsch oder richtig ist EG-Aufgaben: Vorteile – Nachteile

18. Freie Reproduktion von Wissen Zufallslösungen ausgeschlossen Evtl. eingeschränkte Auswertungsobjek-tivität Schwer zu klassifizieren, was eindeutig falsch oder richtig ist KA-Aufgaben: Vorteile - Nachteile

19. Leitfaden – Formatauswahl 1. Keine Regel für die Zuordnung von Aufgaben-inhalt und Aufgabenformat 2. Einfache Tests → ein Aufgabenformat 3. Testsystem → Aufgabenformate über Subtests variieren • Regeln für die Reihung der Aufgabenformate im Testsystem: • subjektiv schwierige Aufgabenformate (hohe Konzentration erforderlich) an den Anfang • Abwechseln von Subtests mit leichten (RF) und schweren (EG) Aufgabenformaten

20. Leitfaden – Formatauswahl • Wann wähle ich Richtig-Falsch-Aufg.? • Bei Notwendigkeit schneller Testkonstruktion • Bei Notwendigkeit schneller Testdurchführung • Bei Auswertung des Tests durch Hilfspersonal • Bei leicht verständlichen Aufgabeninhalten • Wenn gedankliche Verarbeitung und Gedächtnisleistungen unwichtig sind • Wenn Zufallslösungen irrelevant sind oder bei der Auswertung berücksichtigt werden

21. Leitfaden – Formatauswahl 2. Wann wähle ich Ergänzungsaufgaben? • Selbstständige Lösungsfindung als Ziel • Bei Interesse am Lösungsweg • Verhindern von Raten • Bei inhaltlich komplexen Testaufgaben (Denkprobleme) • Bei Interesse an qualitativer Auswertung • Wenn die Zeit unwichtig ist • Wenn nicht durch mangelnde Formulierungsfähigkeit Nachteile entstehen

22. Leitfaden – Itemkonstruktion 1. Negativ und positiv gepolte Items sollten sich die Waage halten • Negative Formulierungen beeinflussen nachweislich das Antwortverhalten – werden daher zur Vorbeugung von Ja-Sage-Tendenzen eingesetzt 2. Doppelte Verneinungen vermeiden • sie führen zu Missverständnissen

23. Leitfaden – Itemkonstruktion 3. Begriffe mit mehreren Bedeutungen vermeiden • z.B.: ich bin in Gesprächen „angriffslustig“ 4. Formulierungen und Begriffe vermeiden, die nur einem Teil der Zielgruppe geläufig sind • z.B. „Depression“ im Umgang mit Kindern 5. Pro Item nur einen sachlichen Inhalt/ Gedanken zugrunde legen • z.B. nicht: ich fahre sehr gerne und sehr schnell Auto

24. Leitfaden – Itemkonstruktion 6. Verallgemeinerungen vermeiden • z.B. nicht: immer, alle, keiner etc. 7. Abkürzungen und Ausschweifungen vermeiden 8. Wichtiges hervorheben (Sparsamkeit!) 9. Zeitpunkt und Zeitspanne, auf die Bezug genommen wird, eindeutig definieren • z.B.: „in den letzten zwei Wochen“ statt „in letzter Zeit“ 10. Hohe Kongruenz zwischen Item und Merkmal wichtig

25. Leitfaden – Itemkonstruktion 11. Nicht aussagekräftige Items vermeiden • z.B. wenn erfahrungsgemäß immer dieselbe Beantwortung erfolgt (ja/ nein) 12. Itemformat sollte an das Ziel des Tests angepasst sein 13. Für die Beantwortung notwendige Informatio-nen ergänzen

26. Mögliche Biases – (gebundene Itemformate) • Soziale Erwünschtheit • Antworttendenzen • Motivation • Reihenfolgeeffekte

27. Noch Fragen???