Ermittlung von Itemrohwerten Trennschärfeanalyse (Bühner Kap. 3.4, 3.5)

1. Ermittlung von ItemrohwertenTrennschärfeanalyse (Bühner Kap. 3.4, 3.5) Albert-Ludwigs-Universität FreiburgSeminar TestkonstruktionDozent: LeonhartReferentinnen: Daniela Wahl, Sabine Hehn

2. Ermittlung von Itemrohwerten • 1. Definitionen • 2. Ermittlung des Itemrohwerts • 3. Verteilungsmaße • 4. SPSS • 5. Schwierigkeitsindex • 6. Schwierigkeitskorrektur

3. Probandenrohwert Wert einer Person über alle Items gemittelt Einfache oder korrigierte Probandenrohwerte Itemrohwert: gemittelter Wert aller Probanden bei der Beantwortung eines Items Skalenwert / Untertestkennwert: Wie Itemrohwert, jedoch können die einzelnen Items unterschiedlich gewichtet sein 1. Definitionen

4. Zufallskorrektur berücksichtigt die Anzahl der Antwortkategorien Wird meist bei Leistungstests durchgeführt Je größer die Anzahl der vorgegebenen Antwortkategorien, desto geringer die Wahrscheinlichkeit, hohe Itemrohwerte durch Raten zu erzielen Ermittlung des zufallskorrigierten Personenrohwerts bei Mehrfachwahlaufgaben: Xi = Ri – Fi / (m – 1), wobei m = Anzahl der Wahlmöglichkeiten Ri = Anzahl der Richtigen Fi = Anzahl der Falschen 2. Ermittlung des Itemrohwerts mit Zufallskorrektur

5. Normalverteilung: glockenförmiger Verlauf, symmetrisch. Zwischen einer Standardabweichung links und rechts vom Mittelwert liegen 68 % der Probanden, zwischen zwei 95 %. Verteilungen werden durch Histogramme dargestellt. X-Achse: Item-, Skalen oder Testwert Y-Achse: Häufigkeit der Probanden (N oder N %) Wichtigste Kennwerte: Maße der zentralen Tendenz: Mittelwert, Median, Modus/Modalwert Maße der Dispersion: Standardabweichung, Quartilsabstand, Range Zusätzlich: Schiefe, Exzess Je nach Skalenart und Verteilungsform: unterschiedliche Maße zur Beschreibung der Skalen 3. Verteilungen: Maße der zentralen Tendenz und Dispersion

6. 1) nominale / kategoriale Items: Modus 2) ordinale Items: Median und Interquartilsabstand 3) intervallskalierte Items: Mittelwert, Standardabweichung Für den Median und den Interquartilsabstand können die Perzentile aus der Häufigkeitsverteilung abgelesen werden (SPSS: Analysieren, Deskriptive Statistiken, Häufigkeiten). Perzentil: Punkt einer Verteilung, unter dem sich ein bestimmter Prozentsatz der Verteilung befindet 3. Verteilungen: Maße der zentralen Tendenz und Dispersion

7. Kolmogorov-Smirnov-Test + Inspektion (Histogramm) der Itemverteilungen SPSS: Analysieren, Nichtparametrische Tests, K-S-Test bei einer Stichprobe. Haken bei Testverteilung Normal setzen. Variablen markieren, in das Testvariablen-Fenster einfügen, die zu prüfende Testverteilung angeben, auf OK klicken. Weitere Auswertungsoptionen im Menü-Fenster K-S bei einer Stichprobe Interpretation: Asymptotische Signifikanz (2-seitig) < .05 bzw. z > 1.96: signifikante Abweichung von einer Normalverteilung Mögliches Problem: Stichprobengröße 4. Prüfung auf Normalverteilung mit SPSS

8. Die Schwierigkeit eines Items hängt ab: 1) von der Anzahl der Probanden, die das Item falsch beantwortet haben 2) von der Anzahl der Antwortalternativen. Mehr Antwortalternativen: Ratewahrscheinlichkeit sinkt Möglichkeit, den Effekt des Ratens zum Teil zu kontrollieren: Probanden darauf hinweisen, ein Item auch dann zu beantworten, wenn sie die Lösung nicht wissen 5. Schwierigkeitsanalyse

9. P = NR * 100 / N wobei NR = Anzahl der Probanden, die die Aufgabe richtig gelöst haben N = Anzahl aller Probanden Je höher der Prozentwert, desto leichter die Aufgabe Beispiel: P = 240 * 100 / 360 = 66.6 5. Schwierigkeitsindex ohne Korrektur (Persönlichkeitstests)

10. PZK = ((NR – NF / (m-1)) / N) * 100 NF = Anzahl der Probanden, die die Aufgabe falsch gelöst haben NR = Anzahl der Probanden, die die Aufgabe richtig gelöst haben N = Anzahl aller Probanden m = Anzahl der Wahlmöglichkeiten Bei Leistungstests wird eher geraten als bei Persönlichkeitstests. Problem: dichotome Items Beispiel: PZK = ((240 – 120 / (5-1) ) / 360 ) * 100 = 58.3 6. Schwierigkeitsindex mit Zufallskorrektur (Leistungstests)

11. Ratekorrektur. Beispielsweise bei Intelligenztests oder bei zeitbegrenzten Niveautests, bei denen nicht alle Aufgaben von allen Probanden gelöst werden PIK = NR * 100 / NB NB = Probanden, die die Aufgabe bearbeitet haben 6. Schwierigkeitsindex mit Inangriffnahmekorrektur

12. Raten oder Zeitmangel werden berücksichtigt PZK-IK = (NR – (NF / (m – 1)) / NB) * 100 Beispiel: PZK-IK = (240 – (40 / 5-1)) / 280) * 100 = .82 6. Schwierigkeitsindex mit Zufallskorrektur und Inangriffnahmekorrektur

13. Mittlere Schwierigkeiten begünstigen die Itemhomogenität (Interkorrelation der Items) und ermöglichen eine hohe Differenzierung zwischen den Probanden. Extreme Schwierigkeiten ermöglichen eine Differenzierung in Randbereichen, führen aber meist zu reduzierter Homogenität und reduzierten Trennschärfen. Darum wird eine breite Streuung der Schwierigkeitskoeffizienten angestrebt. 6. Beziehung des Schwierigkeitsindex zu anderen Werten

14. SPSS: Statistiken, Zusammenfassen, Deskriptive Statistiken. Gewünschte Variablen markieren und übertragen. Optionen, gewünschte Statistik markieren. Bei deskriptiven Statistiken: Minimum und Maximum eignen sich, um Eingabefehler bei Fragebogendaten zu kontrollieren. Bei dichotomen Daten drücken Mittelwerte den relativen Anteil an Probanden aus, die das Item richtig beantwortet haben. Anteil mit 100 multipliziert: Schwierigkeitsindex. Schwierigkeitsindex mit Inangriffnahmekorrektur: für jedes nicht gelöste Item das entsprechende Feld im SPSS-Datenfenster leer belassen und für eine falsche Antwort „0“, für eine richtige „1“ eingeben. Schiefe und Exzess ermöglichen einen schnellen Check der Verteilungsform. Ermitteln von deskriptiven Statistiken mit SPSS

15. Trennschärfenanalyse • 1. Begriffserklärung • 2. Berechnung von Trennschärfen • 3. Schwierigkeit und Streuung • 4. Fremdtrennschärfen • 5. Berechnung von Trennschärfen (SPSS) • 6.Trennschärfenanalyse (SPSS) • Beispiel: Freizeit

16. 1.Begriffserklärung • Trennschärfe: korrigierte Korrelation einer Aufgabe mit einer Skala (Prototyp) • Eigentrennschärfe: Skala, die aus aufsummierten/gemittelten Items besteht (inhaltlich gleich) • Fremdtrennschärfe: Korrelation mit anderen Kriterien • Zwischen -1 und 1

17. 1.Begriffserklärung • Part-whole-Korrektur: Eigentliches Item aus Berechnung rausnehmen • Auswirkung: bei vielen Items sinkt Einfluss der Korrektur auf Trennschärfe, auch bei zunehmender Homogenität (Redundanz) • Negative Trennschärfen: wollen wir nicht, umpolen mit SPSS • Verzerrte Trennschärfen: durch extreme Streuungen oder Ausreißer

18. 1.Begriffserklärung • Reliabilität: je ungenauer Erfassung desto unwahrscheinlicher hohe Trennschärfen • Keine Transformationen nach „unten“, da wichtige Infos verloren gehen

19. 2.Berechnung von Trennschärfen • Produkt-Moment-Korrelation • Intervallskalierte Items und Skala • Gefahr bei Ausreißern und Extremwerten (artifiziell erhöhte bzw. erniedrigte Korrelation (Streudiagramm) r j(t-j) = rjt * St – Sj / (√ (S t² + Sj ² - 2*rjt * St * Sj)) mit j(t-j) = Trennschärfekoeffizient der Aufgabe j mit der Skala t, bei der Aufgabe j nicht berücksichtigt ist rjt = Korrelation des Items j mit der Skala t Sj = Standardabweichung des Items j St = Standardabweichung der Skala t

20. 2.Berechnung von Trennschärfen • Punktbiserale Korrelation • Dichotome Items mit Intervallskala r j(t-j) = rjt * St - √(pj * qj) / (√ (S t² + pj * qj - 2*rjt * St * √(pj * qj) ) mit j(t-j) = Trennschärfekoeffizient der Aufgabe j mit der Skala t, bei der Aufgabe j nicht berücksichtigt ist rjt = Korrelation des Items j mit der Skala t pj = Schwierigkeitsindex des Items j qj = 1 - pj St = Standardabweichung der Skala t

21. 3.Schwierigkeit und Streuung • Mittlere Schwierigkeiten am besten (beste Differenzierung) • Bei Intervallskalenniveau Decken-, Bodeneffekte bei Ausnutzen der Streuung bis an den Rand • Hohe Streuungen können hohe Trennschärfen begünstigen

22. 3.Schwierigkeit und Streuung • Es können auch bei gleicher Schwierigkeit unterschiedliche Trennschärfen auftreten • ICC`s (Item Characteristic Curves) • Je steiler Anstieg, desto größer Trennschärfe • Homogen mittelschwere Items differenzieren am besten bei mittelschwerer Mermalsausprägung • Bei mittelschweren Items größte Streuungen

23. ICC`s

24. 4.Fremdtrennschärfen • Fremdtrennschärfen maximieren Kriteriums-Validität eines Tests • Eigentrennschärfen maximieren Homogenität eines Tests • Unterschied zur Validität: Es werden nur einzelne Items mit Kriterium korreliert

25. 5.Berechnung von Trennschärfen (SPSS) • Analysieren/Skalieren/Reliabilitätsanalyse • Entsprechende Items einfügen • Itemlabels anzeigen, wenn nur Reliabilität ohne Trennschärfe berechnet werden soll • Statistik: Haken bei: Deskriptive Statistiken/Skala, wenn Item gelöscht und Item (für Schwierigkeit)

26. 6.Trennschärfenanalyse (SPSS) • Mittelwerte (Schwierigkeit) und Streuungen betrachten • Items mit geringen Trennschärfen senken Cronbach-Alpha (Reliabilität)

27. 6.Trennschärfenanalyse (SPSS) • Neue Datendatei öffnen: Itemnummer, Trennschärfe, Itemschwierigkeit, Itemstreuung • Dann Streudiagramme: Grafiken/Streudiagramme/Einfach • 1. Schwierigkeit und Trennschärfe • 2. Schwierigkeit und Streuung • 3. Streuung und Trennschärfe

28. 6.Trennschärfenanalye (SPSS) • Zu 1. • Niedrige Trennschärfe kann auch mit der Verteilung des Items oder einer niedrigen Schwierigkeit zusammenhängen • Zu 2. • Hier kann man Decken- oder Bodeneffekt erkennen • Es können auch extreme (hohe/niedrige) Schwierigkeiten entdeckt werden ( bei niedrigeren Streuungen) • Zu 3. • Bei hoher Streuung und niedriger Trennschärfe weitere Analyse notwendig( z.B: Antwortstrategien mit Histogrammen aufdecken)

29. 6.Trennschärfenanalyse (SPSS) • Boxplot • Zuerst: Summenwert einer Skala ohne Item berechnen: Transformieren/Berechnen/ Zielvariable benennen/alle Items außer betreffendes addieren • Boxplot: Grafiken/Boxplot/Definieren/Variable: Summenwert/Kategorienachse: Item/Fallbeschriftung: Variable Vpn • Median sollte ansteigen

30. Beispiel: Freizeit

31. Beispiel: Freizeit

32. Beispiel: Freizeit

33. Beispiel: Freizeit

34. Beispiel: Freizeit