Theorie psychometrischer Tests, III

1. Theorie psychometrischer Tests, III U. Mortensen Mainz 2009

2. Klassische TesttheorieKongenerische, äquivalente und parallele Tests Läßt sich die Reliabilität für kongenerische Tests definieren (kongenerisch ist schwächere Forderung als parallel!)? Jöreskog (1971)

3. Klassische TesttheorieKongenerische, äquivalente und parallele Tests

4. Klassische TesttheorieKongenerische, äquivalente und parallele Tests Test der Annahme der Kongenerität: Die unterliegende Annahme hierbei ist, dass der Test eindimensional ist, dass also nur ein Merkmal gemessen wird. Dies ist die Forderung nach der Homogenität des Tests.

5. Klassische TesttheorieArten der Reliabilität Reliabilität: Berechnung der Korrelation zwischen Tests mit Scores X und X‘. Wird ein Test zum Zeitpunkt t1 und der gleiche Test zum Zeitpunkt t2 den gleichen Personen gegeben, so ist X = X(t1) und X‘ = X(t2). Man berechnet die Retest-Reliabilität. Problem: Gedächtnis- und Lerneffekte! Alternative: man teilt einen Test in zwei Hälften (Items mit gerade Nummer X, mit ungerader Nummer X‘. Man berechnet die Split-Half-Reliabilität. Problem: die beiden Testhälften haben nur noch die halbe Länge, und die Reliablität hängt u.a. von der Länge (Anzahl der Items) ab.

6. Klassische TesttheorieReliabilität für einen Test doppelter Länge(Spearman-Brown-Formel) Split-Half-Reliabilität:Unterschätzung der wahren Reliabilität. Läßt sich die tatsächliche Reliabilität durch Hochrechnen abschätzen? Derartige Hochrechungen ergeben sich durch die Spearman-Brown-Formeln. Spearman-Brown-Formel für einen Test doppelter Länge.

7. Klassische TesttheorieReliabilität für einen Test doppelter Länge(Spearman-Brown-Formel)

8. Klassische TesttheorieReliabilität für einen Test n-facher Länge(Spearman-Brown-Formel) Das Resultat läßt sich verallgemeinern auf den Fall eines Tests n-facher Länge. Dies ist die Spearman-Brown-Formel für einen Test mit n-facher Länge.

9. Klassische TesttheorieReliabilität für einen Test n-facher Länge(Spearman-Brown-Formel)

10. Klassische TesttheorieReliabilität für einen Test n-facher Länge(Spearman-Brown-Formel) Dies bedeutet, dass die Reliabilität eines Tests, der aus parallelen Komponenten besteht, beliebig erhöht werden kann, wenn nur die Anzahl der parallelen Komponenten erhöht wird.

11. Klassische TesttheorieInterne Konsistenz: Cronbachs Alpha) Cronbachs Alpha gilt als ein Maß für die interne Konsistenz. Interne Konsistenz: - Items messen alle das gleiche Merkmal (Homogenität = 1-Dimensionalität) Behauptung: großer Wert von Alpha, große interne Konsistenz. Was ist dran an dieser Behauptung?

12. Klassische TesttheorieInterne Konsistenz: Cronbachs Alpha)

13. Klassische TesttheorieInterne Konsistenz: Cronbachs Alpha) (Herleitung dieses Ausdrucks im Skriptum, Seite 68, Formel (134))

14. Klassische TesttheorieInterne Konsistenz: Cronbachs Alpha) Wenn alle Items unkorreliert sind, messen sie voneinander unabhängige Merkmale – der Test ist heterogen. Je größer die Korrelationen zwischen den Items, desto homogener der Test, desto größer ist Alpha. Sind zusätzlich alle Varianzen gleich groß, ist Alpha = 1 für alle Werte von n. Für einen ideal heterogenen Test folgt Alpha = 0, und da Alpha eine untere Grenze der Reliabilität ist, folgt, dass solche ein Test die Reliabiliät Null hat!

15. Klassische TesttheorieInterne Konsistenz: Cronbachs Alpha) Für größer werdenden Wert von n strebt Alpha stets gegen 1! Für großen Wert von q ist die Konvergenz langsam, für Werte nahe bei 1 ist Alpha nahe bei 1 für nahezu alle Werte von n!

16. Klassische TesttheorieInterne Konsistenz: Cronbachs Alpha) Konvergenz gegen 1 von Alpha mit wachsendem n q = • 1.01 • 1.5 • 3.0 • 6.0 (je größer der Wert von q, desto größer die Heterogenität!)

17. Klassische TesttheorieInterne Konsistenz: Cronbachs Alpha) Parallele Komponenten:

18. Klassische TesttheorieInterne Konsistenz: Cronbachs Alpha) Mangelnde Homogenität impliziert einen kleineren Alpha-Wert und damit geringe interne Konsistenz. Auch bei geringen Korrelationen zwischen den Items (also kleiner internen Konsistenz) wird Alpha groß bei hinreichend großer Anzahl von Items. Auch bei perfekt korrelierenden Items kann aber die Summe der Kovarianzen gleich oder nahe bei Null sein, wenn nämlich die Vorzeichen der Kovarianzen alternieren, - es ergibt sich ein kleiner Alpha-Wert, obwohl nur ein Merkmal gemessen wird. Deshalb ist Alpha schwer zu interpretieren: besser ist es, die Korrelationen zwischen den Items zu inspizieren!

19. Klassische Testtheorie(Interne Konsistenz: Cronbachs Alpha) Spezialfälle: dichotome Items

20. Klassische TesttheorieReliabilität und dieGewichtung der Itemscores Alpha wird maximiert, wenn die Gewichte durch die Ladungen der Items auf dem ersten Faktor (Faktorenanalyse der Items) gegeben sind.

21. Klassische TesttheorieSchätzungen derReliabilität • Split-Half-Reliabilität: Der zu evaluierenden Test wird in zwei Hälften geteilt. Möglichkeiten der Aufteilung: • Even-Odd: die Items mit einer geraden Nummer kommen in Test • 1, die mit der ungeraden in Test 2; • (ii) zufällige Aufteilung: man verteilt die Items nach dem Zufall auf Test 1 bzw. Test 2, • (iii) Itemzwillinge: man bildet Paare von Items mit gleicher Schwierigkeit und Trennschärfe und sortiert dann jeweils ein Item eines Paars in Test 1, das andere in Test 2. Tatsächlich berechnet man nun aber die Reliabilität eines Tests von nur halber Länger, so dass der Reliabilitätswert korrigiert werden muß: -- Korrektur nach den Spearman-Brown-Formeln.

22. Klassische TesttheorieSchätzung des wahren Wertes eines Probanden

23. Klassische TesttheorieSchätzung des wahren Wertes eines Probanden Die Regression des wahren Wertes auf den Score ist gleich der Reliabilität!

24. Klassische TesttheorieSchätzung des wahren Wertes eines Probanden Vorhersage des wahren Wertes aufgrund des X-Wertes: Erwartungswert der Messwerte in der Population

25. Klassische TesttheorieStandardschätzfehler Standardschätzfehler

26. Klassische TesttheorieItemcharakteristika Itemschwierigkeit:

27. Klassische TesttheorieItemcharakteristika: Schwierigkeit Schätzung der Schwierigkeit von Items:

28. Klassische TesttheorieItemcharakteristika: Trennschärfe Trennschärfe eines Items: Da X „kontinuierlich“ ist, ist diese Korrelation bei einem dichotomen Item durch den punkt-biserialen Korrelationskoeffizienten gegeben.

29. Klassische TesttheorieItemcharakteristika: Trennschärfe Schätzung des Trennschärfekoeffizienten: Man berechnet einfach den punkt-biserialen Korrelationskoeffizienten aus den Daten einer Stichprobe. Dabei kann es aber zu Verfälschungen kommen, da die Antwort auf das g-te Item ja bereits im Gesamtscore enthalten ist. Deswegen berechnet man d.h. man berechnet die Korrelation mit einer part-whole-correction.

30. Klassische TesttheorieItemcharakteristika: Validität Die Validität eines Items ist i. A. durch die Korrelation der Antworten auf dieses Item mit einem externen Kriterium gegeben. Die Gültigkeit des Tests hängt ab einerseits von der gewogenen Summe der Gültigkeiten der Items, andererseits von der gewogenen Summe der Trennschärfen!

31. Klassische TesttheorieItemcharakteristika: Validität Das Validitäts-Reliabilitäts-Paradoxon. Korrelationen zwischen den Items Korrelationen zwischen den Items