100 likes | 596 Views
Item analyse. Item-Moeilijkheidsindex Item-Betrouwbaarheidsindex Item-Validiteitsindex Karakteristieke curve Discriminatieindex. Item-Moeilijkheidsindex p i. Vuistregel: voor een optimaal item geldt: p i » 0.5, en zeker 0.3 £ p i £ 0.7
E N D
Item analyse Item-Moeilijkheidsindex Item-Betrouwbaarheidsindex Item-Validiteitsindex Karakteristieke curve Discriminatieindex
Item-Moeilijkheidsindex pi Vuistregel: voor een optimaal item geldt: pi» 0.5, en zeker 0.3 £pi£0.7 • Referentiegroep deelnemers aan ingangsexamen eliteuniversiteit impliceert moeilijker items die in "gewone" populatie een te hoge pi hebben pi = proportie deelnemers uit referentiegroep die item correct hebben Of "waar" "ja" … Representatieve steekpoef van doelpopulatie
Item-Moeilijkheidsindex bij meerkeuze-items • Meerkeuze-item met 2 alternatieven geeft een kans op en "juiste gok" van 0.5 Þ optimale moeilijkheidsindex (pi optimaal) is 0.75 (midden tussen .5 en 1.0) • Algemeen: • Voorbeeld: • 4 alternatieven: pi optimaal = .63 Kans op "juiste gok"
Item-Betrouwbaarheidsindex • Correlatie tussen item en test • Samenhang van item met (de rest van) de test »riT= gewone correlatie tussen item en de schaal)Indien binair item: punt-biseriële correlatiecoëfficiënt: • Standaarddeviatie van itemscores • Spreiding van itemscores is sterk verbonden met moeilijkheidsgraad en bepaalt het nut van een item: • Beste items hebben zo hoog mogelijke riT en si:Item-Betrouwbaarheidsindex
Validiteitsindex • Correlatie tussen item en criterium • Samenhang van item met criterium »riC= correlatie tussen item en criterium • Beste items hebben hoge riT en si: • Item-Betrouwbaarheidsindex:
Items met beste criterium-validiteit selecteren 0.5 0 0 0.5 Beste items:
Item Karakteristieke curve (ICC) • Goed item : ICC stijgt, vorm » ogief • ICC is specifiek voor onderzochte groep • Onderliggende theorie = IRT (Item-Response theorie en Latente trekken theorie) 1 P(correct) Ideaal om sterke kandidaten te selecteren Niveau van vaardigheid
Item-Discriminatieindex • Visuele inspectie van ICC is niet nauwkeurig, behoefte aan statistische grootheden, oa. riT • Item-Discriminatieindex • Vergelijkt itemscores van (bvb. 27%) deelnemers met hoogste totale scores (U of UPPER) met die van (27%) deelnemers met laagste totale scores (L of LOWER) • U = Aantal hoogscorers • L = Aantal laagscorers (L=U) • Uc = Hoogscorers met item correct • Lc = Laagscorers met item correct
Item-Discriminatieindex - voorbeelden U = L = 100
Item-analyse van meerkeuze-items Gewenst patroon, afleiders ongeveer even populair, correct duidelijk meer hoogscorers Alternatief d werd ooit gekozen en moet dus vervangen worden door een aantrekkelijker Alternatief a is slecht omdat het al te vaak werd gekozen (1) het correcte alternatief wordt telkens aangeduid met *