270 likes | 965 Views
Betrouwbaarheid en validiteit: Alleen een kwestie van goed meten ? . Math Candel, Methodologie & Statistiek, Universiteit Maastricht. Overzicht:. Klassieke testtheorie Methoden en technieken: Betrouwbaarheid Overeenstemming Validiteit Samenvatting. Klassieke testtheorie:.
E N D
Betrouwbaarheid en validiteit:Alleen een kwestie van goed meten ? Math Candel, Methodologie & Statistiek, Universiteit Maastricht
Overzicht: • Klassieke testtheorie • Methoden en technieken: • Betrouwbaarheid • Overeenstemming • Validiteit • Samenvatting
Klassieke testtheorie: Y: geobserveerde score T: score op goede kenmerk (true trait) F: score op foute kenmerk (false trait) E: meetfout Betrouwbaarheid: invloed van E Validiteit: invloed van F
Methoden t.a.v. betrouwbaarheid • Test-hertest betrouwbaarheid • korte periode: geheugeneffecten • lange periode: kenmerk zelf is veranderd • Cronbach’s • gevoelig voor betrouwbaarheid en itemheterogeniteit
Cronbach’s • VOEG schaal • Subschaal: klachten t.a.v. spijsvertering: • Is uw eetlust minder dan normaal ? • Hebt u nogal eens een opgezet gevoel in uw maagstreek ? • Hebt u nogal eens pijn in uw maagstreek ? • Is uw buik nogal eens van streek ? • Is uw maag nogal eens van streek ? • Hebt u nogal eens vage maagklachten ? • Antwoordopties: 1 = ja, 2 = nee
Mengen van schalen • Locus of control • L1: Gezondheid wordt bepaald door krachten die je niet kunt beinvloeden • L2: Je kunt weinig doen aan je eigen gezondheid, etc…. • Belang gezondheid • B1: Gezondheid is het allerbelangrijkste in het leven van een mens • B2: Voor gezondheid moet je alles over hebben, etc….
Methoden t.a.v. overeenstemming • Nominale/Ordinale metingen • Twee beoordelaars • VB: Palpatiemethode om stugheid borstweefsel te bepalen
Oij geobserveerde frequentie in rij i en kolom j Eij verwachte frequentie in rij i en kolom j
Correlatiecoefficient Pearson’s r = 0.82 vs Cohen’s = 0.00 Pearson’s r is een maat voor associatie:
Overeenstemming in 2 situaties = 0.423 = 0.394
Gewogen Kappa Oij geobserveerde frequentie in rij i en kolom j Eij verwachte frequentie in rij i en kolom j wij gewicht voor rij i en kolom j
Kwadratische gewichten i = rijnummer j = kolomnummer K = aantal klassen
Overeenstemming in 2 situaties = 0.394 w = 0.762 = 0.423 w = -0.184
Overeenstemming • Kwantitatieve metingen • Twee beoordelaars • VB: TCM meting om stugheid borstweefsel te bepalen
gemiddelde van de verschillen = 0 geen correlatie tussen gemiddelden en verschillen geen uitschieters in verschillen: 02*SD(verschil)
Methoden t.a.v. validiteit • Predictieve validiteit: Voorspelkracht van de meting • Hoe goed voorspelt iemand’s CITO score zijn/haal schoolcarriere ? • VOEG subschalen goede voorspellers van iemand’s huisartsbezoek ? (maagklachten, hart/long klachten, bewegingsklachten, vermoeidheidsklachten)
Constructvaliditeit/ Nomologische validiteit • Gedraagt de meting zich zoals je dit op basis van kennis of theorie mag verwachten ? • Convergente validiteit: Hangen twee metingen van hetzelfde construct sterk met elkaar samen ? • Discriminante validiteit: Hangen twee metingen van verschillende constructen zwak met elkaar samen ?
Samenvatting • Verschillende statistische procedures en maten: meer dan goed meten alleen • Cronbach’s niet geschikt voor zeer heterogene items • Associatiematen geven geen inzicht in overeenstemming • Kappa vs gewogen kappa vs Bland & Altman scatterplot • Verscheidene procedures/maten voor validiteit