Waarmee meet je?

1. Waarmee meet je? Kwaliteit van meetinstrumenten

2. Kwaliteitscriteria • Schaaleigenschappen (interne consistentie, factorananalyse en collineariteit) • Normgegevens • Reproduceerbaarheid / betrouwbaarheid • Validiteit • Responsiviteit (onderdeel van validiteit) / bodem- en plafondeffecten • Feasibility KNGF-10

3. Betrouwbaarheid van meetinstrumenten • Betrouwbaarheid is een deelaspect van validiteit = is het instrument consistent of herhaalbaar • Verschillende testen na elkaar moeten dezelfde resultaten geven • Nooit valide als hij niet betrouwbaar is • Wel betrouwbaar maar niet valide

4. X

5. Oorzaken van meetfouten • Subject : motivatie, stemming, vermoeidheid, geheugen, … • Testen : heldere instructies, bijkomende richtlijnen, … • Scoring : competentie, ervaring, toewijding, … van scorers • Instrumentarium : fouten bij het toestel of bij de codering

6. Methoden om betrouwbaarheid vast te stellen • Intrabeoordelaar betrouwbaarheid • Interbeoordelaar betrouwbaarheid

7. Validiteit van instrumenten • Validiteit = de mate waarin de test of het instrument meet wat hij bedoelt te meten • Belangrijkste criterium = degelijkheid van de test

9. ‘Face’ en ‘content’ validiteit ‘Face’ validiteit • Is het aannemelijk dat de items het bedoeld begrip meten? ‘Content’ validiteit • Komen alle relevante dimensies aan bod en zijn er geen overbodige items KNGF-14

10. Construct validiteit • Indien niet observeerbare constructen gemeten worden bv. intelligentie, angst, attitude, creativiteit, … • Mate waarin de test dit construct meet door te relateren aan een bepaald gedrag • Bv. Test om ‘fair play’ te meten en observeren tijdens wedstrijd

11. Construct validiteit • Geen gouden standaard • Vergelijking met andere instrumenten • Opstellen van hypothesen • overeenkomst met soortgelijke instrumenten (convergent) • geen overeenkomst met andersoortige instrumenten (divergent) • Verschillen tussen groepen (discriminant) KNGF-16

12. Criterium validiteit • Instrumenten worden gevalideerd ten opzichte van een criterium

13. Correlatie van het instrument met een criterium op zelfde moment • Criterium is dan een reeds gevalideerd, aanvaard instrument OF scores van beoordelaars of prestaties

14. Generaliseren van validiteit • Validiteit is populatie specifiek : hoogste validiteit voor sample waarin het is vastgesteld • Andere leeftijd, geslacht, SES ? • Verschillende studies nodig die predictor – criterium combineren

15. Validiteit diagnostische tests • Sensitiviteit • Specificiteit • Predictive value/likelihood ratio etc

16. Sensitiviteit = A/(A+C)= % terecht ziek verklaard Specificiteit: D/(B+D) = % terecht niet-ziek verklaard

17. Sensitiviteit = A/(A+C)=225/250= 90% (terecht ziek) Specificiteit= D/(B+D) =525/750= 70% terecht niet-ziek

18. ROC curve 1.0 sensitiviteit (echt positief) 0 1.0 1-specificiteit (fout positief)

20. Responsiviteit • Kan het instrument veranderingen aantonen als die optreden? • Laat het instrument géén veranderingen zien bij de mensen die stabiel blijven? • Bodem of plafondeffecten? KNGF-21

21. Feasibility • Taal • Benodigdheden • Randvoorwaarden • Tijd • handleiding