Validiteit van EVC-procedures

1. Validiteit van EVC-procedures Karine Janssens – Universiteit Gent An Peeters – Associatie K.U.Leuven 31 januari 2008

2. VALIDITEIT • Validiteit = meten wat je wilt weten • Wat wil je weten: visie & keuzes • Meten: technische aspecten van het instrument • Doel van de beoordeling  validiteitseisen

3. VALIDITEIT = transparante & samenhangendeVISIE: COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

4. VALIDITEIT = transparante & samenhangendeVISIE: Definitie Leertheorie Visie intern/extern gedragen COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

5. VALIDITEIT = transparante & samenhangendeVISIE: Beroepscontext vs opleidingscontext Professioneel vs academisch Relevant en representatief COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

6. VALIDITEIT = transparante & samenhangendeVISIE: HerkennenFormatiefDidactischOriëntering ErkennenSummatiefAssessmentCertificering COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

7. VALIDITEIT = transparante & samenhangendeVISIE: Taal Cultuur Gender Leerstijl Vertrouwdheid met de context (beroep vs opleiding) Begeleiding COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

8. VALIDITEIT = transparante & samenhangendeVISIE: Procedure Instrumenten- Validiteit- Betrouwbaarheid Assessoren COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

9. VALIDITEIT = transparante & samenhangendeVISIE: COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE CIVIEL EFFECT Gedeeld door stakeholders

10. VALIDITEIT = transparante & samenhangendeVISIE: Validiteit= geldigheid Betrouwbaarheid= stabiliteit= herhaalbaarheid COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

11. Betrouwbaarheid & validiteit Algemene principes • Assessment center methode • Meerdere instrumenten • Meerdere beoordelaars • Aandacht voor betrouwbaarheid en validiteit in elke fase van instrumentontwikkeling • Is vaak een afweging

12. Betrouwbaarheid Definitie • Een assessment is betrouwbaar als het bij een herhaalde afname dezelfde resultaten geeft • Betrouwbaarheid = stabiliteit = herhaalbaarheid • D.w.z. bij herhaalde meting  dezelfde resultaten 1. Over de tijd heen 2. Bij verschillende beoordelaars • Zoniet, spreken we van een onbetrouwbare beoordeling

13. Betrouwbaarheid 1. Verschillen in prestatie over de tijd • Oorzaak van onbetrouwbaarheid toevallige schommelingen in prestatie doorheen de tijd • Bronnen • bij de kandidaat (vb. schommelingen in concentratie) • bij de testsituatie (vb. volgorde van vragen) • Aanpak Hoe betrouwbaarheid over de tijd heen verhogen? - de testsituatie zoveel mogelijk standaardiseren

14. Betrouwbaarheid 2. Verschillen tussen beoordelaars • Oorzaak niet elke beoordelaar beoordeelt op dezelfde manier = belangrijkste oorzaak van onbetrouwbaarheid • Bronnen: beoordelaarseffecten • Halo-effect • Sequentie-effecten • Beoordelingstendenties • Contaminatie-effecten  Meestal onbewust!

15. Betrouwbaarheid Aanpak • Concretiseren van de beoordelingscriteria • competenties concretiseren in concreet waarneembaar gedrag • Standaardiseren van de beoordeling • Ondubbelzinnige beoordelingscriteria vastleggen (beoordelingslijst of schema) • Duidelijk niveau vastleggen • Duidelijk modelantwoord maken • Scoringsvoorschriften • Training van de beoordelaars • Strikt toepassen van de beoordelingscriteria • Beoordelaarseffecten tegengaan • Na aparte scoring: assessorenoverleg

16. Validiteit Definitie • Een instrument is valide als op basis van de resultaten geldige conclusies kunnen getrokken worden over de competentiedie men wil meten • Validiteit = geldigheid Is de score indicatief voor de werkelijke competentie van de kandidaat? • Vier aspecten 1. Inhoudsvaliditeit 2. Constructvaliditeit 3. Criteriumvaliditeit 4. Face-validiteit

17. Validiteit 1. Inhoudsvaliditeit = is het instrument representatief voor (alle aspecten van) de competentie? • Inhoudsvaliditeit  generaliseerbaarheid score op het instrument  competentie in zijn geheel • Aanpak (kan vooraf op ingegrepen worden!) • Representatieve testsituatie kiezen • Authentieke testsituatie (opm. authenticiteit standaardisatie) • Alle aspecten van de competentie opnemen die men wil waarborgen • Normen vastleggen, eigen aan niveau dat men wil testen • Meerdere contexten kiezen • Aangepast instrument kiezen, naargelang de competentie

18. Validiteit 2. Constructvaliditeit = meten we enkel de competentie of ook andere (storende) factoren • Voorbeeld: portfolio + interview en verbale vaardigheden • Aanpak • Zoals in ACM, meerdere instrumenten voor één competentie • Niet holistisch beoordelen • Niet teveel competenties en beoordelingscriteria in één instrument (max. 7 chuncks)

19. Validiteit 3. Criteriumvaliditeit = discrimineert het instrument voldoende tussen de betere en de mindere kandidaat • Hoe criteriumvaliditeit nagaan? • Kan pas achteraf • Vergelijken van de scores op het instrument en de scores op een gerelateerd instrument • Vergelijkingsinstrument? • Combinatie van opleidingsonderdelen waarin competentie wordt aangeleerd • Doelgroep? • Criterium is de opleiding, dus best bij studenten

20. Validiteit 4. Face-validiteit = het ook voor de kandidaat duidelijk dat de test de beoogde competenties meet? • Belangrijk voor de legitimatie van het instrument, want verhoogt transparantie • Nadeel: • Kan sociale wenselijkheidsantwoorden stimuleren • Kan algemene validiteit van de test drukken • Conclusie: • Facevaliditeit is belangrijk, maar andere soorten validiteit zijn minstens even belangrijk • Facevaliditeit alleen is onvoldoende voor validiteit

21. Voorbeeld EVC in HO • Toepassen van de traditionelecasustoets op EVC-assessment als beoordelingsmethode • Slechts één casus • Waarin meerdere competenties gelijk aan bod komen • Die exhaustief en nauwkeurig moet worden opgelost = zeer goed voor didactische doeleinden MAAR geeft problemen bij assessment van EVC • Welke problemen? • M.b.t. de competentie  cognitie versus gedrag • M.b.t. competentiecontext  inhoudspecificiteit • M.b.t. doel van de beoordeling  summatief • M.b.t. achtergronden van de kandidaat  ervaren professionals, geen beginners

22. Voorbeeld EVC in HO • Inhoudsspecificiteit = prestatie op een casus blijkt niet zomaar generaliseerbaar naar andere casussen • Correlatie tussen verschillende casussen blijken erg laag (zie bv. Swanson, 1978) • Eén casus afnemen is dus niet representatief voor hele competentie • Probleemoplossing is geen generieke competentie, maar varieert qua inhoudsdomein (bv. Kuipers, 2003; Schmidt, Norman en boshuizen, 1990)  Meerdere korte casussen met representatieve steekproef van inhouden

23. Voorbeeld EVC in HO • Potentiële onderschatting van ervaren professionals • Experts hebben hun kennis georganiseerd in uitgebreide en goed georganiseerde netwerken van concepten, dit in tegenstelling tot beginners (vb. Glaser & Chi, 1983) • Hierdoor verloopt probleemoplossing bij ervaren professionals • Automatisch, door triggering, snel en minder bewust • Directer • De analyse van het probleem bevat vaak reeds de oplossing

24. Voorbeeld EVC in HO • Potentiële onderschatting van ervaring professionals • Eén casus die exhaustief en nauwkeurig moet worden opgelost • Onderschatting van ervaren professionals • Omdat ze stappen overslaan in hun redenering en hier wel op beoordeeld worden • Oplossingen zelf blijken wel vaak superieur aan die van beginnende beroepsbeoefenaars • Beginners scoren vaak beter of gelijk aan experts op dergelijke casussen (vb. Grant &Marsden, 1988) • Dergelijke casussen blijken zeer sterk samen te hangen met gewone kennistoetsen (tot r=1) (vb. Norcini, Swanson, Grosso & Webster 1985) • Bovendien blijkt expertise zeer domeinspecifiek

25. Voorbeeld EVC in HO • Beoordelingsmethode aanpassen • Meerdere korte casussen • Beoordelen van key-features (kernbeslissingen, essentiële elementen) • Grotere generaliseerbaarheid • Meer gerichte meting (validiteit)

26. VALIDITEIT = transparante & samenhangendeVISIE: EVC  HVC COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE Betrouwbaarheid- Stabiliteit- Herhaalbaarheid Validiteit- Inhoud- Construct- Criterium- Face

27. Contact • An PeetersTel 016 32 09 06An.Peeters@associatie.kuleuven.be • Karine JanssensTel 09 264 70 26Karine.Janssens@UGent.be