Computergestuurd Adaptief Toetsen

1. ComputergestuurdAdaptief Toetsen Aan de hand van de volgende dia’s laten wij u zien hoe een computerprogramma, geheel automatisch, uit een opgavenbank een toets samenstelt die zo goed mogelijk is afgestemd op de vaardigheid van de kandidaat die op dat moment getoetst wordt.

2. De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Vak 1 In vak 1 laten we steeds zien welke actie het computerprogramma op dat moment uitvoert.

3. Vak 2 Omdat zowel de moeilijkheidsgraad van een opgave als de geschatte vaardigheid van een kandidaat op één en dezelfde schaal kunnen worden afgebeeld, is het mogelijk beide nauwgezet op elkaar af te stemmen. Dit gebeurt tijdens de toetsafname na elke beantwoording van een opgave. In het 2e vak laten we dit afstemmingsproces op grafische wijze zien.

4. Vak 3 Volgnummer item Moeilijkheid Goed/fout? Vaardigheid In het 3e vak geven we middels enkele belangrijke kengetallen het verloop van een fictieve toetsafname weer.

5. De fictieve toetsafname wordt nu gestart.

6. Moeilijk- heid De computer presenteert een opgave van gemiddelde moeilijkheidsgraad.

7. Vaardig- heid Moeilijk- heid 65 De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). G

8. Boven- grens Vaardig- heid Kan er al gestopt worden? Moeilijk- heid Onder- grens De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Nee, er kan nog niet gestopt worden. We zien dat de schatting van de vaar- digheid erg onnauwkeurig is. De ware vaardigheid (dat is de vaardigheid waar we naar op zoek zijn) ligt met 90 procent zekerheid tussen de onder- en de bovengrens van de geschatte vaardigheid. Dat betekent in dit geval dat de ware vaardigheid zowel in het groene (voldoende vaar-digheid) als in het rode (onvoldoende vaardigheid) gebied op de vaardig-heidsschaal kan liggen. Een eendui-dige beslissing is dus nog niet te nemen. Daarom moeten we doorgaan met de toets. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en).

9. Vaardig- heid Kan er al gestopt worden? Moeilijk- heid De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid.

10. Vaardig- heid Kan er al gestopt worden? Moeilijk- heid 61 De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. F

11. Boven- grens Vaardig- heid Kan er al gestopt worden? Onder- grens De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Nee, er kan nog steeds niet gestopt worden. We zijn wel iets zekerder van de geschatte vaardigheid, maar er kan nog niet met voldoende zekerheid een uitspraak gedaan worden over het voldoende of onvoldoende zijn van de vaardigheid. Daarom moeten we doorgaan met de toets. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid.

12. Vaardig- heid Kan er al gestopt worden? Moeilijk- heid De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid.

13. Vaardig- heid Kan er al gestopt worden? Moeilijk- heid 48 De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. F

14. Boven- grens Vaardig- heid Kan er al gestopt worden? Moeilijk- heid Onder- grens De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Nee, we mogen nog niet stoppen. Wèl is de onzekerheid weer verder afgenomen (het gebied tussen onder- en bovengrens is kleiner geworden). Maar er is nog steeds niet met voldoende zekerheid te zeggen of er sprake is van voldoende of onvoldoende vaardigheid. Daarom moeten we doorgaan met de toets. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid.

15. Vaardig- heid Kan er al gestopt worden? Moeilijk- heid De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid.

16. Vaardig- heid Kan er al gestopt worden? Moeilijk- heid 43 De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. F

17. Boven- grens Vaardig- heid Kan er al gestopt worden? Moeilijk- heid Onder- grens De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Ja, nu kunnen we stoppen met de toets. De onzekerheid over de geschatte vaardigheid is met het antwoord op het 4e item weer kleiner geworden. We zijn er nu voldoende zeker van dat deze persoon onvoldoende vaardigheid heeft. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid.

18. Boven- grens Vaardig- heid Kan er al gestopt worden? Moeilijk- heid Rapportage en stop Onder- grens De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. De kandidaat krijgt nu de uitslag te zien, eventueel aangevuld met een advies voor studie of voor overleg met zijn docent. De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid.

19. U zag zojuist een simulatie van een adaptieve toetsafname. In werkelijkheid komt het niet vaak voor dat toetsen al na 4 opgaven worden afgebroken omdat de vaardigheid voldoende nauwkeurig geschat zou zijn. Wèl is het zo dat adaptieve toetsen met aanzienlijk minder items toekunnen dan conventionele toetsen om met een bepaalde zekerheid beslissingen te kunnen nemen.