Neemt de kennis van onze studenten toe?

1. Neemt de kennis van onze studenten toe? Een analyse van de kennisgroei op basis van VGT scores Marieke van Onna & Samantha Bouwmeester

2. Toetsen van Kennis • Bij de meeste (psychologie) opleidingen is het onduidelijk hoeveel en wat studenten hebben bijgeleerd na drie jaar studie en wat hun eind-niveau is. • M.b.v. onze voortgangstoets (VGT) kunnen we de kennisgroei van studenten (enigszins) in kaart brengen en bepalen wat het (eind)niveau is na twee (…) jaar.

3. Doelen VGT Volgens Rademakers et al. (2005): • De inhoud is niet gerelateerd aan een specifieke cursus of blok. • De test reflecteert de einddoelen van het curriculum als geheel. • De test wordt voor een bepaalde periode herhaaldelijk afgenomen.

4. Meten van kennisgroei • Blake et al. (1996) liet zien dat de VGT-score van medicijnenstudenten een groei doormaakten van 15% correct bij eerste afname naar 45% correct bij 8e afname. • De onderzoekers berekenden een gemiddelde groeicurve en lieten zien dat de groei sterker was in de eerste helft van het curriculum dan in de tweede helft. • Wij vroegen ons af of we een dergelijke trend ook waar konden nemen bij psychologiestudenten. • Echter, mogelijk is een gemiddelde curve niet zo’n goeie samenvatting van groei omdat studenten mogelijk op verschillende manieren groeien (leerstrategie, studeertijd, etc.).

5. Statistische analyses • Latent Class Regression Model: onderscheidt klassen die verschillen wat betreft de groeicurve. Kans dat een subject tot bepaalde klasse behoort. Kans op een bepaald responsepatroon, gegeven klassenlidmaatschap

6. Ongerestricteerd (voor iedere afname in iedere klasse een parameter). Lineaire restrictie (de groeicurve is een rechte lijn). Kwadratische restrictie (de groeicurve is een kwadratische functie).

7. Steekproef bestond uit 106 studenten die in sep. 2003 gestart zijn en het drie-jarige programma in drie jaar beëindigd hebben. • De scores van 7 afnames werden meegenomen (laatste afname was hoogste score in 3e jaar).

9. Resultaten - 4 klasse oplossing met kwadratische restrictie bleek het beste te passen. - Verklaarde variantie was .81 (vgl. 1 klasse kwadratische oplossing: .53). - Percentage classificatie fouten was 6%.

10. normscore X

11. Wat zien we: • 4 klassen verschillen wat betreft niveau en niet zozeer wat betreft vorm van de groeicurve. • Vanaf tweede afname kunnen de klassen onderscheiden worden. • 60% van de studenten groeit in pakweg 2 jaar van 11% naar 28% correct (goed minus fout maar fout is te verwaarlozen…)

13. Lastige dingen bij het meten van de voortgang m.b.v. VGT • We nemen telkens een nieuwe VGT af met nieuwe items en nemen (stiekum) aan dat deze VGT’s inwisselbaar zijn. • We nemen aan dat de VGT-items een representatieve steekproef vormen van het hele domein items maar dat is misschien niet zo. • Omdat de test zo heterogeen is, is het moeilijk om de totaalscore te interpreteren. • Bij de huidige scoring (-1,0,1) is het goed mogelijk dat de testscore voor een deel bestaat uit een “kennisscore” en voor een deel uit “neiging-tot-gokken-score”. • Het blijkt dat het overgrote deel van de studenten slechts de items beantwoorden van de blokken die ze gevolgd hebben.

14. Discussie • Wat is de doelstelling van de VGT? (en halen we die?)