Authentiek beoordelen in het VMBO: is het de opdrachtgever of de locatie die ‘t ‘m doet

1. Authentiekbeoordelen in het VMBO: is het de opdrachtgever of de locatie die ‘t ‘m doet Judith Gulikers, Educatie en competentiestudies, Wageningen Universiteit

2. De kern van het verhaal • Theoretisch kader: 5-dimensionale model voor authentiek beoordelen (Gulikers et al., 2004) • Voortbouwen op onderzoek in MBO • Uitleg studie VMBO • Project Groen Proeven • Belangijkste resultaten en verklaringen

3. Theoretisch kader • Authentiekleren en beoordelen is al gedurendelangeretijdpopulair • Stimulerendvoormotivatie en leren • Eersteonderzoek, mn in HogerOnderwijs, gericht op authentiekedenk- en leerprocessen(Newmann & Wehlage, 1992; Herrington & Oliver, 2002) • Belangrijkvoorberoepsvoorbereiding en creëren van beroepsbeeld • Vraagtdaaromookomlatenzien van beroepsrelevantgedrag(Darling-Hammond & Snyder, 2000) • Past helemaal in competentiegerichteonderwijs(De Bruijn & Leeman, 2011)

4. Wat is authentiek beoordelen • Authentic assessment = “an assessment requiring students to use the same competencies, or combinations of knowledge, skills, and attitudes, that they need to apply in the criterion situation in professional life” • The level of authenticity of an assessment is thus defined by its degreeof resemblance to the criterion situation that is a professional practice situation at the students’ level (Gulikers, Bastiaens, & Kirschner, 2004) Authenticiteit is eendimensie

5. 5-dimensionaal framework (5DF) • Taak • Fysieke context • Sociale context • Vorm • Resultaat / Criteria Authenticiteit is meerdanalleen de fysieke context Assessment kanmeer of minder authentiekgemaaktworden op meerderekenmerken

6. Authenticity is in the eye of the beholder Ervaart de student het assessment authentiek?? Dit blijkt afhankelijk van hoe een student ‘de beroepspraktijk’ ziet als gevolg van hun praktijkervaring

7. Eerder onderzoek • Alsleerlingen assessment meerauthentiekpercipieren dieperleren  meer “generic skills” ontwikkelen • Verschillendvoor MBO leerjaar 1 en MBO leerjaar 4 leerlingen • Voor MBO jaar 1 lln is vooral de taak en criteria belangrijk, fysieke context veel minder. • Bij MBO leerjaar 4 is grotereovereenkomst van meerdimensies van het assessment met beroepspraktijknodig

8. Follow-up in VMBO Wat is het effect van locatie (school/bedrijf) en opdrachtgever (geen/wel) op ervaring van authenticeit en leeruikomsten van VMBO leerlingen • Leerlingen met nog minder praktijkervaring • Jongerdan MBO leerlingen • VMBO is voorbereidend: proevenaan breed scala van beroepsrichtingen Hypothesis: Fysieke context is minder belangrijkdaneenauthentieketaakvoorbetereleeruitkomsten • Een assessment op school met eenhoogauthentieketaakzalalsauthentiekervarenworden en positiefbijdragenaanleeruitkomsten

9. Project Groen Proeven • AuthentiekeProeve van bekwaamheidvoorgroene VMBO • Plaatsen van leerling in kritischeberoepssituatie. Mag op school of in bedrijf • Landelijkeproevesontwikkeldvoor 5 beroepsvelden daadwerkelijkeuitvoering is “des schools” Leerling zelfplannen, complexetaakuitvoeren, zelfbeslissingen en keuzenmaken, inspringen op dilemma’s, beargumenten van handelen in reflectiegesprek Docent Observator en examinator

10. Methode • 36 pilots, op 11 groene VMBO’s • 453 lln, 76 docenten • Keuzevooruitvoering is aan de school • Gestructureerdeintakegesprekken: borgenvormgevenPvB  verslag • Observatietijdensuitvoering • Ervarenauthenticiteit (4-puntsschaal) • “generic skills development” (Wilson et al., 1997) (4-puntsschaal) • Cijfer: 1-10 van 150 leerlingen • Evaluatiegesprekken met lln en docenten  verslagen • Kruskal-Wallis en Mann-Whitney post-hoc tests met Bonferonnicorrectie en effect size • Kwalitatieve analyse intake, observatie en evaluaties door 3 personen

11. Taak op papier 4 condities Docent of Externe Externe

12. School Geen OG BedrijfGeen OG Authenticiteitsperceptions H(3)=62.6 p<.00 SG=BG SG<SW BG<BW Docenten N.S. Wel trend School Wel OG Bedrijf Wel OG

13. Kwalitatieve data leerlingen • Werken / praten met echteklant • Werkenvooreenechteklant • Opleveren van resultaatvoordezeklant “Die biedermeiersstondeneen week later nog in de klaste rotten” taak

14. School Geen OG BedrijfGeen OG Leeruitkomst: Generic skills development en cijfer • Cijfer N.S, maar • SG: 84,6 • SW: 69.6 • BG: 81.0 • BW: 81.5 H(3) = 20.5 p<.00 SG>SW U=11386 r=.22 School Wel OG Bedrijf Wel OG

15. Wat gebeurt hier?? Hint1: GSD = plannen, zelfstandig beslissingen nemen, nieuwe problemen oplossen, samenwerken Hint2: Opdrachtgever in school kon ofwel de docent of en externe persoon zijn.

16. Docent alsopdrachtgever Externealsopdrachtgever What happens?? 4+4 = ?? 12? Vervolg analyse Verschil zit tussen SG en S/docent En niettussen SG en S/externe

17. Kwalitatieve gegevens Meestegenoemdeleerervaring van docenten: “Mijnmondhouden”

18. Conclusie Voor VMBO leerlingen • Een assessment op school kan erg authentiekzijn, vooralwanneer de taakontstaat in interactie met eenopdrachtgever in plaats van op papier en wanneerereenechtresultaatbij de opdrachtgeverterechtkomt EN • De opdrachtgevermoetzichbewustzijndathij/zijnietleerlinggaat ‘helpen’  remtzelfstandiguitvoeren van de complexetaak  remtontwikkeling van generiekevaardigheden

19. Dank! Wij zien jullie graag volgend jaar in Wageningen op de ORD 2012 Judith.gulikers@wur.nl