Beoordelen van competenties: Ontwerpen van authentieke performance assessments

1. Beoordelen van competenties:Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)

2. Wat gaan we doen? • CGO vraagt ‘andersom denken’ • Performance assessment / authentiek assessment • Ontwerpen van een AA: • Stappenplan Stiggins • 5-dimensionale model authentiek beoordelen • Rubrics: hoe, waarom (niet)?

3. Andersom denken Vakken Inhoud Onderwijs: lessen Toetsen Beroepsrelevante, herkenbare uitkomsten (= competenties) Beoordelings- criteria en situatie voor assessment Onderwijs: Leeractviteiten

4. Competentiegerichtbeoordelen CGO zegt iets over het wat niet over het hoe • Wat gebaseerd op de SHL competenties / werkprocessen • Wat moet terugkomen in beoordelingscriteria • De geschikte toetsmethode hierbij is, is pas vervolgvraag Maar: binnen CGO filosofie wel • andere doelen voor “toetsen” • andere “toets”kenmerken hoog gewaardeerd • én bepaalde beoordelingsvormen passen beter bij competentiegerichte filosofie

5. Cruciale vraag in CGO Om te beoordelen of iemand goed kan functioneren in de beroepspraktijk, wat moet er dan allemaal getoetst worden? En als we dat dan weten: • Hoe maken we dan een goede toets hiervoor? • Hoe laten we de praktijk op een goede manier terug komen in de toetsing?

6. Inkomertje 1……………… Competentie? “Koe Bertha is al twee dagen niet opgestaan, haar poep is dunner dan het moet zijn en je meent iets te zien aan haar vacht en ogen. De boer is er niet. Wat nu?” Beschrijf de handelingen die je zou uitvoeren. Waar hou je rekening mee?

7. Competente dierenverzorger? • ‘Kennis over’ is niet genoeg voor competentie uitspraak • Observatie van daadwerkelijke handelen nodig (actie) • Interactie met koe in de stal en overleg met de boer (context) • Bewust handelen?

8. Inkomertje 2 …….. Competentie?? Vind je het praktische gedeelte van het rijexamen een goed examen? Waarom wel? Waarom niet?

9. Competente automobilist? • Half uurtje goed rijden kan toevalstreffer zijn • Niet alle activiteiten behorende bij goed autorijden aan bod gekomen • Niet alle voorkomende situaties gedekt • Bewust handelen? Routine?

10. Performance assessment in vivo: Praktijkbeoordeling, video….. Does Performance assessment in vitro: Observatie, simulaties………….... Knows how Contextueel rijke toetsen: MCQ, open vragen, mondeling….. Knows Feitgerichte toetsen: MCQ, open vragen, mondeling….. Shows how WAT wil je toetsen? Piramide van Miller Authenticiteit

11. Performance assessment (PA) Laag 3 / 4 van Miller Beoordelen of iemand kan functioneren in de beroepspraktijk • Demonstreren van gedrag: ACTIE • In betekenisvolle situatie: IN CONTEXT Achterliggende gedachte: als iemand goed gedrag laat zien bezit hij/zij de onderliggende KVA’s

12. Te beoordelen gedrag is: reactie op natuurlijke gang van zaken reactie op uitlokking In vitro Assessor is: In vivo expliciet aanwezig impliciet aanwezig Performance assessment gekaderd Proeve van bekwaamheid Performance assessment Retrospectieve beoordeling Mystery guest Controle op conducteurs UTRECHT – Kantoorbedienden en andere medewerkers van de NS kijken in de trein de conducteur op de vingers. Het NS-personeel houdt bij hoe vaak een conducteur kaartjes controleert en of er voldoende informatie bij vertragingen wordt gegeven. Voorbeeld: Beoordelingen tijdens de LIO (leraar in opleiding)-stage Voorbeeld: 360 graden feedback

13. Niet denken vanuit methode Cruciaal criterium Inspectie: Is de gekozen beoordelingsvorm passend? Het maken van PA mag niet het doel op zich zijn! WAT wil ik gaan beoordelen? Is PA de goede vorm hierbij? Beroepsonderwijs: toetsen relevant voor praktijk  Authentiek beoordelen

14. Wat maakt een assessment authentiek??? “The criterion for a good test is its congruence with reality” Wiggins (1993, p. 206)

15. Hoe nu aan de slag? • 4-stappenplan van Stiggins voor systematisch ontwerpen van performance assessments • 5 dimensionaal model voor authentieke toetsing Gulikers (2005)

16. 4 stappen • Toetsspecificatieplan: Redenen voor beoordeling • Prestatiespecificatie: Welke prestatie moet geëvalueerd worden en onder welke condities • Opdrachten: creëren van mogelijkheid geven tot demonstreren van competent gedrag • Beoordelingsplan: om beoordeling zo expliciet, gemotiveerd en betrouwbaar mogelijk te maken

17. Stap 1: Toetsspecificatieplan • Doel en functie van beoordeling: • summatief en/of formatief? • Inrichten van onderwijstraject (EVC)? • Specificeer de studenten (aantal, niveau) • Wie zijn de beoordelaars en de beslissers? • Relevante randvoorwaarden?

18. Stap 2: prestatiespecificatie WAT wil je gaan beoordelen? WAT moet student laten zien? Wat is beroepspraktijk van deze opleiding? • Kritische beroepssituatie benoemen • Rollen van opleiding benoemen Welke competentie(s) zijn hierin nodig? Maar hoe krijgt dit vorm in een concreet assessment? Gebruik van 5-dimensionale model : 5 assessment aspecten kunnen meer / minder op beroepspraktijk (referentiesituatie) lijken

19. 5-dimensionaal model voor authenticiteit Authentieke beoordeling & Authentieke instructie

20. Overeenkomstig de beroepspraktijk: 5 dimensies Taak: opdracht die leerling moet uitvoeren Fysieke context: omgeving/situatie waarin taak moet worden uitgevoerd Sociale context: samenwerkings- en hulp (on)mogelijkheden Vorm: leer- / assessmentmethode, onafhankelijk van inhoud Criteria: punten waarop leerling wordt beoordeeld Authenticiteit is méér dan alleen een fysieke context!

21. Vervolg stap 2: Opdrachtenschema • Welke criteria gebruikt praktijk voor goed handelen in beroepssituatie? • Vertaal criteria naar niveau van de student en in concreet waarneembaar gedrag • Welke taken passen bij deze criteria? • In welke context? • Vraagt dit samenwerking / hulp? • Gaat het om een product of proces? (vorm)

22. Stap 3: Ontwerp van opdrachten Uitlokken van gedrag? • Wil je gaan uitlokken of juist niet? • Transparant maken in assessmentopdracht Assessment programma: • 1 PA genoeg om gehele kritische beroepssituatie te beoordelen? • Meerdere PA’s nodig? • Combineren met andere toetsvormen? Competentie assessment programma (Baartman, et al 2004); Protocol portfolio scoring (Straetmans, 2004)

23. Stap 4: beoordelingsplan Beoordelingscriteria • Beoordelen van gedrag vraagt om beoordelingscriteria gericht op observeerbaar gedrag!! • Gebruik van rubrics leent zich goed: niveaus van gedrag • Welk type score is nodig? Holistisch of analystisch • Transparant maken voor alle partijen!

24. Stap 4: beoordelingsplan, vervolg Beoordelaars • Wie beoordeelt / hoeveel beoordelaars? • Zelf-assessment / peer-assessment onderdeel? Training nodig voor assessoren? Beoordelingsprocedure • Hoe verloopt beoordelingsproces / hoe komt eindoordeel tot stand? (zwak punt!) • Hoe verloopt feedback?

25. Gereedschapskist • Ontwikkeld door: APS, CPS, KPC groep, CITO en ECS/WUR • Meer info: Judith.gulikers@wur.nl

26. Rubric: wat is het? = beschrijving van een aantal concreet te observeren gedragsniveaus (van eenvoudiger naar complexer) op een beoordelingscriterium Verschillende soorten schalen • Anayltisch / holistisch • Kwalitatief / kwantitatief

27. Competentie: samenwerkenBeoordelingscriterium: luisteren naar anderen • Nooit • Soms • Vaak • Vrijwel altijd

28. Competentie: leiding gevenBeoordelingscriterium: omgaan met kritiek

29. Competentie: samenwerken in teamBeoordelingscriterium: Actieve inzet tonen

30. Voordelen / mogelijkheden van Rubrics • Communicatie instrument: transparantie voor leerlingen / beoordelaars • Ontwikkelen en voorbereiden van leerlingen • Trainen van beoordelaars: zelfde intrepretatie geven • Objectievere beoordeling • Geven van feedback • Zeer waardevol voor: • Aansluiting onderwijs – formatief / summatief assessen (zwak!!) • Gebruiken bij alle beoordelingsvormen

31. Maar gaat niet vanzelf • Rubric maken is erg tijdsintensief • Vraagt samenwerking en afstemming tussen betrokkenen • Alles willen objectiveren kan niet • Valkuil: terug naar gedetailleerd beoordelen ipv holistisch • Nog niet vaak in onderwijs / formatief gebruikt • Gevaar van wildgroei aan rubrics Zoeken naar een goede balans!