Studiedag ‘Diversifiëren van evaluatiemethoden’ 5 juni 2008

1. Evaluatie(methoden) Studiedag ‘Diversifiëren van evaluatiemethoden’ 5 juni 2008

2. Programma • 09u00 Inleiding • 09u15 Summatieve evaluatie • 10u55 Pauze • 11u15 Formatieve evaluatie • 12u30 Lunch • 13u30 Inleiding • 13u45 Getuigenis Isabel Deprez (KHM) • 14u30 Toetsbeleid en KULeuven • 14u45 Pauze • 15u 00 Oefening + terugkoppeling • 16u30 Afsluiting en receptie

3. Oefening 1 Welke aanleidingen zie je om te werken rond evaluatie(methoden) (in de eigen faculteit of andere mogelijkheden)?

4. Evaluatie & BZ • signaalfunctie • realiseren van de doelstellingen • leerproces sturen • aanpassen van leeromgeving belang van communicatie !

5. Doel van evaluatie summatief formatief ondersteuning leerproces signaleren tekorten belang van feedback resultaatsbepaling (eind)beoordeling product proces uiteindelijke resultaat verloop leerproces

6. Opzetten van evaluatie WAAROM summatief – formatief / product – proces WAT cognitieve, sociale, schriftelijke vaardigheden,… WIE docent, team, externe beoordelaar, medestudent, student zelf HOE schriftelijk/mondeling, paper, open/gesloten boek, … WANNEER einde opleidingsonderdeel, permanente evaluatie CRITERIA betrouwbaarheid, validiteit, transparantie

7. Ik doe geen mondelinge examens, want de studentengroep is te groot Ik geef een toepassingsgericht examen, omdat ik ook heel het jaar met mijn studenten op die manier gewerkt heb Op het einde van elke les bespreekik een mogelijke examenvraag Ik gebruik meerkeuzevragen, want mijn studenten zitten in eerste Bachelor Ik gebruik peer-assessment om het groepspunt te nuanceren Ik laat studenten een artikel bespreken, omdat de kritische beoordeling van wetenschappelijke artikels een belangrijk doel van mijn cursus is Ik geef een schriftelijk examen op het einde van het semester, want mijn opleidingsonderdeel is heel inleidend

8. Groepsgrootte Betrouwbaarheid van de evaluatievorm Jaar waarin OPO geprogrammeerd staat Validiteit van de evaluatievorm Vakinhoud Transparantie van de evaluatievorm

9. Criteria voor evaluatie • Betrouwbaarheid • vermijden van toevalsfactoren • inter-beoordelaars / inter-taak / test-hertest • Inhoudsvaliditeit • representeren van doelstellingen • meten wat men wil meten • Transparantie(aanvaardbaarheid) • informatie • organisatie

10. Oefening 2 – 9u45-10u15 • Wat zijn de voor- en nadelen van elke examenvorm? • Wat betekenen de kwaliteitscriteria voor mondeling / schriftelijk examen? • Hoe kan je de betrouwbaarheid, validiteit en transparantie voor elke evaluatievorm garanderen?

11. Mondeling examen • Betrouwbaarheid (moeilijk) te waarborgen • Beoordelaarseffecten • Validiteit moeilijk te verwezenlijken • Beperkt aantal vragen • Beperkte tijdsduur • Weerspiegeling van doelstellingen • Transparantie te verwezenlijken • Communicatie naar studenten

12. Schriftelijk examen • Betrouwbaarheid te verwezenlijken • objectieve correctieregels • alle studenten dezelfde vragen (vergelijkbaarheid) • cesuur • Validiteit te verwezenlijken • groot aantal vragen (gesloten of korte essay) • langere tijdsduur • = representativiteit • Transparantie te verwezenlijken • communicatie naar studenten

13. Waarborgen van betrouwbaarheid Hoe nauwkeurig en consistent is de meting?

14. Waarborgen van betrouwbaarheid Samenstelling • Heldere en eenduidige vragen • Mix van moeilijkheidsgraad Omstandigheden • Instructies, omgeving, beschikbare tijd Beoordeling • Nauwkeurig en gedetailleerd antwoordmodel

15. Waarborgen van betrouwbaarheid Correctievoorschrift • Antwoordmodel opsomming van goede, minder goede en foute antwoorden • Scoringsvoorschrift maximale score, deelscores, bonus- en maluspunten • Beoordelaarsinstructies algemene richtlijnen (bv. voor gezamenlijk corrigeren, nakijken per vraag i.p.v. per student)

16. Voorbeeld antwoordmodel

17. Voorbeeld scoringsvoorschrift • gewicht van criteria? • fout = 0 of ook negatieve scores? • terugkerende fouten eenmaal afstraffen? • antwoorden die niet in antwoordmodel? • uitgebreider antwoord dan verwacht? • …

18. Beoordelaarsinstructies Instructies m.b.t.: • wijze van beoordelen bv.: • nakijken per vraag in plaats van per student • dubbelblind verbeteren • antwoordmodel bijstellen na correctie steekproef • richtlijnen bij meerdere beoordelaars bv.: • geen aantekeningen maken op het examen • volgorde studenten wisselen • twijfelgevallen - 2de beoordelaar

19. Waarborgen van validiteit Meet het instrument wat het beoogt te meten?

20. Waarborgen van validiteit Toetsmatrijs • ‘blauwdruk’ die een systematische constructie van een examen wil garanderen • verschillende doelstellingen en/of onderdelen van een opo op een evenwichtige manier vertegenwoordigen (representativiteit)

21. Toetsmatrijs