720 likes | 936 Views
SOE: de leerkracht als poortwachter OOF Toetskoffer. http ://www.toetskoffer.be / Lies.wijnants@khleuven.be 23 oktober 2014. Context en aanleidingen. What you test is what you get . Visitatie: evaluatie als derde GKW
E N D
SOE: de leerkracht als poortwachterOOF Toetskoffer http://www.toetskoffer.be/ Lies.wijnants@khleuven.be 23 oktober 2014
Context en aanleidingen • Whatyou test is whatyou get. • Visitatie: evaluatie als derde GKW • een ‘professionele evaluatiecultuur’? (Verankerd in leren, D. Sluijsmans) • Van individueel naar samen evalueren • Van afhankelijk naar het nemen van regie - Van ad hoc-kwaliteit naar duurzame invulling kwaliteit gericht op toekomstige maatschappelijke ontwikkelingen
Algemene doelstelling Toetskoffer • Duurzaam en systematisch werken aan kwaliteitszorg van evalueren: verschillende handvaten aanreiken • Organisatorisch: via een toetscommissie(of toetsadviesbureau)
Op verschillende niveaus Kwaliteit
Concrete doelstellingen Concrete tools, methodieken, … aanreiken voor: • ontwikkelen toetsplan/ toetsprogramma • ondersteunen/ uitvoeren van analyses Eva’s en toetsprogramma’s (PDCA) • ondersteunen in verdere ontwikkeling kwaliteitsvolle Eva’s/ toetsprogramma’s
3 kern- en 3 resonantie-opleidingen • 3 Kernopleidingen • Thomas More: PBa communicatiemanagement • KHLim: PBa orthopedagogie • KHLeuven: PBa biomedische laboratorium-technologie • 3 Resonantie-opleidingen • HUB- Odisee • KATHO- VIVES • KaHo St Lieven - Odisee
Meerwaarde • Voor 6 opleidingen • duurzaam en systematisch werken aan kwaliteitszorg van evaluatie • Voor de Associatie KU Leuven • toetskoffer als startbagage http://www.toetskoffer.be/
Toetscommissie (toetsadviesbureau) De toetscommissie (TC) of toetsadviesbureau (TAB) is verantwoordelijk voor de uitvoering van kwaliteitszorg van het toetsgebeuren door het aansturen, uitvoeren, opvolgen en rapporteren over kwaliteitszorgprocessen rond toetsing.
Toetscommissie: samenstelling • Bestaande groep (curriculumontwikkeling) • Bestaande onderwijsgroep • Nieuwe werkgroep • …
Toetscommissie: profiel • Representatieve vertegenwoordiging docenten (leerlijnen) • Voorzitter: evaluatiedeskundige • Optioneel: medewerker kwaliteitszorg, onderwijs, opleidingshoofd • Op opleidingsniveau (departementaal- groepsniveau voor kleine opleidingen)?
Toetscommissie: bevoegdheden • Voert uit of stuurt systematisch kwaliteitszorgprocessen rond toetsing aan • Ondersteunt en adviseert managementteam inzake toetsing, bereidt samen met coördinator opleiding agenda rond toetsing voor • De examencommissie kan de toetscommissie bepaalde opdracht geven
Toetscommissie: mogelijke taken • Ontwikkeling toetsplan/ toetsprogramma • Kwaliteitsanalyses toetsprogramma/ Eva • Ondersteuning ontwikkeling kwaliteitsvolle toetsprogramma’s / Eva’s (PD)
Toetsplanontwikkeling: wat Toetsplan of toetsprogramma: inhoudelijk bewust samengesteld coherent geheel van toetsen op in de opleiding (wat, hoe, wie, wanneer, tijdsbesteding, feedback, …)
Toetsplanontwikkeling: hoe? • Toetsinventarisatie van bestaande situatie toetsen in de opleiding (via toetsmatrix) • Van bestaande naar wenselijke situatie via analyse en overleg
Toetsinventarisatie: hoe? • Via ECTS-fiches/ SAP • Via bevraging docenten • Check op volledigheid • Timing
Van toetsinventarisatie naar wenselijke situatie: analyse • Via analyse: • Evalueren we alle DLR’s/ competenties die we willen ontwikkelen? • Hoe toetsen we? • Wie is betrokken? • Wanneer toetsen we? • …
Van toetsinventarisatie naar wenselijke situatie: overleg • Via overleg: • Op basis van conclusies analyse: wat willen we aanpakken? • Waar willen we naartoe? Via afspraken, een toetsplan • Actieplan (acties, prioriteiten, wie, wanneer, SVZ, …)
Output toetsontwikkelingsproces • Bestaande situatie (inventarisatie) en conclusies • Verhaal/visie: Welke keuzes/accenten maken we als opleiding (vanuit kaders toetsbeleid instelling) • Wenselijke situatie: via toetsplan², afspraken, … • Actieplan: hoe wenselijke situatie realiseren? (acties, tijdspad, wie, svz)
Toetsfiches: wat? • gebruiksvriendelijke en ‘kernachtige’ info over Eva’s (losse fiches) • rond ≠ vragen over een Eva • breed keuzepalet • om te ondersteunen bij het ‘doen’ (ontwerpen, opstellen toets/opdracht, beoordelelen, afnemen, …)
Kader: toetscyclus met toetsfasen Waarom? Wat? Wanneer? Hoe? Wie? Waar?
Fiches over evaluatievormen Beroepsproduct/ ontwerp Presentatie/ uiteenzetting Voortgangstoets Verslag Portfolio Mondeling examen Verslag Schriftelijke examen met MKV, gesloten, (half)open vragen, casus, overalltoets Vaardigheidstoets Simulatie Stationsproef Evaluatiegesprek (criteriumgericht inverview, driehoeksgesprek) Paper Praktijkevaluatie/ observatie …
Ontwikkeling • Literatuuronderzoek • Peerreview (Werkgroep Toetskoffer, medewerkers onderwijs betrokken partners, …)
Doel fiches • Inspiratie om ‘ruis’ te beperken: stappenplan, tips en tricks, … • inspiratie bij het maken van bewuste keuzes voor een toetsvorm of keuze te expliciteren: pro’s en contra’s • om te inspireren om verder te lezen en/of te doen: meer weten en/of doen
Gebruik fiches • ‘Fiche’ op maat kiezen • Als inspiratie voor TC/ TAB om gerichte feedback te geven aan docenten • Voor groepen van docenten (peerreview en peerfeedback) • Ter inspiratie voor docenten • Impuls voor toetsprogramma?
Toetszorginstrumenten • Toetsmatrijs • Scan in kwaliteitsvol toetsen • Excel voor psychometrische analyses 4. KIT: edumetrische analyses toetsprogramma
1. Toetsmatrijs: wat? = matrix waarin wordt aangegeven hoe de items, vragen, opdrachten, … in een Eva verdeeld zijn over de leerresultaten/competenties/leerdoelen/in-houden en verwachtte niveau.
1. Toetsmatrijs: waarom? • Als hulpmiddel om de inhoudsvaliditeit te verhogen (ook van de verschillende beheersingsniveaus) • Als hulpmiddel om de gelijkwaardigheid tussen 2 paralleltoetsen te bewaken • Verantwoording van inhoud van de toets naar anderen
2. Scan in kwaliteitsvol toetsen = instrument om vanuit een objectief kader met verschillende kwaliteitsindicatoren (die psychometrisch en edumetrisch kunnen ingevuld worden) een evaluatie-activiteit te screenen of te plannen.
2. Scan: concept • °IOC WG Toetsbeleid KHLeuven • Informatie over ‘kwaliteitsvol toetsen’ gebruiksvriendelijk en concreet vertalen • niveau van een Evaluatiepraktijk (één of meerdere Eva’s)
2. Scan: ontwikkeling • Vertrekpunt: decretale kwaliteitscriteria • Via literatuuronderzoek concretisering in concrete ‘items’ • Via cocreatie medewerkers onderwijs KHLeuven • Validering en uittesten in opleidingen • Peerreview WG Toetskoffer, lno2, …
2. Scan: kader kwaliteitscriteria • Valide • Betrouwbaar • Transparant Uitgebreid met: • Leerrijk • Efficiënt
2. Scan: Spanningsvelden • Psychometrie en edumetrie • Tussen kwaliteitscriteria onderling • Tussen Eva en toetsprogramma • Tussen een generaliseerbaar en concreet instrument
Meten is (niet altijd) weten . Psychometrie- edumetrie • Geef kinderen toch geen punten. (R. Standaert) • Gevaarlijk om te stellen dat niets in onderwijs objectief meetbaar is (D. Van Damme) • Punten afschaffen is een slecht idee. Punten, en centrale examens, houdt leerlingen en scholen scherp (K. De Witte) • Cijfers zijn nuttig als indicatie, zolang ze niet amputeren (I. Nicaise) • Meten uit angst? Verschuilen we ons niet achter objectieve tests, omdat we niet meer durven beoordelen? (M. Simons)
Psychometrie - edumetrie Is meten is (altijd) weten? • Psychometrie: vanuit testpsychologie, vanuit ‘cijfers’, van ‘meten is weten’. • Edumetrie: focust op ontwikkeling en leren, ‘niet alles is meetbaar’ • Scan: om bewuste keuzes te maken over invulling van toetskwaliteit vanuit betekenis van kwaliteitscriteria die edumetrisch (kwantiatief en/of psychometrisch (kwalitatief) ingevuld kunnen worden
III. Eva- toetsprogramma • Niet mogelijk om alle kwaliteit realiseren in één evaluatiepraktijk, je moet keuzes maken, elke Eva bevat een minimum aan ‘ruis’ • Ook kwaliteit bekijken op het niveau van het toetsprogramma!
IV. Gebruiksvriendelijk en concreet- generaliseerbaar • Elke evaluatievorm heeft specifieke kwaliteitscriteria • Voor alle Eva’s binnen de Associatie
2. Scan: doel • Om een Eva te plannen, te scannen (eventueel bij te sturen) op toetskwaliteit • Geen exhaustieve ‘checklist’ voor elke Eva, streven naar ‘balanced assessment’ • zo breed mogelijke concrete ‘keuzes’ aanreiken om te reflecteren over mogelijke keuzes en deze keuzes te maken