Online peer review Zelfstudiepowerpoint

1. Waarschuwing Als u deze tekst ziet, is er iets niet in orde: uw computer toont de animaties niet, terwijl die essentieel zijn voor deze publicatie. Gebruikt u het programma Powerpoint, druk dan nu op de toets F5 (of kies "Diavoorstelling"). Gebruikt u een smartphone of tablet, dan heeft deze vermoedelijk een incomplete powerpointviewer. Deze publicatie is niet geschikt om af te drukken. Online peer reviewZelfstudiepowerpoint Willibrord Huisman, IOWOBea Edlinger, IOWO Tekeningen Eva Huisman, 2011 Hoe werkt deze powerpoint? U kunt deze powerpoint alleen als diavoorstelling bestuderen; de animaties zijn essentieel. Klik telkens met uw muis of gebruik uw muiswiel of druk op de toets PgDn. Zo worden de schema's stapsgewijs opgebouwd en verschijnen deze gele toelichtingen. Gebruik niet de schuifbalk. U kunt deze ppt niet afdrukken. Gij zult deze ppt niet kopiëren, maar u wordt verzocht er wel naar te verwijzen:www.iowo.nl/icto/elem/47 Daar staat de meest recente versie, plus de contactinformatie. Zoniet, google dan naar "Willibrord Huisman" Inhoudsoverzicht 0. Traditioneel: feedback van docent alleen 1. Basisschema peer feedback 2. Peer feedback met reflectie 3. Repliek en peer beoordeling 4. Samenwerken en peer feedback A. Doel, product, criteria B. Feedbackrondes C. Begeleiding en beoordeling scheiden X. Zie verder, contact Deze powerpoint is een onderdeel van de webpublicatiedie u vindt op www.iowo.nl/icto/elem/47

2. concept-werkstuk feedbackfase: - lees feedback schrijffase 2 - verwerk feedback- heroverweeg concept- schrijf definitief werkstuk definitiefwerkstuk inleveren docent beoordeelt werkstuk (?) beoordelen feedback feedback feedback 6+ 7 8 0. Traditioneel 5. Eén op één interactie In deze 'traditionele' gang van zaken werken studenten zelfstandig, hetgeen de helderheid van de beoordeling ten goede komt. Er zijn echter drie grote nadelen. 1) De studenten zien het werk van anderen niet en spreken er nauwelijks met elkaar over (uitzonderingen daargelaten), terwijl ze van 'afkijken' en bespreken veel kunnen leren. 2) De studenten krijgen betrekkelijk weinig en vaak nogal laat feedback, doordat de docent onvoldoende tijd aan elke individuele student kan besteden. 3) De docent raakt bij grote studentenaantallen overbelast. Tijd Student 1 Student 2 Student 3 schrijffase 1 - lees opdracht en instructie- schrijf concept 4. Beoordelingsproblemen De docent geeft uiteindelijk een beoordeling. Veel docenten verdisconteren daarin de aard en de mate van feedback die ze eerder gegeven hebben: een goed werkstuk dat tot stand is gekomen met veel begeleiding krijgt eenzelfde cijfer als een minder goed, maar zelfstandig gemaakt werkstuk. Studenten hebben weinig zicht op deze gang van zaken. - lever concept in 1. Studentperspectief Het échte primaire proces in het onderwijs is het leerproces. Het is niet de docent, maar de student die leert en daar zelf verantwoordelijk voor is. De opleiding ondersteunt de student daarbij zo goed mogelijk, en is daarvoor verantwoordelijk. Dit gebeurt door een leeromgeving aan te bieden met faciliteiten, leermateriaal, en docenten. In veel gevallen verzorgt de opleiding ook de toetsing. In het WO is de docent vaak zowel de begeleider als de expert als de toetser en beoordelaar. Deze schema's volgen één student en twee medestudenten. In de praktijk zijn het er eerder 20 tot 600; voor het principe van peer review maakt dat geen verschil. 2. Leren door te doen Mensen leren vooral door iets te dóen. Ze leren ook wel door lezen, luisteren, of imiteren, maar alleen wanneer dat op dat moment nauw aansluit bij iets wat ze aan het doen zijn. Om deze reden bestaat onderwijs voor een flink deel uit het verstrekken van opdrachten en het begeleiden van studenten die ze uitvoeren. 3. Feedback ontvangen Het belang van terugkoppeling wordt algemeen onderkend. Idealiter is het terugkoppeling op het juiste moment van het juiste niveau en met de juiste mate van uitdaging (goede feedback zegt niet voor hoe het dan wel moet). Docenten besteden veel tijd aan het geven van feedback. Velen klagen dat ze niet aan feedback op het goede niveau toekomen, doordat het meer basale niveau alle tijd vergt. Willibrord Huisman - Online peer review

3. 1. Peer review: basisschema Tijd Student 1 Student 2 Student 3 schrijffase 1 - lees opdracht en instructie- schrijf concept concept-werkstuk feedbackfase: - lees concept van 2 anderen- schrijf daar feedback op- lees je ontvangen feedback schrijffase 2 - verwerk feedback- heroverweeg concept- schrijf definitief werkstuk definitiefwerkstuk inleveren docent beoordeelt werkstuk beoordelen feedback forum • 1. Online versus bijeenkomsten • We beschrijven hier online peer review, omdat werken in online forums veel voordelen heeft boven peer review in groepsbijeenkomsten. • in de digitale leeromgeving is het hele proces is tevoren goed te structureren; • de producten en feedback blijven in onderlinge samenhang zichtbaar; • men kan op elk tijdstip op elke plek werken; • schriftelijke communicatie is in het algemeen veel zorgvuldiger; • de wetenschappelijke praktijk werkt ook voor een groot deel schriftelijk (veelal via email). • Niettemin zijn er situaties waarin peer review beter face-to-face functioneert, bijvoorbeeld als het gaat om mondelinge vaardigheden. Soms kan men in één cursus beide vormen combineren. 5. Beoordelingskwesties In principe beoordeelt de docent (als examinator) uitsluitend het werkstuk, en niet de forumactiviteit, want die is immers voor & door studenten onderling. In de praktijk geldt evenwel vaak dat iets wat niet meetelt ook wel niet belangrijk zal zijn. Daarom willen veel docenten én studenten dat de activiteiten in de forums wél meetellen in de eindbeoordeling. De volgende drie schema's geven verschillende manieren waarop docenten met dit dilemma omgaan. • 3. Peer feedback: aannemelijk maken • Mensen geven niet vanzelf goede feedback op elkaars werk. Ook in onderwijs is er veel voor nodig voordat het goed loopt. Tenminste: • maak het nut van feedback geven duidelijk; • laat zien wat goede feedback is; • zorg voor heldere regels en deadlines. • (Hierover meer elders in deze powerpoint.) 4. Activerend onderwijs Bij peer review zijn de studenten veel actiever dan zonder; als het goed loopt werken ze er met meer plezier aan. Het kost hun meer tijd en ze komen in een strakker tijdschema terecht. Een deel van de tijd verdienen ze terug doordat ze minder in hun eentje ploeteren. De docent en de opleidingscoördinator berekenen tevoren wat de studiebelasting is, hoe die verdeeld is over de loop van de cursus, en of die verdeling past bij de vereiste activiteiten van andere cursussen. Doorgaans betekent het invoeren van peer review dat andere onderwijsonderdelen van een cursus kunnen of moeten vervallen. 2. Informeel en formeel deel scheiden Bij peer review zijn de forums van de peers (de studenten). De docent kijkt hooguit mee volgens tevoren bekend gemaakte gedragsregels. Het bij de docent inleveren van een te beoordelen product kan juist beter niet in een forum. Een digitale leeromgeving heeft daartoe een aparte, beveiligde constructie. In Blackboard heet die een assignment. BB-assignmenten/of papier Willibrord Huisman - Online peer review

4. 2. Reflectie op feedback Tijd Student 1 Student 2 Student 3 schrijffase 1 - lees opdracht en instructie- schrijf concept concept-werkstuk feedbackfase: - lees concept van 2 anderen- schrijf daar feedback op- lees je ontvangen feedback schrijffase 2 - verwerk feedback- heroverweeg concept- schrijf definitief werkstuk definitiefwerkstuk paragraaf over de feedback: ontvangen gegeven inleveren docent beoordeelt werkstuk beoordelen feedback 2. Meetellen of niet meetellen? Docenten verschillen nogal van opvatting over de noodzaak om elke activiteit, dus ook de feedbackreflectie, 'mee te laten tellen' Argumenten voor: - de studenten nemen het serieus; - indien feedback geven en reflecteren leerdoelen van de cursus of opleiding zijn, behoren die vaardigheden ook getoetst en beoordeeld te worden. Argumenten tegen: - de reflectie wordt minder 'eerlijk' : veel studenten schrijven niet iets negatiefs over hun medestudenten indien dat hen schaden kan; - overmatig beoordelen op zulke details verschoolst het onderwijsleerproces nodeloos - het is erg veel werk voor de docent om een dergelijke beoordeling (van een reflectie op feedback op een conceptwerkstuk) verantwoord uit te voeren. forum 1. Reflectie opnemen in werkstuk De studenten nemen in de inleverversie van hun werkstuk reflecties op over: - de feedback die ze ontvangen hebben;- wat ze ermee gedaan hebben; - de feedback die ze gegeven hebben. Dit gebeurt niet anoniem; ze vermelden de namen. Daardoor kan de docent betrekkelijk gemakkelijk alsnog in het forum kijken wat die feedback nu feitelijk was. Deze reflectie dient drie doelen: - de studenten denken na over wat ze gedaan hebben; - de studenten nemen het peerreviewproces serieuzer - de docent krijgt zicht op het proces. assignmenten/of papier plus feedbackparagraaf Willibrord Huisman - Online peer review

5. 3. Repliek; peer beoordeling Tijd Student 1 Student 2 Student 3 schrijffase 1 - lees opdracht en instructie- schrijf concept concept-werkstuk feedbackfase: - lees concept van 2 anderen- schrijf daar feedback repliekfase: - lees de ontvangen feedback- schrijf een repliek- inclusief een beoordeling begeleider bekijkt de replieken en kijkt en handelt waar nodig definitiefwerkstuk schrijffase 2 - verwerk feedback- heroverweeg concept- schrijf definitief werkstuk inleveren beoordelaar beoordeelt werkstuk beoordelen feedback forum 3. Meetellen of juist niet meetellen? (Zie vooral ook de toelichting in de vorige dia). In principe zou de beoordelaar de cijfers die de studenten elkaar in hun replieken geven, kunnen laten meetellen in een eindcijfer. Dit heeft echter nogal wat nadelen: - Peer beoordeling met consequenties is in het HO nogal ongebruikelijk, en de studenten houden er niet van.- Het is lastig om eenduidige criteria te geven voor die beoordelingen.- Als er geen behoorlijke technische voorziening voor is, is het voor de docent erg veel werk om de cijfers te vergaren. In Blackboard betekent dit: een voor een overzetten in een spreadsheet. NB: in een dia verderop in deze publicatie gaan we verder in op de toetsing en beoordeling. 1. Van repliek dienen De studenten schrijven een reactie op de feedback die ze van elkaar gekregen hebben. Ze geven daarin aan in hoeverre die feedback hen geholpen heeft verder te komen. In een forum doen ze dit door een reply te schrijven op de reply waarin de feedback op hun concept staat. Ze beginnen de onderwerpsomschrijving van die reply met een cijfer, waarmee ze hun repliek samenvatten. Een andere mogelijkheid, in Blackboard, is het gebruik van rating: de studenten kennen meer sterren toe aan feedback die hen meer geholpen heeft. Beide methoden zijn, na een goede schriftelijke instructie, door studenten goed uit te voeren. 2. Waartoe dienen replieken Replieken hebben meestal als voordelen: - de studenten krijgen 'feedback op hun feedback';- ontevreden studenten kunnen dit duidelijk laten blijken;- de docent kan snel zien waar iets aan de hand is, en daar verder gaan lezen, en eventueel ingrijpen of er in een werkcollege verder op ingaan. Het is van groot belang dat de studenten weten wat het nut van de replieken is en waarvoor de docent ze gebruikt. Als dit niet helder is, werkt het systeem niet. assignmenten/of papier ?? peer beoordeling van de feedback telt voor 10% mee Willibrord Huisman - Online peer review

6. 4. Samenwerken en peer feedback In duo's: Deelproduct schrijven Feedback krijgen Feedback verwerken Zelfstandig: Feedback geven conceptwerkstukvan student 1 + 2 feedback van student 5 conceptwerkstukvan student 3 + 4 feedback van student 5 feedback van student 2 conceptwerkstukvan student 5 + 6 vervolgwerkvan student 5 + 6 Student 5 feedback van student 4 feedback van student 7 Student 6 feedback van student 9 feedback van student 6 conceptwerkstukvan student 7 + 8 feedback van student 6 conceptwerkstukvan student 9 + 10 5. Traditioneel Zonder peer review werken duo's in het algemeen uitsluitend samen, zonder het werk van anderen te zien. Ook worden ze niet uitgedaagd om in dit proces juist iets zonder de partner te doen. 6. Met peer review Duidelijk is, dat de studenten veel meer te doen hebben dan voorheen. Dat kan niet zomaar: door peer review aan een bestaand practicum toe te voegen zal er ergens anders in de cursus studiebelastingstijd moeten worden weggehaald. Ook vereist de feedbackronde dat studenten zich strak aan de deadlines houden. Dit betekent dat er piekbelasting ontstaat. Het is noodzakelijk dat de planning van de activiteiten afgestemd wordt met die van de andere cursussen die tegelijkertijd lopen. Feedbackregel: Oneven student geeft fb aan twee vorige duo's;even student geeft fb aan twee volgende duo's. 1. Duo's maken het werkstuk In dit voorbeeld werken duo's samen aan een werkstuk, bijvoorbeeld in combinatie met onderzoek dat ze gezamenlijk uitvoeren. In dit schema volgen we de gang van zaken vanuit het perspectief van student 5 en student 6 2. Individueel feedback geven De review doen de studenten juist individueel. Een weloverwogen feedbackregel is van groot belang. Student 5 reviewt twee conceptwerkstukken. Student 6 reviewt twee andere werkstukken. 3. Samen feedback krijgen Na de feedbackronde is het conceptwerkstuk van 5&6 door vier studenten gereviewed. Een goede feedbackregel bevat een uitbreiding: "los problemen onderling op". De praktijk is namelijk minder systematisch dan de eerste regel aankan. Studenten aanspreken op hun flexibiliteit werkt dan. 4. Eindversie maken. Student 5 en 6 maken samen de eindversie, nadat ze: - vier andere conceptwerkstukken hebben gereviewed;- van vier studenten feedback hebben gekregen. Tijd Willibrord Huisman - Online peer review

7. doel begeleider opdrachten oefenproduct A. Doel, product, criteria eindtermen 1. Alles refereert aan het doel Deze dia ondersteunt de essentie van doelgericht leren en doelgericht onderwijs, namelijk, dat alle voorlichtingsmateriaal, studiemateriaal, studentactiviteiten en docentactiviteiten gericht zijn op het doel van het betreffende studieonderdeel, dat zelf weer leidt tot het bereiken van de eindtermen. Voor peer review betekent dit, dat de feedback die de studenten elkaar geven, betrekking heeft op de mate waarin het oefenproduct voldoet aan de criteria. Deze criteria zijn afgeleid van het doel. Het zijn dezelfde criteria die later bij de toetsing en beoordeling worden gebruikt. De metafoor voor doel is hier "een boog kunnen bouwen". U kunt denken aan "het kunnen schrijven van een rapport". Eindterm: "een toren bouwen" komt dan overeen met "het schrijven van een wetenschappelijke publicatie". Deze dia is ontleend aan de publicatie over didactische consistentie waarvan u de referentie aan het eind van deze powerpoint vindt. U kunt ook googelen. medestudenten Willibrord Huisman - Online peer review

8. doel toets introduceren opdracht A opdracht B Opdracht C oefenproduct B opr. C oefenproduct A deadlinesregels proces begeleiden inhoudelijk begeleiden B. Reviewrondes en toetsing 1. [deze toelichting moet nog uitgewerkt] In de praktijk draait de review binnen één cursus in een aantal cycli, waarin studenten telkens een ander, vaak steeds complexer deel van het doel proberen te bereiken. Deze dia pleit voor het volledig scheiden van begeleiding en beoordeling: studenten worden niet beoordeeld op oefenproducten, de beoordelaar heeft deze studenten niet begeleid, en het toetsproduct is individueel tot stand gekomen. De begeleider kán online begeleiden door op weldoordachte wijze op te treden in de forums. […] Met name in afstandsonderwijs is dit een mogelijke optie. In campusonderwijs kan de docent beter werkcolleges gebruiken om de studenten belangrijke kwesties uit het peer-reviewproces te laten bespreken. Onderdeel van de begeleiding is ook inhoudelijke begeleiding: studenten dienen zicht te krijgen op wat goed is en wat niet. toetsen &beoordelen Online peer review 8 toetsproduct

9. C. Begeleiding en beoordeling scheiden doel summatieve,beoordelendetoetsing begeleider oefenproduct 2 oefenproduct 1 examinator nieuw toetsproduct 1. [toelichting verdient nog verdere uitwerking] Deze dia is in wezen een verdubbeling van de vorige, maar dan met het perspectief omgedraaid. De vorige dia gaf de volgorde waarin alles zich afspeelt; deze laat zien hoe het ontworpen wordt. De opleiding (of soms een externe instantie) stelt doelen vast, plus een toetsing die meet in hoeverre de student de doelen bereikt heeft. Als dit goed gedaan is, heeft de student die de toets wil behalen hetzelfde voor ogen als de student die de doelen wil bereiken. De student die die doelen nog niet bereikt heeft dient dan eerst te leren. De cursus, inclusief docent, materiaal, leeromgeving, en medestudenten zorgen ervoor dat dit leren effectief is. Bekende voorbeelden hiervan zijn de rijexamens die geheel los staan van de rijlessen, en de internationale examens taalvaardigheid die los staan van lokale taalcursussen, gericht op het behalen van die examens. medestudenten Willibrord Huisman - Online peer review

10. 1. Essentieel: goede, schriftelijke opdrachten Peer review verloopt alleen goed indien de studenten bijzonder duidelijke opdrachten krijgen. Idealiter staan deze in de digitale leeromgeving bij de forums waar zich de interactie afspeelt. Online peer review

11. Opdrachtstructuur 1. Doelgerichte opdrachtstructuur U ziet hetzelfde document als in de vorige dia, maar dan in de structuurweergave van Word. Het verdient aanbeveling om alle opdrachten volgens dezelfde structuur op te zetten. Kenmerkend voor een goede opdracht in doelgericht onderwijs is dat doel en product vooraan staan, en dat daaronder pas de instructie komt via welke de studenten dit product kunnen maken. Bij Product staan (hier niet zichtbaar) tevens de criteria waaraan het product moet voldoen; dat zijn dezelfde criteria als waarop de studenten elkaar feedback geven, en dezelfde waarop uiteindelijk het toetsproduct wordt beoordeeld. Interessant is instructie f. Vaak geldt: hoe minder de docent zich met de forums bemoeit, hoe beter het verloopt. Het geldt ook voor allerlei onvolkomenheden met feedbackregels, achterblijvers, etcetera. Online peer review

12. 1. Praktijkgeval: forum Eerstejaarsstudenten aan het werk. De aanwijzing om een originele, unieke titel te bedenken voor hun werk hebben ze nog niet onder de knie. Online peer review

13. 1. Feedback als aparte tekst Studenten kunnen hun feedback schrijven (of elders schrijven en dan plakken) in een nieuw bericht (een reply) in het forum. Het voordeel hiervan is dat de feedback op wat meer geïntegreerd is en zich niet richt op punten en komma's. Sommige docenten geven de studenten in de eerste reviewcyclus feedbackformulieren om de feedback te richten. Het werkt voor sommige studenten goed, maar anderen voelen zich in een keurslijf gedrukt. Online peer review

14. 1. Feedback in het document Een andere vorm van feedback wordt in het bestand geschreven (en daarna als bijlage aan het replybericht in het forum toegevoegd). Sommige docenten stimuleren juist deze manier van werken. Men kan het ook aan de studenten zelf overlaten. In dit voorbeeld gebruikt de student de Word-functie voor opmerkingen. Online peer review

15. 1. Niet essentieel, wel praktisch: het grade centre Blackboard bevat een constructie "assignment" die bedoeld is om opdrachtuitwerkingen formeel in te leveren bij de docent. Het voordeel hiervan is dat er een duidelijke scheiding is tussen het onderlinge werk in het forum en het moment waarop de student het werk goed genoeg vindt. Bovendien kan een assignment automatisch dichtgezet worden, bijvoorbeeld op een uur na de deadline. De opdrachtuitwerkingen komen terecht in het 'Grade Centre', van waaruit de docent ze kan openen, beoordelen, eventueel zelfs van feedback voorzien, en weer terugplaatsen. De student ziet dit vervolgens in 'My Grades' . Het grade centre functioneert tevens als cijferboekje. Zowel assignment als grade centre zijn niet essentieel voor peer review. Ze zijn wel onnoemelijk veel praktischer dan allerlei papieren gedoe en het gebruik van e-mail. Online peer review

16. Helaas, IOWO is opgeheven IOWO is opgeheven per 31 december 2011. Vooralsnog blijven de webadressen wel werken. Mocht u dit lezen in een tijd dat ook dat niet meer zo is, vertrouw dan op Google en zoek daarmee de dan geldende adressen van deze publicaties en van de auteur op. Meer… Zie: • deze powerpoint in laatste versie, plus verwijzingen:www.iowo.nl/icto/elem/47 • webpublicatie "Didactische consistentie"www.iowo.nl/icto/elem/63 • Willibrord Huisman, IOWOhttp://www.ru.nl/iowo/WillibrordHuisman • Willibrord Huisman onderwijsadviseurwww.willibrordhuisman.nl Willibrord Huisman - Online peer review

17. Willibrord Huisman - Online peer review