Nibi-conferentie 2012 Het Centraal Examen Biologie

1. Nibi-conferentie 2012Het Centraal Examen Biologie John Huizinga André van der Aa

2. Plan voor vandaag • Stukje theorie toetsconstructie. • Het Centraal Examen. • Zelf een cluster maken. • Zelf een correctievoorschrift maken. • Is dit co-co?

3. Functie Toetsing • Meetinstrumenten die tot doel hebben de kwaliteit van een onderwijssysteem te beoordelen • Meetinstrumenten die tot doel hebben de kwaliteit van de leerling te beoordelen selectie, classificatie, plaatsing, certificering (beheersing) • Meetinstrumenten die tot doel hebben het onderwijsleerproces te beoordelen leerlingvolgsysteem

4. Summatief vs Formatief • Een summatieve toets heeft de functie een oordeel over de kennis en vaardigheden van een leerling uit te spreken. Het eindexamen is dus in de eerste plaats summatief. • De formatieve evaluatie heeft een functie naar je onderwijstaak: je gaat na hoe de leerling er voor staat en wat daar nog aan gedaan moet worden.

5. Hoe maak je een examen? • Cluster maken door CG*-lid • Redigeren cluster door CG-lid • Bespreken cluster in CG • Redigeren cluster door CG • Samenstellen CE • CE bespreken in CG • CE bespreken in College voor de Examens • Redigeren CE • Pretest op scholen • Nederlandse redactie • Uiteindelijk CE samenstellen Totaal ca.1200 uur per examen! * CG = Constructie Groep

6. Toetseisen • Betrouwbaarheid [representatief / herhaalbaarheid] • Specificiteit [onderscheidend vermogen] • Validiteit [meet wat je wilt weten] • Transparantie [de lln weet ook dat/wat je toetst] • Bruikbaarheid [voldoende tijd?]

7. Kwaliteitseisen • Relevantie: directe relatie met een leerdoel. • Objectiviteit: score is onafhankelijk van degene die het item ontworpen heeft of degene die de scoring uitvoert. • Efficiëntie: items moeten zo efficiënt mogelijk geformuleerd worden. • Juiste moeilijkheidsniveau: aanvaardbaar gegeven het te verwachten niveau

8. Betrouwbaarheid • Een toets wordt betrouwbaar genoemd als het bij herhaalde afname onder dezelfde omstandigheden eenzelfde resultaat laat zien. • Formuleer helder en eenduidig • Vermijd extreem moeilijke of gemakkelijke opgaven • Discrimineer • Gelijke omstandigheden afname • Resultaten worden gelijk beoordeeld • [halo-effect - Hawthorne-effect]

9. Validiteit • De validiteit van een toets is de eigenschap dat de toets meet wat de constructeur bedoeld heeft ermee te meten. • Aanvaardbaarheid - cesuur • procedure voor de bepaling van het cijfer • Ongeveer:

11. Transparantie • Transparantie betreft vooral de inhoud van de vragen en de berekening van het cijfer • Hoeveel punten nodig zijn voor een voldoende • Verwijzen naar herkenbare begrippen, situaties of vaardigheden • Voorbereidingstoetsen

12. Toetsmatrijs • Overzichtstabel • Bouwplan van een toets • Bevat concreet de inhoud van het PTA

13. Toetsmatrijs • Wat is het nut van een toetsmatrijs? • Inhoud toets zichtbaar • Gelijkwaardigheid van toetsen vergroten • Verantwoordingsmodel naar de inspectie • Hulpmiddel toetsconstructie • Voorbereiding op examen

14. Voorbeeld toetsmatrijs • p’ % van de lln heeft het goed beantwoord • O/G open/gesloten vraag • Informatieverwerking • Argumenteren • Onderzoeksvraag • Rekenvaardigheden

15. www.examenblad.nl

16. Taxonomie • Ordening van leerdoelen • Hulpmiddel bij interpretatie eindtermen • Invulling geven van onderwijsproces en toetsvorm • Romiszowski • Bloom • Et cetera

17. Taxonomie Romiszowski vaardigheden kennis feiten [F] begrip [B] reproductie [R] productie [P]

18. Toetsconstructie • Hoe maak ik gesloten vragen?

19. Soorten gesloten vragen • Stam • In welke plaats is Cito gevestigd? • Alternatieven • Arnhem sleutel • Den Haag afleider • Groningen afleider • Zoetermeer afleider

20. Tips • Begin met het juiste antwoord • Neem alleen de afleiders die je verwacht, dat leerlingen ook echt kunnen kiezen • Formulier bij voorkeur positief • Accentueer de negatieve vraagstelling

21. Constructie afleiders • Het goede of beste antwoord • Formuleer het goede antwoord eerst • Is het geformuleerde antwoord ook werkelijk goed? • Is het goede antwoord volledig? • Vermijd formuleringen waarbij het goede antwoord opvalt, door bijvoorbeeld hele lange en uitsluitende antwoorden te maken waarbij direct opvalt dat dit het goede antwoord wel moet zijn….

22. Constructie afleiders • De afleiders • Afleiders moeten helder geformuleerd worden • De essentiële verschillen moeten helder zijn • Afleiders moeten plausibel zijn • Afleiders moeten elkaar uitsluiten

23. Tot slot…. • Alternatieven in logische volgorde rangschikken, bij voorkeur alfabetisch • Het alternatief “geen van bovengenoemde” of “alle bovengenoemde” is niet wenselijk • De verschillen tussen de alternatieven mogen niet te groot zijn • Zorg dat de alternatieven niet het juiste antwoord aanwijzen.

24. Kwaliteitseisen • Relevantie: directe relatie met een leerdoel. • Objectiviteit: score is onafhankelijk van degene die het item ontworpen heeft of degene die de scoring uitvoert. • Efficiëntie: items moeten zo efficiënt mogelijk geformuleerd worden. • Juiste moeilijkheidsniveau: aanvaardbaar gegeven het te verwachten niveau

25. Voorbeeld Relevantie 1) Komt niet voor in de syllabus 2) Welke prokaryoten? Zijn er meer antwoorden goed?

26. Voorbeeld Relevantie Kan in een een Hardy-Weinberg evenwicht het aandeel heterozygoten groter zijn dan 50%?

27. Voorbeeld Relevantie

28. Een item is niet relevant als • het kennis en vaardigheden meet, die niet in de leerdoelen omschreven zijn; • het verkeerd beantwoorden van het item veroorzaakt wordt door andere aspecten dan het niet bereikt zijn van het leerdoel; • er een andere activiteit wordt gevraagd dan in het leerdoel beoogd wordt; • geen probleem gesteld wordt in de stam (bijvoorbeeld door het ontbreken van een werkwoord); • het met gezond verstand kan worden opgelost; • het een strikvraag is; • woorden als ‘nooit’, ‘alleen’, ‘altijd’, ‘alle’ gebruikt worden en deze een aanwijzing kunnen geven voor het juiste alternatief;

29. Een item is niet relevant als • het juiste alternatief langer of juist korter is dan de overige alternatieven; • enkele alternatieven hetzelfde zeggen; • de alternatieven er ‘met de haren bijgesleept zijn’; • het juiste alternatief systematisch op een bepaalde plaats staat; • de onjuiste alternatieven elkaar overlappen; • niet alle alternatieven aansluiten op de stam (logisch of grammaticaal); • een woord uit de stam terugkomt in het juiste alternatief; • de alternatieven te heterogeen en daardoor niet geloofwaardig zijn.

30. Voorbeeld Objectiviteit Wat synthetiseert het SER? eiwitten koolhydraten lipiden nucueïnezuren Het glad ER [SER] bevat wel DNA [via DNA binding sites] én synthetiseert vetten Bron: 2000 JBC Wang and Shen.pdf

31. Een item is niet objectief als • het vraagt naar de mening van de student; • het niet éénduidig waar is (of bij stelling juist of onjuist); • niet duidelijk is wat met een bepaald woord in het item wordt bedoeld; • onvoldoende informatie in de stam is opgenomen om het juiste alternatief te kunnen aanstrepen; • meer dan één alternatief juist is (behalve bij het ‘meerdere antwoorden juist-type!); • meerdere deskundigen een verschillende opvatting hebben over het juiste antwoord; • een ander alternatief ook te verdedigen is, maar dat staat niet in de cursus vermeld.

32. Voorbeeld Efficiëntie

33. In welk deel van de lever van de lever vindt opslag van zouten en afbraakproducten uit de lever plaats? • 1 • 2 • 3 • 4 • 5 • 6 • 7

34. Een item is niet efficiënt als • het niet duidelijk is geformuleerd; • er irrelevante inleidingen in de stam, stelling of uitspraak staan; • er een dubbele ontkenning in voorkomt; • het onnodig negatief is gesteld; • het grammaticaal niet juist geformuleerd is (bijv. enkelvoud in de stam, meervoud in één van de alternatieven); • er ingewikkelde zinsconstructies en woorden in voorkomen;

35. Een item is niet efficiënt als • de zinnen te lang zijn (het streven is zinnen van maximaal vijftien woorden te gebruiken); • er een (voor de student) onbekend woord in staat; • alternatieven in decimalen zijn gegeven, terwijl het juiste antwoord een geheel getal is; • tussenvoegsels de leesbaarheid verlagen; • er onnodige verwijzingstekens ingevoerd zijn; • er in de alternatieven steeds één zinsdeel uit de stam herhaald wordt.

36. TIP • http://toetswijzer.kennisnet.nl/html/toetsenopschool/toetsenopschool.pdf • http://www.examenblad.nl/ • http://www.ecent.nl/artikel/1390/Gebruik+van+de+concept-contextbenadering/view.do

37. OPDRACHT 1 • Maak 3 vragen bij het artikel “Rijst produceert menselijk bloedeiwit”

38. OPDRACHT 2 • Bepaal in groepjes (ca. 3 pers) het domein en het taxonomisch niveau voor jullie cluster; • Maak een beoordelingsinstrument; • Kom tot overeenstemming!

39. OPDRACHT 3 • Kijk elkaars werk na. • Gebruik strikt het beoordelinginstrument.

40. OPDRACHT 4 • Herschrijf het artikel in een context • leefwereld, beroepencontext, wetenschappelijke context (vwo) • Kom tot overeenstemming!