Ervaringen en ontwikkelingen

1. Ervaringen en ontwikkelingen Utrecht 15 februari 2011

2. Ervaringen en ontwikkelingen • Pretesten • Doelstellingen • Aantallen • Ervaringen • Ontwikkelingen • Redactie proces • Rapportages en statistiek

3. Doelstellingen pre-testen • Testen van toetsinfrastructuur op de betrokken instituten • Cesuurbepaling van de toets • Beoordeling van de kwaliteit van de toetsen en individuele toetsitems

4. Totaal over vier weken • Ruim voldoende materiaal voor analyses • Nederlands, Engels, geschiedenis, aardrijkskunde, natuurkunde, biologie en scheikunde

5. Ervaringen • Gebruik van multiple choice werkt goed • Ja/nee werkt, vereist echter veel meer vragen • Andere typen vragen scoren niet goed, wordt verder bekeken • Multimedia wordt afgeraden • Niet beveiligd en beveiligd worden getoetst • Meer controle nodig op standaarden en “look & feel” • Deelnemers gegevens • Lettertypen/fonts • Figuren • Codering vragen • Opbouw en omvang vragenblokken

6. Ervaringen • Validiteit • Moeilijkheidsgraad • Objectiviteit • Discriminerend • Betrouwbaarheid • Maken van items is (te) tijdrovend • Hoeveel items zijn nodig? • Rapportages zijn (te) tijdrovend • Planning aanpassen (van productie rijp maken van toetsen) • Checklists samenstellen ten behoeve van redacties, coördinatoren, beheerders, leverancier(s), surveillanten, studenten, enzovoort • Surveillanten hebben iets meer begeleiding nodig

7. Ontwikkelingen • Pretesten 2de graad in februari • Pretesten Pabo’s • Ervaringen aanvullen en uitwisselen • Staande organisatie inrichten • Rollen, activiteiten en protocollen beschrijven en overeenkomen • Redactieproces beter ondersteunen

8. Generieke Matrijs Productie Items Goedkeuren Items Specifieke Matrijs Productie Toetsen Goedkeuren Toets(en) Afname(s) Beoordeling & Resultaten Rapportages Aanvullen Item kenmerken Nieuwe inzichten

9. Generieke Matrijs • Waarom is Generieke Matrijs zinvol of noodzakelijk? • Wie stelt deze matrijs samen? • Hoeveel graden van vrijheid zijn gewenst? • Welke dimensies moeten gerespecteerd worden? • - domeinen en leerdoelen / vak • - betrouwbaarheid en validiteit • - gewenste moeilijkheidsgraad, objectiviteit en • discriminerend vermogen • Wie keurt Generieke Matrijs goed voor welke periode?

10. Goedkeuren Items • Waarom is Goedkeuren Items zinvol en noodzakelijk? • Wie keur wanneer een Item goed? • Hoeveel goedgekeurde Items zijn gewenst? • Welke dimensies moeten gerespecteerd worden? • - inhoud van vraag • - bronnen, domeinen en leerdoelen • - betrouwbaarheid en validiteit • - moeilijkheidsgraad, objectiviteit, • discriminerend vermogen, enzovoort.. • Wie accepteert een Item en wat is de (minimale/maximale) periode • voor houdbaarheid?

12. Ontwikkelingen • Redactie en goedkeuringsprocessen (enkele functies) • Gelijke vraag detectie • Tele-samenwerking in teams • Vraag gekoppeld aan vraagdoel • Toetsmatrijs samenstellen en bewerken • Toetsmatrijs en automatische voorstellen (genereren) van toetsen, met weging van moeilijkheidsgraden en domeinen • Historie van item • Automatische rapportages • Invoer van multiple choice eenvoudig • Wiskundige (rekenkundige tekens) in standaard editor • Eenvoudige manier van beoordelen en beoordelingen vergelijken

13. Ontwikkelingen • Redactie en goedkeuringsprocessen (enkele functies • Aanpasbaar aan specifieke eisen • Feedback per item • Real-time statistieken over redactie proces en status items • Mogelijkheid om redacteuren vragen te sturen • Intuïtieve schermen