Omgang met kwaliteitscriteria

1. Omgang met kwaliteitscriteria Cop 4 Verbinden van Onderwijs en Onderzoek

2. Omgang met criteria • In de handleiding staan algemene criteria • Deze zijn in een specifieke projectsituatie te algemeen om bruikbaar te zijn • De eerste stap is de algemene criteria afleiden naar bruikbare criteria

3. Afleiding generieke criteria voor een beoordelingssystematiek Generieke criteria uit de handleiding: • Criteria voor Resultaat • Adequaat • Valide • Criteria als het resultaat een proces is • Controleerbaar • Vakkundig • Betrouwbaar • Logisch

4. Uitwerking criteria beoordelingssystematiek • Het criterium Adequaat leidt tot: • Systematiek is een echte oplossing • Systematiek past in de probleemcontext • Systematiek is toelaatbaar en duurzaam • Het criterium Valide leidt tot • Is acceptabel • Is conceptueel onderbouwd • Is verklaard • Eventuele generaliseringen zijn aannemelijk

5. Uitwerking -2 • Criterium Controleerbaar: • Is Compleet • Is Transparant • Is Achteraf te volgen • Criterium Vakkundig • Is Efficiënt • Is Toelaatbaar • Criterium Betrouwbaar • Is niet afhankelijk van toevalligheden • Is niet afhankelijk van tijdstip • Is niet afhankelijk van plaats • Criterium Logisch • De redenering is logisch • De systematiek is Recht-toe Recht-aan

6. Tussentijdse wrap up • 6 algemene criteria leiden tot 14 specifiekere criteria. • De volgende stap is indikken

7. Indikken

8. Wrap up 2 • Indikken van de 14 specifiekere criteria leidt tot 7 criteria • Deze criteria kunnen weer verder uitgewerkt worden

9. Verdere uitwerking

10. Itereren • Deze procedure kan herhaald worden, totdat er bruikbare criteria zijn gevonden • Bruikbaar is onder andere: herleidbaar tot uit te voeren stappen om het resultaat te bereiken, maar ook: kan gebruikt worden om het resultaat te toetsen • In deze voorbeelduitwerking wordt nu gestopt en gekeken waar de criteria voor gelden

11. Gevonden criteria zijn

12. Product/proces In verhouding tot leerresultaat Individuele beoordeling mogelijk In verhouding tot geleverde inspanning Billijk Transparant Reproduceerbaar Snel Eenvoudig Voor alle situaties bruikbaar Uitleg Wanneer en waarom concept geldig Gaten en extrapolatie verklaard Leidt tot de eisen aan

13. De afgeleide eisen (criteria) dienen als basis voor • Plan van aanpak (zorgt ervoor dat de eisen gerealiseerd worden) • Review: zijn de eisen compleet/ worden ze gerealiseerd / zijn ze gerealiseerd • Hierna volgt een voorbeeld uitwerking voor de beoordelingssystematiek, die ter review wordt aangeboeden

14. Voorbeeld uitwerking beoordelingssystematiek Proceseisen • Verplicht onderdeel in Plan van Aanpak: uitgewerkte criteria voor proces, product en rolvervulling. • Bij reviews moeten de criteria een centrale rol in de presentatie en de feedback spelen • Alleen als er aan voorwaarden is voldaan kan een review plaats vinden: • Ingediende stukken hebben minimaal een redelijk niveau • Ingediende stukken zijn er op proces, product en rolvervulling

15. Beoordelingsmatrix

16. Product/proces In verhouding tot leerresultaat In verhouding tot geleverde inspanning Billijk (zie rode vakken, extra inspanning levert soms geen extra waardering) Transparant Reproduceerbaar (niet getest!) Snel Eenvoudig Voor alle situaties bruikbaar (niet bruikbaar voor slechte basisdocumenten, is dat erg?) Verdediging Beoordelingsmatrix (spiegeling aan de criteria)

17. Verdere verdediging • Deze beoordeling kan plaatsvinden na Start-Up, Mid-Term en EndTerm review. Op deze wijze zijn er dus 3 cijfer-mogelijkheden, op 3 producten = 9 cijfers mogelijk. • Vakinhoudelijke kwaliteit wordt gecheckt zowel in basisdocument niveau als in verwerking verbeterpunten • Gat: slechte ingangssituatie levert geen cijfer. Is realistisch. • Geen extrapolatie • Indikken van cijfermogelijkheden: • Weglaten van mid-term review als cijfermogelijkheid (max 6) • Weglaten van kennisvraag producten bij startup en midterm (risico aanwezig) (max 7, combinatie max 4 cijfers) • Weging van cijfers tot 1 per review (bijv. 40pv/40cv/20kv)

18. Nog onopgeloste zaken (niet vervulde criteria) • In hoeverre wordt recht gedaan aan individueel functioneren (suggestie: 360 graden feedback voor organiseren) • Hoe telt (het resultaat van) validatie mee in het resultaat? (suggestie: ingangseis) • Bij end-term geen verwerking feedback, is dit reëel?

19. Resultaat van de presentatie • Het voorstel voor de beoordelingssystematiek wordt niet overgenomen. • Dat is logisch, want het voorstel voldeed niet aan ALLE criteria, en was dus geen passende oplossing. Bovendien werden vraagtekens bij de invulling van de criteria consequent en logisch gezet: beoordeling gaat over het eindresultaat en het gehele proces en ieders rolvervulling daarin. De gepresenteerde oplossing is gericht op alle drie de reviewmomenten • Door criteria te gebruiken werd de discussie helder, en konden verbetervoorstellen of alternatieven direct op waarde worden bekeken.

20. Suggesties voor beoordeling (nav discussie) • Bij iedere review (op basis van criteria) kan je als docent/begeleider aangeven dat als zo doorgegaan wordt, het cijfer .. gaat worden (zie ook tweede bullet vorige sheet). • Conclusie: We zijn door gebruik van criteria en de discussie daarover een eind opgeschoten, maar een acceptabele oplossing moet nog worden ontwikkeld (als midterm review was dit dus geslaagd)