Omgang met kwaliteitscriteria en beoordelen

1. Omgang met kwaliteitscriteria en beoordelen Cop 4 Verbinden van Onderwijs en Onderzoek

2. Agenda • Presentatie van een oplossing voor het omgaan met kwaliteitscriteria en beoordelen bij ontwerpprojecten • Review in groepen docenten + studenten / alternatief mag • Feedback van de groepen • Wrap-up: weging feedback en eventueel keuze van alternatief.

3. Omgang met criteria • Algemene criteria (zie handleiding) • Afleiden naar bruikbare criteria

4. (gestyleerd) Voorbeeld beoordelingssystematiek Generieke criteria: • Resultaat • Adequaat • Valide • Resultaat als proces • Controleerbaar • Vakkundig • Betrouwbaar • Logisch

5. Uitwerking criteria beoordelingssystematiek • Adequaat: • Is een echte oplossing • Past in de probleemcontext • Toelaatbaar en duurzaam • Valide • Acceptabel • Conceptueel onderbouwd • Verklaard • Generaliseringen aannemelijk

6. Uitwerking -2 • Controleerbaar: • Compleet • Transparant • Achteraf te volgen • Vakkundig • Efficient • Toelaatbaar • Betrouwbaar • Niet afhankelijk van toevalligheden • Tijdstip • Of plaats • Logisch • Redenering is logisch • Recht-toe Recht-aan

7. Uitwerking -3

8. Uitwerking -4

9. Uitwerking -5

10. Product/proces In verhouding tot leerresultaat Individuele beoordeling mogelijk In verhouding tot geleverde inspanning Billijk Transparant Reproduceerbaar Snel Eenvoudig Voor alle situaties bruikbaar Uitleg Wanneer en waarom concept geldig Gaten en extrapolatie verklaard Leidt tot de criteria

11. Ons voorstel (ter review) Proceseisen • Verplicht onderdeel in Plan van Aanpak: uitgewerkte criteria voor proces, product en rolvervulling. • Bij reviews moeten de criteria een centrale rol in de presentatie en de feedback spelen • Alleen als er aan voorwaarden is voldaan kan een review plaats vinden: • Ingediende stukken hebben minimaal een redelijk niveau • Ingediende stukken zijn er op proces, product en rolvervulling

12. Beoordelingsmatrix

13. Product/proces In verhouding tot leerresultaat In verhouding tot geleverde inspanning Billijk (zie rode vakken, extra inspanning levert soms geen extra waardering) Transparant Reproduceerbaar (niet getest!) Snel Eenvoudig Voor alle situaties bruikbaar (niet bruikbaar voor slechte basisdocumenten, is dat erg?) Verdediging Beoordelingsmatrix

14. Verdere verdediging • Deze beoordeling kan plaatsvinden na Start-Up, Mid-Term en EndTerm review. Op deze wijze zijn er dus 3 cijfer-mogelijkheden, op 3 producten = 9 cijfers mogelijk. • Vakinhoudelijke kwaliteit wordt gechecked zowel in basisdocument niveau als in verwerking verbeterpunten • Gat: slechte ingangssituatie levert geen cijfer. Is realistisch. • Geen extrapolatie • Indikken van cijfermogelijkheden: • Weglaten van mid-term review als cijfermogelijkheid (max 6) • Weglaten van kennisvraag producten bij startup en midterm (risico aanwezig) (max 7, combinatie max 4 cijfers) • Weging van cijfers tot 1 per review (bijv. 40pv/40cv/20kv)

15. Nog onopgeloste zaken • In hoeverre wordt recht gedaan aan individueel functioneren (suggestie: 360 graden feedback voor organiseren) • Hoe telt (het resultaat van) validatie mee in het resultaat? (suggestie: ingangseis) • Bij end-term geen verwerking feedback, is dit reëel?

16. Review • In twee (drie) groepen: • Welke verbeteringen zijn er nodig/mogelijk • Zijn er alternatieven die op dezelfde manier aan de criteria voldoen • Eventueel: zijn de criteria wel compleet?

17. Terugkoppeling en discussie