Joost Meijer Kohnstamm Instituut Universiteit van Amsterdam

1. Waarom “wat werkt” niet (altijd) werkt, zeker niet in het onderwijs(gedeeltelijk gebaseerd op Biesta, 2007) Joost Meijer Kohnstamm Instituut Universiteit van Amsterdam

2. Why “what works” won’t work (Gert Biesta, Educational Theory, 2007) • “Effectiviteit” is afhankelijk van hetgeen men in het onderwijs wenselijk vindt. • Waarvoor of voor wie is een interventie effectief en wie bepaalt dat? • Bij effectieve interventies is er een zekere relatie tussen de interventie (als oorzaak) en de resultaten (als gevolgen).

3. Maar de vraag blijft: effectief voor wat? Zonder het gewenste effect te definiëren, is het gebruik van de term “effectieve interventie” zinledig. • In het onderwijs gaat het er niet alleen om wat er mogelijk is, maar vooral wat er wenselijk is. Er is altijd de vraag of bepaalde interventies wenselijk zijn.

4. Evidence-based practice brengt een technologisch model van professioneel handelen met zich mee. Onderwijs is echter geen proces van fysieke interactie, maar bestaat uit symbolisch gemedieerde interactie. • Onderwijs is meer een morele praktijk dan een technologische onderneming. • Evidence based education ontneemt mensen in de praktijk van het onderwijs de mogelijkheid om niet in overeenstemming met evidence te handelen, als ze de beoogde doelen van de interventie niet wenselijk vinden.

5. John Dewey: “evidence” verschaft ons geen regels hoe te handelen, maar slechts hypothesen voor het op intelligente wijze oplossen van problemen. • Met andere woorden: onderzoek laat slechts zien wat er gewerkt heeft, niet wat er werkt.

6. Cultuur en techniek • Onderzoek heeft zowel een technische als een culturele rol. • De technische rol bestaat uit middelen, strategieën en technieken om bepaalde doelen te bereiken. • De culturele rol verwijst naar het verschaffen van alternatieve wijzen om de sociale werkelijkheid te begrijpen en voor te stellen.

7. Onderwijs en democratie • In een democratische samenleving vervult onderzoek echter zowel een culturele als een technische rol. • Als er aan doelstellingen van het onderwijs niet langer getwijfeld kan worden, kan onderzoek alleen nog maar haar technische rol vervullen. • In die zin zijn de eenzijdige technologische verwachtingen over evidence-based practice zorgelijk (De Vries, 1990).

8. De “What Works Clearinghouse” (WWC) • Amerikaans ministerie van onderwijs. • Selectie van interventies voor Middle School Mathematics; grades 6 to 9 (11 tot 14 jaar, grofweg Junior High School). • Voorwaarde: computerondersteuning maakt belangrijk deel uit van de interventie.

9. Interventie Beschrijving Effecten Index University Computer Algebra Geen -6% Of Chicago System Math Algebra Grafische rekenmachine Accelerated Individuele Geen +4% Math opdrachten (-3% +7%) Cognitive Tutor AI leerling-model Potentieel +15% Algebra positief Destination Sequentiële stap- Geen of onvergelijkbare Math voor-stap instructie controlegroep I CAN learn Self-paced mastery Positief +5% (pre)algebra (-7 +16%)

10. Interventie Beschrijving Effecten Index Math in Realistische Interventie gecontamineerd Context wiskunde Onvergelijkbare controlegroep Wiskundeprestaties geen afhankelijke variabele Odyssey math Individuele instructie Effecten niet per se gevolg van en toetsing; rapporten interventie; geen controlegroep; voor leraren steekproef ongeschikt The expert Logo programmeren Potentieel +14% Mathematician positief

11. Een verbetering van circa 15% ten opzichte van het gemiddelde (het sterkste effect in de database over wiskundeprogramma’s) komt overeen met een gestandaardiseerde effectgrootte d van ongeveer 0.40. Bij d=0.2 spreekt men van een klein effect (circa 8%); bij d=0.5 van een medium effect (circa 19%). 0 0.38

12. Is een gerandomiseerd experimenteel design terecht de standaard voor het vergaren van kennis over onderwijs? Een experiment met aselecte toewijzing is geschikt voor het evalueren van het effect van een interventie. Voorbeeld van kennis verwerven door observatie is het inzicht krijgen in denkprocessen door het interpreteren van hardopdenk-protocollen.

13. Kennis uit observatie: Minnie Mouse (Renee Baillargeon)

14. Bron: NRC Handelsblad, 1 juli 2000

15. Let wel: het opklappen van het scherm is ook een interventie. • De observatie van het effect: de reactie van de baby. • Er is echter geen sprake van aselecte toewijzing. • Er is sprake van hypothesetoetsing, maar niet van toetsing van de effectiviteit van de interventie; uitsluitend het gevolg ervan. • Bij evidence based practice gaat het om utiliteitsdenken.

16. Deze experimenten van Baillargeon zijn niet gericht op het versnellen van de cognitieve ontwikkeling van kinderen, maar op het begrijpen van deze ontwikkeling. • Er zouden eventueel programma’s ter stimulatie van de cognitieve ontwikkeling op kunnen worden gebaseerd. • Maar dat vereist nog wel enig extra denkwerk.

17. Formuleren theorie Kennis opdoen door exploratie, systematische observatie Formuleren hypothesen door afleiding uit theorie en exploraties of observaties Toetsen, eventueel in randomized control trials Eventueel bijstellen of verwerpen theorie Er is niets nieuws onder de zon. Dit is de empirische cyclus (A.D. de Groot)