160 likes | 546 Views
Effectiviteit in praktijkgericht onderzoek Op zoek naar alternatieven voor het RCT Louis Tavecchio Praktijkgerichte onderzoeker; quo vadis ?. Piet J.M. Verschuren Em. Hoogleraar Methodologie Radboud Universiteit Nijmegen Wageningen University and Research Centre *** Symposium
E N D
Effectiviteit in praktijkgericht onderzoek Op zoek naar alternatieven voor het RCTLouis TavecchioPraktijkgerichte onderzoeker; quovadis? Piet J.M. Verschuren Em. Hoogleraar Methodologie Radboud Universiteit Nijmegen Wageningen University and Research Centre *** Symposium ‘Praktijkonderzoek in discussie, een pas op de plaats’ Amsterdam 23 mei 2014
Randomizedcontrolled trial (RCT)weinig extern valide Twee redenen: (a) Weinig naturalistisch (kunstmatig, steriel) (b) Niet gebaseerd op ruime toevalssteekproef (pm. Random toedeling is kwestie van interne validiteit) Tweeledig probleem: (1) inzichten niet in een praktijksituatie toepasbaar (zie a) (2) algemeen geldend handelingsprotocol of praktijktheorie onmogelijk (zie a en b)
Randomizedcontrolled trial (RCT)weinig extern valide Twee redenen: (a) Weinig naturalistisch (kunstmatig, steriel) (b) Niet gebaseerd op ruime toevalssteekproef (pm. Random toedeling is kwestie van interne validiteit) Tweeledig probleem: (1) inzichten niet in een praktijksituatie toepasbaar (zie a) (2) algemeen geldend handelingsprotocol of praktijktheorie onmogelijk (zie a en b)
Randomizedcontrolled trial (RCT)weinig extern valide Twee redenen: (a) Weinig naturalistisch (kunstmatig, steriel) (b) Niet gebaseerd op ruime toevalssteekproef (pm. Random toedeling is kwestie van interne validiteit) Tweeledig probleem: (1) inzichten niet in een praktijksituatie toepasbaar (zie a) (2) algemeen geldend handelingsprotocol of praktijktheorie onmogelijk (zie a en b)
Impliciete aannamen Van primair belang voor bruikbare kennis zijn: • Effectevaluatie efficacy of effectiviteit van interventies en professionele handelingspraktijken • Externe validiteit generalisering tot algemene richtlijnen, handelingsprotocollen, praktijktheorie
Maar zijn die aannamen zinvol? a Effectevaluatie is sluitstuk en negeert cruciale eerdere fasen van de interventiecyclus b Externe validiteit is geen core business van praktijkgerichte onderzoeker Nadruk op effectevaluatie en externe validiteit zijn uitsluitend gerechtvaardigd onder voorwaarde van: • óf adequate probleemanalyse, diagnose, oplossingsvoorwaarden en interventieplan • óf relatief eenvoudige problemen en geroutiniseerde en/of routiniseerbare handelingspraktijken Zie voorts Verschuren 2008
Interventiecyclus • Probleemdefinitie (probleemanalyse) • Diagnose (oorzaken, achtergronden) • Oplossingsvoorwaarden • Interventieplan (ontwerp) • Uitvoering (monitoring) • Evaluatie (effectiviteitscontrole) Zie voorts Verschuren 2008
Verreweg grootste probleem in praktijkgericht onderzoek oplossing gevonden, probleem onbekend
Primaat van effectiviteitsonderzoekvloeit voort uit EBP? ‘In de praktijk wordt EBP vaak verengd tot het gebruik van de resultaten van effectiviteitonderzoek en kosteneffectiviteitanalyses … bij de selectie van interventies’ (Tavecchio 2014: p. 1)
Soorten kennis en onderzoekdoeleneen typologie type I en III theoriegericht onderzoek type II en IV praktijkgericht onderzoek * Generalistisch (type IV) praktijktheorieën, handelingsprotocollen, best practices, evidencebasedpractices (EBP) type kennis verklarend prescriptief causaal probleem- idiografisch inzicht I II oplossing nomothetisch causale III IV prescriptieve theorie theorie * Figuur 1. Typologie met vier typen kennis (Verschuren 2012)
Verklaring versus prescriptie Causale verklaring: X Y Het bestaan, de hoedanigheid of de mate van Y wordt verklaard door het bestaan, de hoedanigheid of de mate van X Prescriptie: Als je Y wilt bereiken, dan is (het aanpakken van) X een optie
Overconcentratie op type IV beperkingen en nadelen • Beperkte betekenis voor onderzoek in maatschappij-, beleids- en management- disciplines ( complexe problemen, relatief weinig routinematig handelen) • Overconcentratie leidt tot veronachtzaming en verwaarlozing van: (a) probleemanalyse, diagnose, interventieplan ( interventiecyclus) (b) probleemoplossend onderzoek ( type II: idiografisch) • Afgestudeerden van het hbo worden niet geëquipeerd voor complexe problemen, noch voor normaal probleemoplossend praktijkgericht onderzoek (type II) * 4. HBO-instellingen missen synergie van onderwijs en onderzoek ** • Mist aansluiting bij methodologische literatuur: Vennix, 1996; Smid & Rouwette, 2011; Rouwette, 2003; Geurts e.a., 2009; Verschuren 2008, 2009, 2013, + literatuur over o.a. experimenteren en generaliseren (o.a. Smaling en Jansen in KWALON) * zie Verschuren 2011b en 2012 ** zie Verschuren 2012
Conclusies en aanbevelingen(+ verwijzingen voor verdere argumentatie, uitleg en detail) 1 Minder nadruk op EBP, op het daaraan gerelateerde RCT (inclusief alternatieven) en op type IV onderzoek (Verschuren 2009 en 2012) 2 Meer nadruk op de interventiecyclus en – methodologie, en vooral op probleemanalyse (Verschuren 2008 en 2009) 3 Meer nadruk op probleemoplossend praktijkgericht onderzoek (type II) (zie Verschuren 2009, 2011a en b, 2012, 2013) 4 Generalisering niet in een onderzoek nastreven, maar over de resultaten van onderzoeken heen, en dit overlaten aan specialisten (Verschuren 2011a) 5 Kennis nemen van methodologie van alternatieven voor RCT ( veldexperiment, exploratief experiment, vergelijkende case study; o.a.Verschuren 2009)
Voor verdere argumentatie, uitleg en bijzonderhedenzie Verschuren, P. (2008). Probleemanalyse in organisatie- en beleidsonderzoek. Boom Academic, Amsterdam Verschuren, P. (2009). Praktijkgericht onderzoek. Ontwerp van organisatie- en beleidsonderzoek. Boom Academic, Amsterdam Verschuren, P. (2011a). Why a methodologyforpractice-oriented research is a necessaryheresy. Eleven International Publishing, The Hague Verschuren, P. (2011b). Onderzoek in het hbo-onderwijs: voldoende doordacht, wetenschappelijk, verantwoord? TvHO, 29, 3: 133-148 Verschuren, P. (2012). Praktijkgericht onderzoek door hbo-instellingen: diversiteit, wetenschappelijkheid en complexiteit. TvHO, 30, 2: 93-112 Verschuren, P. (2013). Methodenonderwijs in de menswetenschappen aan Nederlandse universiteiten: van deficiënties naar een verbeterde opzet. TvHO, 31, 3: 123-138