1 / 40

NVMO 27 maart2013

NVMO 27 maart2013. NVMO Workshop OvO 27 maart 2013 Quasi-experimental study design and get the grant. NVMO 27 maart2013. Korte schets van quasi-experimentele designs en de achtergronden ervan 27 maart 2013 Eugène Custers UMC Utrecht, dOO, Expertisecentrum voor Onderwijs en Opleiding

maxine-mckay
Download Presentation

NVMO 27 maart2013

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. NVMO 27 maart2013 NVMO Workshop OvO 27 maart 2013 Quasi-experimental study design and get the grant

  2. NVMO 27 maart2013 Korte schets van quasi-experimentele designs en de achtergronden ervan 27 maart 2013 Eugène Custers UMC Utrecht, dOO, Expertisecentrum voor Onderwijs en Opleiding Lid van het WECO van de NVMO ecusters@umcutrecht.nl

  3. NVMO 27 maart2013 Quasi-experimentele designs Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Chicago: Rand McNelly & Company. Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Belmont, CA: Wadsworth Publishing.

  4. NVMO 27 maart 2013 Zes ‘modes of inquiry’ (cf. Hammond, 1978, 1983, 1996)

  5. NVMO 27 maart2013 Kernprobleem bij het opzetten van onderzoek en beoordelen van onderzoeksuitkomsten: Hoe valide zijn (zullen) mijn resultaten (zijn)?

  6. NVMO 27 maart2013 Typologie van validiteit van experimentele bevindingen [1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst)

  7. NVMO 27 maart2013 Typologie van validiteit van experimentele bevindingen [1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst) [2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”)

  8. NVMO 27 maart2013 Typologie van validiteit van experimentele bevindingen [1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst) [2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”) [3] Construct validiteit (operationaliseren van complexe of slecht gedefinieerde concepten)

  9. NVMO 27 maart2013 Typologie van validiteit van experimentele bevindingen [1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst) [2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”) [3] Construct validiteit (operationaliseren van complexe of slecht gedefinieerde concepten) [4] Statistische validiteit van de uitkomst (toevalsbevinding, onder- of overschatting van effect)

  10. NVMO 27 maart2013 Interne validiteit van experiment: Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt?

  11. NVMO 27 maart2013 Interne validiteit van experiment: Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt? Voorbeelden van alternatieve verklaringen: [a] selectie bias, [b] gebeurtenissen die tegelijk met de treatment optreden, [c] ontwikkeling (maturation), [d] uitval van deelnemers, [e] effect van (herhaalde) metingen

  12. NVMO 27 maart2013 Interne validiteit van experiment: Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt? Voorbeelden van alternatieve verklaringen: [a] selectie bias, [b] gebeurtenissen die tegelijk met de treatment optreden, [c] ontwikkeling (maturation), [d] uitval van deelnemers, [e] effect van (herhaalde) metingen Doel: Sluit alternatieve verklaringen uit

  13. NVMO 27 maart2013 Borging van interne validiteit: Meest effectieve maatregel: gebruik van controlegroep (comparison group) + randomisering = RCT (gerandomiseerd experiment)

  14. NVMO 27 maart2013 Borging van interne validiteit: Meest effectieve maatregel: gebruik van controlegroep (comparison group) + randomisering = RCT (gerandomiseerd experiment) Maar: dit is niet altijd mogelijk of wenselijk  alternatieve oplossingen zijn nodig: quasi-experimenten

  15. NVMO 27 maart2013 Quasi-experimental designs: Minimale voorwaarden [1] Er is sprake van een discrete interventie (of treatment)

  16. NVMO 27 maart2013 Quasi-experimental designs: Minimale voorwaarden [1] Er is sprake van een discrete interventie (of treatment) [2] Er is sprake van een uitkomstmaat

  17. NVMO 27 maart2013 Quasi-experimental designs: Minimale voorwaarden [1] Er is sprake van een discrete interventie (of treatment) [2] Er is sprake van een uitkomstmaat [3] De interventie gaat in de tijd vooraf aan de uitkomst

  18. NVMO 27 maart2013 Belangrijkste principes van quasi-experimenten: [1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit;

  19. NVMO 27 maart2013 Belangrijkste principes van quasi-experimenten: [1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit; [2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign

  20. NVMO 27 maart2013 Belangrijkste principes van quasi-experimenten: [1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit; [2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign dus niet primair door statistische procedures

  21. NVMO 27 maart2013 Belangrijkste principes van quasi-experimenten: [1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit; [2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign dus niet primair door statistische procedures (dus niet: uitsluiten van alternatieve verklaringen door complexe en/of heel precieze hypothesen)

  22. NVMO 27 maart2013 Belangrijkste design-kenmerken van quasi-experimental designs om interne validiteit te borgen: [a] pretests (een of meer) [b] controlegroepen (een of meer)

  23. NVMO 27 maart2013 Enkele voorbeelden van quasi-experimental designs

  24. NVMO 27 maart2013 Eenvoudigste design (geen pretest, geen controlegroep) One-group posttest-only design: X  O1 (in 1963 nog: “One shot case study”)

  25. NVMO 27 maart2013 Iets verfijnder design (geen pretest, geen controlegroep) One-group posttest-only design with multiple substantive posttests: X  [O1A O1B O1C … O1N] (bv. opsporen van de bron van een epidemie)

  26. NVMO 27 maart2013 Designs met pretest, maar zonder controlegroep One-group pretest-posttest design: O1  X  O2 (kan zowel within-subjects als between-subjects)

  27. NVMO 27 maart2013 Designs met pretest, maar zonder controlegroep One-group pretest-posttest design with double pretest: O1  _  O2  X  O3 (meer dan twee pretests zijn mogelijk)

  28. NVMO 27 maart2013 Designs met pretest, maar zonder controlegroep One-group pretest-posttest design using a nonequivalent dependent variable: [O1A O1B]  X  [O2A O2B] (van ‘B’ is bekend dat hij gevoelig is voor alternatieve hypothesen)

  29. NVMO 27 maart2013 Designs met controlegroep, maar zonder pretest Posttest-only design with nonequivalent groups: NR  X  O1 -------------------------------------- NR  _  O2 (in 1963 nog: “Static group comparison”)

  30. NVMO 27 maart2013 Designs met controlegroep, maar zonder pretest Posttest-only design with nonequivalent groups but independent pretest samples: NR  O1 NR  X  O2 --------------------------- -------------------------------------- NR  O1  NR  _  O2

  31. NVMO 27 maart2013 Designs met controlegroep, maar zonder pretest Posttest-only design using proxy pretests: NR  OA1  X  OB2 ---------------------------------------------------------- NR  OA1 _  OB2 (basis voor matching en stratifying)

  32. NVMO 27 maart2013 Designs met controlegroep en (dependent) pretest Control group design with pretest and posttest samples NR  O1  X  O2 ----------------------------------------------------- NR O1 _  O2 (a.k.a. nonequivalent comparison group design)

  33. NVMO 27 maart2013 Designs met controlegroep en (independent) pretest Cohort control group design NR  O1 ------------------------------------------------------ NR  _  X  O2 (vergelijken van jaargroepen in onderwijssituaties)

  34. NVMO 27 maart2013 Designs met controlegroep en (dependent) pretest Cohort control group design met multiple pretests NR  O1  O2 ----------------------------------------------------------------------------------- NR __  __  O3  X  O4 (voordeel: vergelijkbare groepen, nadeel: history)

  35. NVMO 27 maart2013 Hoe kies ik het meest geschikte design? Geen “recept”, maar: case building

  36. NVMO 27 maart2013 Hoe kies ik het meest geschikte design? Geen “recept”, maar: case building Formuleer de belangrijkste potentiële bedreigingen van de interne validiteit van je onderzoek

  37. NVMO 27 maart2013 Hoe kies ik het meest geschikte design? Geen “recept”, maar: case building Formuleer de belangrijkste potentiële bedreigingen van de interne validiteit van je onderzoek Kies dan design features (pretests, controlegroep, etc.)

  38. NVMO 27 maart2013 Hoe kies ik het meest geschikte design? Geen “recept”, maar: case building Formuleer de belangrijkste potentiële bedreigingen van de interne validiteit van je onderzoek Kies dan design features (pretests, controlegroep, etc.) Probeer voorbeelden uit de literatuur te vinden

  39. NVMO 27 maart2013 Hoe kies ik het meest geschikte design? Geen “recept”, maar: case building Formuleer de belangrijkste potentiële bedreigingen van de interne validiteit van je onderzoek Kies dan design features (pretests, controlegroep, etc.) Probeer voorbeelden uit de literatuur te vinden Kies pas in laatste instantie de eventuele statistische controls

  40. NVMO 27 maart2013 A cautionary note: Zelfs een volgens de regels van de kunst opgezet en uitgevoerd (quasi-)experiment vertelt je alleen dat de interventie het resultaat heeft veroorzaakt, maar niet waarom dat het geval is (bv. placebo effect)

More Related