Deel 3

1. Deel 3 Experimenteel en quasi-experimenteel onderzoek Chapter 16. Experimental and Quasi-Experimental Research

2. Vaststellen van oorzaak-gevolg relaties door manipulatie van OV en effect op AV • Meestal eerst correlationeel onderzoek dan experiment om oorzaak-gevolg vast te stellen

3. OORZAAK-GEVOLG • Goed theoretisch kader • Passende subjecten • Passend experimenteel onderzoeksopzet • Correcte statistiek • Juiste selectie en contrôle van OV • Juiste selectie en meting van AV • Correcte interpretatie van resultaten

4. 1. Bedreigingen voor validiteit • Interne validiteit : experiment zelf valide • Externe validiteit : generaliseerbaarheid •  Interne validiteit   Externe validiteit alles onder contrôle  ver weg van realiteit

5. KEUZE maken : wat is belangrijkst : interne of externe validiteit ??? • Procedure : • Eerst veel contrôle : hoge interne validiteit ten koste van externe • Indien effect : dan meer experimenten met hogere externe validiteit eventueel ten koste van de interne validiteit

6. 2. Negen bedreigingen voor interne validiteit • Indien met deze bedreigingen geen rekening gehouden wordt, en ze niet gecontroleerd worden, is het moeilijk om veranderingen in AV toe te schrijven aan OV

7. 2.1.History • Iets dat zich tijdens het experiment voordoet, niet bedoeld was, en een bedreiging vormt voor interne validiteit • Bv. Tijdens een interventie (bv. 2 soorten instructies) krijgt de helft van de groep ook nog ‘toevallig’ extra lessen

8. 2.2. Maturatie • Voor onderzoek dat loopt over langere tijd • Rijpingeffect is concurrent van interventie-effect • Vooral bij kinderen en adolescenten

9. 2.3. Testeffect • Als een test 2 of meer keer wordt afgenomen • Subjecten ‘leren’ van invullen van de test alleen • Zowel voor kennis als attitude als presteren

10. 2.4. Instrument • Na een tijd gaan instrumenten minder precies meten • Observatoren gaan na een tijd anders coderen

11. 2.5. Statistische regressie • Groepen die geselecteerd zijn op basis van extreme scores • Laag actief – hoog actief • Laag angst – hoog angst zullen bij een volgende afname minder extreem scoren = regressie naar midden

12. 2.6. Selectie bias • Groep dat meedoet aan het experiment is op voorhand reeds geselecteerd • Bv. Gebruik van vrijwilligers • Bv. Subjecten niet representatief voor de populatie

13. 2.7. Uitval van subjecten • Uitval van controlegroep : geen actie niet meer meedoen • Uitval uit experimentele groep : te moeilijk, te lastig, te tijdsintensief, ….

14. 2.8. Selectie-maturatie interactie • Indien twee groepen meedoen waarbij 1 groep experimentele en 1 groep controlegroep kunnen maturatieverschillen in beide groepen resultaten vertekenen

15. 2.9. Verwachting • Indien men weet wie in welke conditie zit : effect op scoring, codering, omgang • = Self-fulfilling prophecy

16. 3. Vier bedreigingen van externe validiteit3.1. Testeffect • Op voorhand testen van subjecten kan hen meer gevoelig maken voor participatie • Zelfde programma slaat minder aan bij populatie die niet gepretest is

17. 3.2. Interactie tussen selectie bias en experimentele manipulatie • Een interventie kan wel werkzaam zijn in een specifieke populatie (bv. Jongeren) maar niet werkzaam in een andere

18. 3.3. Reactiviteit door experimentele manipulatie • Subjecten gaan enkel zo reageren in experimentele situatie maar niet in het werkelijke leven • Hawthorne effect : gedrag van subjecten verandert als men er aandacht aan besteedt

19. 3.4. Multiple interventies • Als subjecten doorheen verschillende interventies gaan kunnen deze allen een aditioneel effect hebben • Geen conclusies trekken over 1 manipulatie als er meerdere zijn gebeurd

20. 4. Contrôle van bedreigingen van interne validiteit • Trachten om bedreigingen zoveel mogelijk op te vangen zodat de kans groter wordt dat manipulatie van OV werkelijk effect in AV verklaart

21. 4.1. Randomisatie • Geen verschillen tussen groepen bij het begin van experiment • Is antwoord op history effecten VOOR begin van experiment, niet TIJDENS experiment • Antwoord op maturatie, statistische regressie, selectie bias, selectie-maturatie interactie

22. Techniek van gematchte paren : eerst groepen testen op bepaalde karakteristiek en dan indelen zodat de twee groepen ongeveer gelijk zijn : dit is GEEN GOEDE techniek : verborgen variabelen !! • Within-subjects designs : subjecten zijn hun eigen controles : beide condities doen : volgorde counterbalanceren en random toewijzen aan volgorde

23. 4.2. Placebo, blind en dubbel blind • Placebo : echt of psychologisch effect ? • Zelfde aandacht en interactie met onderzoeker • Blinde studie : subjecten weten niet of ze experimentele of controleconditie zijn • Dubbel blind : noch subjecten noch tester weten in welke conditie subjecten zitten

24. Deze technieken zijn een antwoord op controleren van • Hawthorne-effecten, • verwachtingseffecten, • halo effecten of • Avis-effect (subjecten in de controlegroep doen harder hun best omdat ze weten dat ze in de controlegroep zitten)

25. 4.3. Niet gecontroleerd … • Door randomisatie en blind onderzoeken kunnen veel bedreigingen beantwoord worden maar : • Testeffect niet, wel door soort design (later) • Instrument : validiteit en betrouwbaarheid vaststellen • Uitval van subjecten : aangenaam maken, goed uitleggen, beloning, …

26. 5. Contrôle van bedreigingen van externe validiteit • Ook hier random selectie zeer belangrijk • Ecologische validiteit ? • Heeft de experimentele situatie voldoende kenmerken van « real life ? » • Kan het experiment ook in veldsetting worden uitgevoerd ?

27. 6. Soorten onderzoeksopzettenPRE-EXPERIMENTELEdesigns • Weinig contrôle van interne validiteit • Geen randomisering van subjecten

28. 6.1. One-shot studie • T O • Interventie en daarna meting naar effect • Geen oorzaak – gevolg • Zeer zwak design

29. 6.2. Eén groep Pre-test Post-test • O1 T O2 • Zwak design • Toch al verandering kunnen meten • Niet zeker of alleen de interventie verantwoordelijk is voor het effect • History effecten of rijping

30. 6.3. Statische groep vergelijking • T O1 …………………… O2 • Vergelijking van twee groepen • Groepen niet gerandomiseerd, wel bestaand • Selectie effect en selectie-maturatie effect

31. BESLUIT • Deze drie pre-experimentale design laten geen conclusie toe over verandering in AV te wijten aan verandering in OV • Meestal zuiver TIJDVERLIES

32. ECHTE EXPERIMENTELEdesigns • Random toewijzing van de groepen • Ervoor zorgen dat • tijdens het experiment geen (onverwachte) interventie gebeurt voor 1 van beide groepen • er geen instrument problemen zijn • er geen differentiële uitval is (experimentele mortaliteit)

33. 6.4. Gerandomiseerd groepdesign • R T O1 R O2 • Is vergelijkbaar met statische groeps-vergelijking maar hier wel random • Indien andere bedreigingen van interne validiteit voldoende gecontroleerd worden : oorzaak –gevolg is mogleijk

34. R T1 O1 R T2 O2 R O3 • Twee soorten behandelingen worden met elkaar vergeleken • Via ANOVA drie observaties contrasteren

35. R A1 B 1 O1 R A1 B 2 O2 R A2 B 1 O3 R A2 B 2 O4 R A3 B 1 O5 R A3 B 2 O6 • 3 x 2 factorieel opzet waarbij er 2 OV zijn A met 3 niveau’s en B met 2 niveau’s

36. B 1 2 1 2 3 A

37. Random toewijzing aan de zes cellen • Analyses met two-way ANOVA • Hoofdeffect van A • Hoofdeffect van B • Interactie-effect A*B • Kan nog verder complexer gemaakt worden

38. 6.5. Pre-test Post-test gerandomiseerd groepsdesign • R O1 T O2 R O3 O4 • Is er meer verandering in de experimentele groep in vergelijking tot de controlegroep • Testeffect wordt gecontroleerd

39. Statistische verwerking : • Met anova voor herhaalde metingen (repeated measures) • Met anova uitgezuiverd voor pre-test scores • Met anova op verschilscores

40. 6.6. Solomon Four groepsdesign • R O1 T O2 R O3 O4 R T O5 R O6 • Enig opzet waar testeffecten kunnen uitgesloten worden

41. Meest sterke design dat de meeste bedreigingen voor validiteit controleert • Maar zeer veel subjecten nodig : dubbel zoveel enkel om testeffect te bekijken : wordt dan ook zelden gebruikt

42. QUASI-EXPERIMENTELEdesigns • Als externe of ecologische validiteit wil verhoogd worden is strenge contrôle soms moeilijk of onmogelijk • Quasi-experimenteel : om experimenten in « real world » settings te kunnen uitvoeren

43. 6.7. Time series design • Tijdreeksen analyse • O1 O2 O3 O4 TO5 O6 O7 O8 • Slechts 1 groep • Toont dat invoegen van interventie een ander effect heeft dan geen interventie

44. Treatment • Effect van behandeling

45. 6.8. Reversal design • O1 O2 T1 O3 O4 T2 O5 O6 • Opnieuw bekijken op grafiek T2 T1

46. 6.9. Non-equivalent contrôle groep design • O1 T O2 …………………………….. O3 O4 • Equivalent met pre-test post-test gerandomiseerd groepsdesign, maar niet gerandomiseerd • Dan kijken naar pre-test verschillen en hiervoor controleren

47. 6.10. Ex post facto design • Vergelijking tussen twee groepen waarvan we weten dat ze op bepaalde karakterisitieken verschillend zijn • Fit –niet fit • Atleten – niet-atleten • Vrouwelijke sporters – mannelijke sporters • Welke variabelen discrimineren tussen deze groepen