Experimentelle und quas i-experimentelle Designs

1. Experimentelle und quasi-experimentelle Designs LV 1975: SE Methoden der empirischen Sozialforschung (WS 2003) Sabine Gisch-Boie Ulrike Steindl Wien, 14.11.2003

2. Inhalt • Überblick: Experimentelle und quasi-experimentelle (Forschungsplanungs-) Designs • Vorexperimentelle Designs • Experimentelle Designs • Von der Verantwortungsdiffusion zur experimentellen Spieltheorie • Quasi-Experimente und Evaluationsforschung

3. Überblick: Experimentelle und quasi-experimentelle Designs • Was wir dazu wissen sollten... • Bestandteil der Forschungsplanung • Bestimmung von Vergleichsgruppen und dem Modus der Aufteilung von Untersuchungspersonen auf die Vergleichsgruppen als „Varianzkontrolle“ • Zuweisung zu Vergleichsgruppen kann „vor“, „zufällig“ oder „nach“ der Datenerhebung erfolgen (3 Klassen der Varianzkontrolle) • Experimentelle Designs • Quasi-experimentelle Designs • Ex-post-facto-Designs • (vorexperimentelle Designs) • Wird häufig zur (Kausal-)Hypothesenüberprüfung verwendet • Reduktion verzerrender Effekte von Drittvariablen

4. Vorexperimentelle Designs: XO • Experimenteller Stimulus X ist gefolgt von der Beobachtung O, ohne Berücksichtigung von Kontroll- oder Vergleichsgruppen, bzw. Angabe zur Versuchs- und Vergleichsgruppe  sind deshalb unvollständig (Designs falscher Vergleichswerte) • Vergleichsmöglichkeit fehlt • Beobachtungen sind nur für eine Kategorie/Spalte der unabhängigen Variablen sinnvoll • Beim XO-Design ist die Varianz der unabhängigen Variable null, beim Design falscher Vergleichswerte ist die Varianz der abhängigen Variable null Es lassen sich keine Zusammenhangshypothesen überprüfen, da es ohne Varianz von Variablen keine Vergleichsmöglichkeit gibt. • XO: • O1XO2: • Vorher-Nachher-Messung: Reifungsprozess zwischen den Bezugspunkten möglich  wenig zuverlässig!

5. Experimentelle Designs (1/3) • 3 Grundbedingungen: • Bildung mindestens zweier experimenteller Gruppen • Versuchspersonen werden den experimentellen Gruppen nach Zufallsverfahren (Randomisierung) zugewiesen • unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert Experimentelles Design: Vorher-Nachher-Messung: Experimentelles Design (m-Kategorien): Vier-Gruppen-Versuchsplan (von Solomon):

6. Experimentelle Designs (2/3): Randomisierung • Randomisierung neutralisiert sämtliche, auch unbekannte Drittvariablen • Mögliche Fehlerquellen der Randomisierung: • Hawthorne-Effekt/Reaktivität ( Blind-/Doppelblindversuche einsetzen) • Subjektive Bewertung des Zuteilungsergebnisses (Verlierer-Gewinner-Problem)  Einschränkung der Fehleranfälligkeit durch Matching, Gruppenmatching, paarweises Matching möglich

7. Experimentelle Designs (3/3): Validität • Bei der Prüfung der Versuchspläne auf Validität wird unterschieden in: • interneValidität:Ausblenden von Störvariablen (Fehlerquellen: Reifung, Selektionsfehler) • externeValidität: Generalisierbarkeit experimenteller Effekte (Fehlerquellen: Interaktionseffekte, Wechselwirkungen

8. Experiment zur Diffusion von Verantwortung • Hypothese:Je größer die Zahl der Zuschauer in einer • Hilfeleistungssituation, desto geringer ist die individuelle • Wahrscheinlichkeit, dass eine bestimmte Person Hilfe leistet. • Resultat:

9. Quasi-Experimente • Experimente ohne Randomisierung • Bei Untersuchung von Effekten von rechtlicher, wirtschaftlicher oder sozialer Maßnahmen • Zentrales Problem: eventuelle Drittvariableneffekte • Versuchsanordnung mit nicht gleichartiger Kontrollgruppe und Zeitreihen Experimente

10. Versuchsanordnung mit nicht gleichartiger Kontrollgruppe (1/2) • Vorher-Nachher-Messung ohne Zufallsaufteilung: • O1 X O2 Maßnahmengruppe • O3 O4 Kontrollgruppe • (Wichtig: Vorher-Messung!)

11. Versuchsanordnung mit nicht gleichartiger Kontrollgruppe (2/2): Probleme und Maßnahmen • Nicht-Vergleichbarkeit der Gruppen • Systematischer Ausfall von Probanden • Gruppen-Matching od. paarweises Matching • Nachträgliche Kontrolle von Drittvariablen mit mulitvariaten statistischen Verfahren • Verzerrung durch Drittvariable • Wartegruppe • Bei Verdacht explizit messen • Regressionseffekte (=statistische Tendenz zur Mitte) • Zeitreihen-Designs

12. Zeitreihen Experimente (1/2) • Design einer Zeitreihe • O1O2O3 O4XO5O6O7O8 • Vorher Trends Nachher Trends • (evt. Problem: Einfluss von anderen Faktoren als X) • Design mehrfacher Zeitreihen • O1O2O3XO4O5 • O6O7O8O9O10

13. Zeitreihen Experimente (2/2) • Beispiel: Schwarzfahrer in Hamburg und Bremen in %

14. Mögliche Fehlerquellen der Evaluationsforschung • Versuchsanordnung • Drittvariable, Regressionseffekte, Reifung etc. • Erfolgsmessung • Festlegung der Erfolgskriterien und deren Messung • Berücksichtigung eventueller Nebenwirkungen • Bewertung der Wirkungen/Nebenwirkungen einer Maßnahme (Kosten-Nutzen-Analyse) • Divergierende Interessen • Zeitrahmen