Anforderungen und Probleme beim Versuchsaufbau

1. Anforderungen und Probleme beim Versuchsaufbau

2. Anforderungen an Versuchsaufbau • Zielgeführtes Sammeln der Daten zum Beantworten der Forschungsfrage. • Kontrolle der Störvariablen. Ist der Effekt auf die unabhängige Variable zurück-zuführen ? (interne Gültigkeit) • Ergebnis muss auf andere Individuen oder Gruppen generalisierbar sein. (externe Gültigkeit)

3. Gefahren für interne Gültigkeit • Historie • Reifung • Instrumentierung • Selektion • Sterblichkeit • Subjekt-Effekt • Experimentator-Effekt • Reihenfolge-Effekt

4. Historie • Zwischen Vor- und Nachtest können Ereignisse die Messung im Nachtest beeinflussen (rivalisierende Hypothese) Zeitspanne Vortest Nachtest

5. Historie (Forts.) • Je länger die Zeitspanne, desto wahrscheinlicher hat die Historie einen Einfluss auf das Ergebnis • Einstellungen der Experiment-Teilnehmer können sich durch neue Information (Zeitungsartikel, Gespräche, Web) oder Ereignisse ändern

6. Reifung • engl. maturation • Änderung der internen Konstitution eines Individuums im Laufe der Zeit (ohne Einfluss spezifischer, externer Ereignisse) • Eingeschlossen sind biologische und psycholgische Änderungen, z.B. Alter, Lernen, Müdigkeit, Langeweile, Hunger.

7. Reifung (Forts.) • Wenn Reifung das Verhalten unter den experimentellen Bedingungen ändert, dann gefährdet sie die interne Gültigkeit. • Beispiel: PSP-Studien, die keine Kontrollgruppe besitzen • Teilnehmer lernen, Listen zu programmieren • Leistungszuwachs durch Methode (PSP) und bessere Kenntnis der Listenprogrammierung

8. Instrumentierung • engl. instrumentation • Änderungen in der Messung der abhängigen Variablen mit der Zeit. • Menschliche Beobachter unterliegen Müdigkeit, Langeweile, und Lernprozessen. • Mit der Zeit kann ein Experimentator besser werden und genauere, zuverlässigere Testergebnisse liefern.

9. Selektion • Bei unterschiedlichen Selektions-Methoden für die Vergleichsgruppen kann Ungültigkeit eingeschleppt werden. • Beispiel: • Nachhilfe für unterschiedliche Gruppen: schwach in Mathe vs. hyperaktiv • Unterschiede in den Noten können auf anderen Eigenschaften beruhen als der Nachhilfe.

10. Sterblichkeit • engl. mortality • Sterblichkeit bedeutet unterschiedlichen Verlust von Teilnehmern in den Gruppen. • Teilnehmer erscheinen nicht oder haben eine lange Party am Vorabend oder nehmen nicht an allem teil... • Damit kann es Unterschiede zwischen Gruppen geben, die nicht von der unabhängigen Variablen herrühren.

11. Subjekt-Effekt • Positive Selbstdarstellung: Subjekte interpretieren den Sinn des Experiments und zeigen sich von ihrer besten Seite. • Beispiel: • Die gestellten Lernaufgaben sagen etwas über Intelligenz aus. • Da viele Teilnehmer intelligent erscheinen wollen, bemühen sie sich, im Experiment möglichst rasch zu lernen.

12. Subjekt-Effekt (Forts.) • Ergebnisse werden beeinflusst vom Motiv der Teilnehmer, sich positiv darzustellen. • Carlston und Cohen zeigten: • Subjekte, die an die Experiment-Hypothese glaubten, bestätigten sie • Gruppe, die die Hypothese nicht glaubte, lieferte gegenteilige Ergebnisse

13. Subjekt-Effekt (Forts.) • Inter-treatment interaction: Positive Selbstdarstellung ändert sich zwischen den Aufgaben • Intra-treatment interaction: Subjekte interpretieren die Möglichkeit der positiven Selbstdarstellung in der gleichen Aufgabe unterschiedlich

14. Experimentator-Effekt • Erwartungen des Experimentators beeinflussen ihn selbst, z.B. • Messungen ungenau in einer Richtung • Fallenlassen „unmöglicher“ Werte • tendenziöse Interpretation der Daten • Motivieren der Subjekte

15. Reihenfolge-Effekt • engl. sequencing effect • Teilnehmer nehmen an mehreren Versuchen teil • Unterschiedliche Werte der unabhängigen Variablen in den Versuchen • Beispiel: eine Aufgabe bearbeitet mit Entwurfsmuster, andere Aufgabe ohne

16. Reihenfolge-Effekt (Forts.) • Dann können Lerneffekte auftreten, die aus der Reihenfolge der Aufgaben resultieren (Reihenfolgeeffekt, order) • .... aber auch Motivationseffekte, etwa durch schnelles oder langsames Lösen der vorangegangenen Aufgabe (Übertragungseffekt, carry-over)