Einführung in die Metaanalyse

1. Einführung in die Metaanalyse Metaanalyse

2. Review vs. Metaanalyse • Mängel von Reviews: • Reviewer verwenden alte Reviews, ohne sie zu prüfen • Reviewer diskutieren nur eine Teilmenge der Befunde • Ergebnisse werden nur grob klassifiziert („signifikant“) • Das Auftreten fehlerhaft positiver Ergebnisse wird nicht berücksichtigt (Alpha-Fehler) • Zusammenhang zwischen Art der Studie und Ergebnis wird meist nicht diskutiert • Keine Angaben über die Art der Zusammenfassung von Befunden (Theorie der Review-Autoren) Metaanalyse

3. Definition Metaanalyse • Glass (1976): • „Metaanalysis refers to the analysis of analyses. I use it to refer to the statistical analysis of a large collection of analysis results from individual studies for the purpose of interpreting the findings.“ (S. 3) Metaanalyse

4. Arten der Metaanalyse • Inferenzstatistische Verfahren: • Auszählung von Prüfergebnissen (Vote-Counting): Signifikant vs. nicht signifikant • Summierung von Teststatistiken: p-Werte, t-Werte, z-Werte • Deskriptive Verfahren: • Beschreibung der „wahren“ Effektgröße Metaanalyse

5. Probleme der Metaanalyse • Uniformitätsproblem: • Äpfel- und Birnen-Problem • Auswahl der Primärstudien: • Vollständig, Einzelfallstudien • Dokumentation der Primärstudien: • p-Werte, Effektschätzungen, Studienmerkmale • Methodische Qualität der Primärstudien Metaanalyse

6. Beispiel • Ergebnis einer Zusammenstellung von Studien: • 4 von 12 Studien zeigen einen signifikanten Effekt. • Problem: • Was bedeutet das für den „wahren“ Effekt? • Gibt es ihn und wie groß ist er? Metaanalyse

7. Bewertung des Ergebnisses • Vorüberlegung: Welche Extremfälle gibt es? • Keine (0 von 12) Studien zeigt einen Effekt: • Es liegt ziemlich sicher kein „wahrer“ Effekt vor • Alle (12 von 12) Studien zeigen einen Effekt: • Es liegt ziemlich sicher ein „wahrer“ Effekt vor • Statistische Überlegung: • Wenn es „in Wahrheit“ keinen Effekt gäbe, • und man würde 12 Studien durchführen, • wie viele signifikante Studien würde man erwarten? Metaanalyse

8. Prüfung • Modell (Nullverteilung): • Wahrscheinlichkeit, dass eine Studie zufällig signifikant wird? • Alpha = 5% • n = 12 Studien • Binomialverteilung mit p = 0.05 und n = 12 • Ergebnis: • Es ist extrem unwahrscheinlich, dass vier oder mehr Studien signifikant werden • Es ist extrem unwahrscheinlich, dass kein Effekt vorliegt • Wie groß ist der Effekt? Metaanalyse

9. Liegt ein Effekt vor? • Diese Frage wird nach der ganz normalen Testlogik beantwortet: • „Versuchspersonen“ sind hier die Studien. • Nullhypothese: Es liegt kein „wahrer“ Effekt vor (nur Zufall wirkt) • Statistisch: p (Studie zufällig signifikant) = Alpha der Studien = 0.05 • Nullverteilung (Modell): Binomialverteilung mit p = 0.05 und n = Anzahl der Studien • Logik: Wenn Ergebnis unter den Annahmen des Modells unwahrscheinlich ist, wird die Nullhypothese abgelehnt, d.h. das Modell verworfen • Ergebnis (umgangssprachlich): Es liegt ein Effekt vor, bzw. es liegt kein Effekt vor Metaanalyse

10. Wie groß ist der Effekt? • Um diese Frage zu beantworten, wird die normale Testlogik umgedreht: • Die Nullhypothese behauptet, dass eine bestimmte Effektgröße vorliegt • Statistisch: z.B. p (Studie signifikant bei bestimmter Effektgröße) = 0.20 • Modell: Binomialverteilung mit p und n = Anzahl der Studien • Logik: Wenn das Ergebnis unter den Annahmen des Modells wahrscheinlich ist, wird die Nullhypothese beibehalten • Ergebnis: Der Effekt ist mindestens so groß wie die geprüfte Effektgröße Metaanalyse

11. Festlegung von Effektgrößen • Angabe der Effektgröße als Differenz zweier z-Werte • Konvention: • d = 0.2: kleiner Effekt • d = 0.5: mittlerer Effekt • d = 0.8: großer Effekt Metaanalyse

12. Effektgröße und Prüfverteilung • Problem: • Wie komme ich von der Effektgröße zur Prüfverteilung? • Was ist eine Prüfverteilung? • Angabe, wie wahrscheinlich es ist, dass eine bestimmte Anzahl von Studien signifikant wird, wenn eine bestimmte Effektgröße vorliegt • Annahmen für Prüfverteilung bei d = 0.8: • Zwei Gruppen mit normalverteilten Werten (z-Werte) • Mittelwert Gruppe 1: 0 • Mittelwert Gruppe 2: 0.8 • SD in beiden Gruppen: 1 • N Studien untersucht Metaanalyse

13. Erstellen der Prüfverteilung • Beispiel: • N = 3 Studien • Jeweils n = 5 Probanden in Kontroll- und Behandlungsgruppe • Prinzip: • Mache mit den Gruppen unter Modellannahmen das, was du in den Experimenten mit Versuchspersonen gemacht hast • Vorgehen: • Ziehe per Zufall 5 Zahlen aus Normalverteilung 1 (randomisierte Auswahl von Probanden aus der Grundgesamtheit) • Ziehe per Zufall 5 Zahlen aus Normalverteilung 2 • Führe einen t-Test durch: Signifikant oder nicht? • Wiederhole dies 3 Mal (N = 3 Studien wurden durchgeführt) • Zähle die Anzahl der signifikanten Ergebnisse (0 bis 3) Metaanalyse

14. Vorgehen grafisch t-Test: n.s. t-Test: * t-Test: n.s. Metaanalyse

15. Ergebnis am Beispiel • Eingangsbeispiel: • N = 12 Studien • Je n = 10 Vpn in Kontroll- und Behandlungsgruppe • d = 0.8 • Asymptotische Annäherung: • N = 12 Studien, n = 20 Vpn, d = 0.8 • Ist angenähert binomialverteilt mit bestimmtem p (Umrechnungsformel existiert) Metaanalyse

16. Bewertung • Annahme Stichprobengröße: • Mittelwert in den Studien: n = 18 • Konservativ: n = 20 • Annahme Studienanzahl: • N = 12 • Annahme Effektgrößen: • d = 0.2 entspricht p = 0.112 • d = 0.5 entspricht p = 0.285 • d = 0.8 entspricht p = 0.530 • Ergebnis: • p (Ergebnis / d = 0.2): 0.992 • p (Ergebnis / d = 0.5): 0.762 • p (Ergebnis / d = 0.8): 0.142 • Kleiner Effekt! Metaanalyse

17. Ergebnisdarstellung Alkohol Metaanalyse

18. Übersicht Prüfmethoden • Vote-Counting, wenn nur Information „signifikant / nicht signifikant“ vorliegt. • Bei Vorliegen von Teststatistiken (t-, F-, p-Werte): • Adding of Logs (Fisher-Methode) • Addieren von transformierten p-Werten • Addieren von t-Werten • Addieren von z-Werten (Stouffer-Methode) • Nachteil: • Prüft nur, ob Effekt vorhanden ist Metaanalyse

19. Schätzung Effektstärke • 1. Pro Studie Schätzung des Effekts, diese Effektstärken werden dann aggregiert. • 2. Bekannt sein müssen: • Mittelwerte der EG und KG • Stichprobengröße in EG und KG • Standardabweichungen der EG und KG (oder F-, t-Werte -> Schätzung der Standardabweichungen) • 3. Effektstärke pro Experiment wird geschätzt • 4. Effektstärke insgesamt wird dann als Mittelwert dieser Effektstärken pro Experiment berechnet (u.U. korrigiert, um erwartungstreuen Schätzer zu erhalten) • 5. Effektstärke ist zu interpretieren in Einheiten der gemittelten Standardabweichungen (wie oben) Metaanalyse