220 likes | 675 Views
Einführung in die Metaanalyse. Review vs. Metaanalyse. Mängel von Reviews: Reviewer verwenden alte Reviews, ohne sie zu prüfen Reviewer diskutieren nur eine Teilmenge der Befunde Ergebnisse werden nur grob klassifiziert („signifikant“)
E N D
Einführung in die Metaanalyse Metaanalyse
Review vs. Metaanalyse • Mängel von Reviews: • Reviewer verwenden alte Reviews, ohne sie zu prüfen • Reviewer diskutieren nur eine Teilmenge der Befunde • Ergebnisse werden nur grob klassifiziert („signifikant“) • Das Auftreten fehlerhaft positiver Ergebnisse wird nicht berücksichtigt (Alpha-Fehler) • Zusammenhang zwischen Art der Studie und Ergebnis wird meist nicht diskutiert • Keine Angaben über die Art der Zusammenfassung von Befunden (Theorie der Review-Autoren) Metaanalyse
Definition Metaanalyse • Glass (1976): • „Metaanalysis refers to the analysis of analyses. I use it to refer to the statistical analysis of a large collection of analysis results from individual studies for the purpose of interpreting the findings.“ (S. 3) Metaanalyse
Arten der Metaanalyse • Inferenzstatistische Verfahren: • Auszählung von Prüfergebnissen (Vote-Counting): Signifikant vs. nicht signifikant • Summierung von Teststatistiken: p-Werte, t-Werte, z-Werte • Deskriptive Verfahren: • Beschreibung der „wahren“ Effektgröße Metaanalyse
Probleme der Metaanalyse • Uniformitätsproblem: • Äpfel- und Birnen-Problem • Auswahl der Primärstudien: • Vollständig, Einzelfallstudien • Dokumentation der Primärstudien: • p-Werte, Effektschätzungen, Studienmerkmale • Methodische Qualität der Primärstudien Metaanalyse
Beispiel • Ergebnis einer Zusammenstellung von Studien: • 4 von 12 Studien zeigen einen signifikanten Effekt. • Problem: • Was bedeutet das für den „wahren“ Effekt? • Gibt es ihn und wie groß ist er? Metaanalyse
Bewertung des Ergebnisses • Vorüberlegung: Welche Extremfälle gibt es? • Keine (0 von 12) Studien zeigt einen Effekt: • Es liegt ziemlich sicher kein „wahrer“ Effekt vor • Alle (12 von 12) Studien zeigen einen Effekt: • Es liegt ziemlich sicher ein „wahrer“ Effekt vor • Statistische Überlegung: • Wenn es „in Wahrheit“ keinen Effekt gäbe, • und man würde 12 Studien durchführen, • wie viele signifikante Studien würde man erwarten? Metaanalyse
Prüfung • Modell (Nullverteilung): • Wahrscheinlichkeit, dass eine Studie zufällig signifikant wird? • Alpha = 5% • n = 12 Studien • Binomialverteilung mit p = 0.05 und n = 12 • Ergebnis: • Es ist extrem unwahrscheinlich, dass vier oder mehr Studien signifikant werden • Es ist extrem unwahrscheinlich, dass kein Effekt vorliegt • Wie groß ist der Effekt? Metaanalyse
Liegt ein Effekt vor? • Diese Frage wird nach der ganz normalen Testlogik beantwortet: • „Versuchspersonen“ sind hier die Studien. • Nullhypothese: Es liegt kein „wahrer“ Effekt vor (nur Zufall wirkt) • Statistisch: p (Studie zufällig signifikant) = Alpha der Studien = 0.05 • Nullverteilung (Modell): Binomialverteilung mit p = 0.05 und n = Anzahl der Studien • Logik: Wenn Ergebnis unter den Annahmen des Modells unwahrscheinlich ist, wird die Nullhypothese abgelehnt, d.h. das Modell verworfen • Ergebnis (umgangssprachlich): Es liegt ein Effekt vor, bzw. es liegt kein Effekt vor Metaanalyse
Wie groß ist der Effekt? • Um diese Frage zu beantworten, wird die normale Testlogik umgedreht: • Die Nullhypothese behauptet, dass eine bestimmte Effektgröße vorliegt • Statistisch: z.B. p (Studie signifikant bei bestimmter Effektgröße) = 0.20 • Modell: Binomialverteilung mit p und n = Anzahl der Studien • Logik: Wenn das Ergebnis unter den Annahmen des Modells wahrscheinlich ist, wird die Nullhypothese beibehalten • Ergebnis: Der Effekt ist mindestens so groß wie die geprüfte Effektgröße Metaanalyse
Festlegung von Effektgrößen • Angabe der Effektgröße als Differenz zweier z-Werte • Konvention: • d = 0.2: kleiner Effekt • d = 0.5: mittlerer Effekt • d = 0.8: großer Effekt Metaanalyse
Effektgröße und Prüfverteilung • Problem: • Wie komme ich von der Effektgröße zur Prüfverteilung? • Was ist eine Prüfverteilung? • Angabe, wie wahrscheinlich es ist, dass eine bestimmte Anzahl von Studien signifikant wird, wenn eine bestimmte Effektgröße vorliegt • Annahmen für Prüfverteilung bei d = 0.8: • Zwei Gruppen mit normalverteilten Werten (z-Werte) • Mittelwert Gruppe 1: 0 • Mittelwert Gruppe 2: 0.8 • SD in beiden Gruppen: 1 • N Studien untersucht Metaanalyse
Erstellen der Prüfverteilung • Beispiel: • N = 3 Studien • Jeweils n = 5 Probanden in Kontroll- und Behandlungsgruppe • Prinzip: • Mache mit den Gruppen unter Modellannahmen das, was du in den Experimenten mit Versuchspersonen gemacht hast • Vorgehen: • Ziehe per Zufall 5 Zahlen aus Normalverteilung 1 (randomisierte Auswahl von Probanden aus der Grundgesamtheit) • Ziehe per Zufall 5 Zahlen aus Normalverteilung 2 • Führe einen t-Test durch: Signifikant oder nicht? • Wiederhole dies 3 Mal (N = 3 Studien wurden durchgeführt) • Zähle die Anzahl der signifikanten Ergebnisse (0 bis 3) Metaanalyse
Vorgehen grafisch t-Test: n.s. t-Test: * t-Test: n.s. Metaanalyse
Ergebnis am Beispiel • Eingangsbeispiel: • N = 12 Studien • Je n = 10 Vpn in Kontroll- und Behandlungsgruppe • d = 0.8 • Asymptotische Annäherung: • N = 12 Studien, n = 20 Vpn, d = 0.8 • Ist angenähert binomialverteilt mit bestimmtem p (Umrechnungsformel existiert) Metaanalyse
Bewertung • Annahme Stichprobengröße: • Mittelwert in den Studien: n = 18 • Konservativ: n = 20 • Annahme Studienanzahl: • N = 12 • Annahme Effektgrößen: • d = 0.2 entspricht p = 0.112 • d = 0.5 entspricht p = 0.285 • d = 0.8 entspricht p = 0.530 • Ergebnis: • p (Ergebnis / d = 0.2): 0.992 • p (Ergebnis / d = 0.5): 0.762 • p (Ergebnis / d = 0.8): 0.142 • Kleiner Effekt! Metaanalyse
Ergebnisdarstellung Alkohol Metaanalyse
Übersicht Prüfmethoden • Vote-Counting, wenn nur Information „signifikant / nicht signifikant“ vorliegt. • Bei Vorliegen von Teststatistiken (t-, F-, p-Werte): • Adding of Logs (Fisher-Methode) • Addieren von transformierten p-Werten • Addieren von t-Werten • Addieren von z-Werten (Stouffer-Methode) • Nachteil: • Prüft nur, ob Effekt vorhanden ist Metaanalyse
Schätzung Effektstärke • 1. Pro Studie Schätzung des Effekts, diese Effektstärken werden dann aggregiert. • 2. Bekannt sein müssen: • Mittelwerte der EG und KG • Stichprobengröße in EG und KG • Standardabweichungen der EG und KG (oder F-, t-Werte -> Schätzung der Standardabweichungen) • 3. Effektstärke pro Experiment wird geschätzt • 4. Effektstärke insgesamt wird dann als Mittelwert dieser Effektstärken pro Experiment berechnet (u.U. korrigiert, um erwartungstreuen Schätzer zu erhalten) • 5. Effektstärke ist zu interpretieren in Einheiten der gemittelten Standardabweichungen (wie oben) Metaanalyse