1 / 36

Heterogenität untersuchen

Heterogenität untersuchen. Schritte eines Cochrane Reviews. Fragestellung festlegen Auswahlkriterien definieren Methoden definieren Studien suchen Auswahlkriterien a nwenden Daten extrahieren Bias- Risikos der Studien bewerten Ergebnisse analysieren und darstellen

chenoa
Download Presentation

Heterogenität untersuchen

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Heterogenität untersuchen

  2. Schritte eines Cochrane Reviews • Fragestellungfestlegen • Auswahlkriteriendefinieren • Methodendefinieren • Studiensuchen • Auswahlkriterienanwenden • Datenextrahieren • Bias-Risikos der Studienbewerten • Ergebnisseanalysieren und darstellen • Ergebnisseinterpretieren und Schlussfolgerungenziehen • Review optimierenund aktualisieren

  3. Überblick • Was ist Heterogenität? • Annahmen über Heterogenität • Heterogenität erkennen • Heterogenität untersuchen SieheKapitel 9 imHandbuch

  4. Was ist Heterogenität? Unterschiede in Studienergebnissen • DreiHaupttypen: • Klinisch • Methodisch • Statistisch

  5. Klinische Vielfalt • TeilnehmerInnen • z.B. (Gesundheits-)Problem, Alter, Geschlecht, Ort, Studieneinschlusskriterien • Interventionen • Intensität/Dosis, Dauer, Verabreichungsmethode, zusätzliche Komponenten, Erfahrung der ÄrztInnen, Kontrolle (Placebo, keine, Standardtherapie) • Endpunkte • Dauer der Nachbeobachtung, Messmethoden, Definition eines Ereignisses, Schwellenwert (cut-off)

  6. Methodische Vielfalt • Design • z.B. randomisiert vs nicht-randomisiert, Crossover- vs parallel, Einzel- vs Cluster- Randomisierung • Durchführung • z.B. Biasrisiko (Verdeckte Zuteilung, Verblindung, etc.), Vorgehen bei der Analyse

  7. Statistische Heterogenität • Es wird immer eine zufällige Variabilität bei den Ergebnissen der verschiedenen Studien geben (Stichprobe) • Heterogenität ist die Variabilität in den beobachteten Effekte der verschiedenen Studien • Sie wird verursacht durch die klinische und methodische Vielfalt • Sie steht im Gegensatz zur Homogenität • Studienergebnisse sind unterschiedlicher als wenn die zufällige Variabilität der einzige Grund für die Unterschiede in den beobachteten Interventionseffekten ist

  8. Überblick • Was ist Heterogenität? • Annahmen über Heterogenität • Heterogenität erkennen • Heterogenität untersuchen

  9. Modell mit festem Effekt vs Modell mit zufälligen Effekten • Fixed-effect-model vs. random-effect-model • Beide Modelle für Meta Analysen in RevMan verfügbar • Machen unterschiedliche Annahmen über Heterogenität • Geben Sie Ihre geplante Herangehensweise im Protokoll an

  10. Modell mit festem Effekt Zufallsfehler (Stichprobe) • Nimmt an, dass alle Studien den gleichen Behandlungseffekt messen • Schätzt diesen einen Effekt • Ohne Zufallsfehler (Stichprobe) wären alle Ergebnisse identisch Studienergebniss wahrer Effekt Source: Julian Higgins

  11. Zufallsfehler Studien-spezifischer Effekt Modell mit zufälligen Effekten • Nimmt an, dass der Behandlungseffekt zwischen Studien variiert • Schätzt den Mittelwert der Verteilung der Effekte • Gewichtet sowohl für Intra- als auch für Interstudienvarianz (tau2, 2) Mittelwert der wahren Effekte Source: Julian Higgins

  12. Wo ist der Unterschied? • Meta-Analysen (MA) mit random-effects-model sind: • Fast identisch mit MA mit fixed-effect-model, wenn keine Heterogenität vorhanden ist • Ähnlich zu MA mit fixed-effect-model aber mit breiteremKonfidenzintervall , wenn Heterogenität, wie vom random-effects model angenommen, vorhanden ist • Anders als MA mit fixed-effect-model, wenn die Ergebnisse der Einzelstudie von der Studiengröße abhängen • Random-effects-model gibt kleineren Studien mehr Gewicht

  13. Keine Heterogenität Fixed Random Adapted from Ohlsson A, Aher SM. Early erythropoietin for preventing red blood cell transfusion in preterm and/or low birth weight infants. Cochrane Database of Systematic Reviews 2006, Issue 3.

  14. Etwas Heterogenität Fixed Random Adapted from Adams CE, Awad G, Rathbone J, Thornley B. Chlorpromazine versus placebo for schizophrenia. Cochrane Database of Systematic Reviews 2007, Issue 2.

  15. Small study effects Fixed Random Adapted from Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.

  16. Welches Modell wählen? • Planen sie die Herangehensweise in der Protokollphase • Erwarten Sie, dass Ihre Ergebnisse sehr unterschiedlich sein werden? • Berücksichtigen Sie die zugrundeliegenden Annahmen der Modelle • Fixed-effect (fester Effekt) • Könnte unrealistisch sein – ignoriert Heterogenität • Random-effects (zufällige Effekte) • Berücksichtigt Heterogenität • Die Verteilung der Studieneffekte wird möglicherweise falsch eingeschätzt, wenn Bias, wenige Studien oder wenige Ereignisse vorhanden sind

  17. Überblick • Was ist Heterogenität? • Annahmen über Heterogenität • Heterogenität erkennen • Heterogenität untersuchen

  18. Heterogenität erkennen • Beurteilung der Forest plots • Chi-Quadrat (c2) Test (Q Test) • I2 Statistik, um die Heterogenität zu quantifizieren

  19. Beurteilung der Forest plots Forest plot A Forest plot B

  20. Der Chi-Quadrat (c2) Test • Testet die Null-Hypothese der Homogenität • Geringe Power beiwenigen Studien • Stellt gegebenenfalls klinisch irrelevante Unterschiede bei vielen Studien fest • Einschränkung auf Heterogenität (ja/nein) ist nicht hilfreich, wenn Heterogenität ohnehin vorhanden ist • Wird automatisch von RevMan berechnet

  21. Die I2 Statistik • I2 Statistik beschreibt den Prozentsatz der Variabilität, der auf Heterogenität und nicht auf Zufall zurückzuführen ist (0% bis 100%) • Niedrige Werte zeigen keine oder wenig Heterogenität an • Hohe Werte zeigen viel Heterogenität an • Wird automatisch von RevMan berechnet • Seien Sie vorsichtig bei der Interpretation

  22. Die I2 Statistik

  23. chi2= 29.55 df = 13 P = 0.0055 I2 = 56% I2 = 51% chi2 = 6.14 df = 3 P = 0.11 Source: Julian Higgins

  24. Was tun bei Heterogenität • Überprüfen Sie, ob die Daten korrekt sind • Berücksichtigen Sie die Heterogenität bei Ihrer Interpretation • insbesondere wenn die Richtung des Effekte variiert • Wenn die Heterogenität sehr hoch ist • Interpretieren Sie Ergebnisse des fixed-effect-models mit Vorsicht • Erwägen Sie Sensitivitätsanalysen – würde Wahl des random-effects-model einen wesentlichen Unterschied machen? • Überlegen Sie, ob es sinnvoll ist, eine Metaanalyse zu machen • Gepooltes Ergebnis kann in der Praxis bedeutungslos sein • Berücksichtigen Sie die klinische und methodische Vergleichbarkeit der Studien • Sie sollten nicht • das Effektmaß oder das Analysemodell zu ändern • Outlier-Studien auszuschließen • Untersuchen Sie Gründe für die Heterogenität

  25. Überblick • Was ist Heterogenität? • Annahmen über Heterogenität • Heterogenität erkennen • Heterogenität untersuchen

  26. Heterogenität untersuchen • Welche Faktoren scheinen den Effekt zu beeinflussen? • Klinische Vielfalt (Population, Intervention, Endpunkte) • Methodische Vielfalt (Studiendesign, Biasrisiko) • Planen Sie ihre Strategie bereits im Protokoll • Identifizieren Sie eine begrentzte Anzahl relevanter Faktoren, die zu untersuchen sind • Gibt es eine wissenschaftliche Begründung für jeden gewählten Faktor? • Erwähnen Sie jegliche post-hoc Untersuchungen

  27. Zwei Ansätze • Subgruppenanalyse • Studien nach vorab spezifizierten Faktoren gruppieren • Betrachten Sie Unterschiede in den Ergebnissen und in der Heterogenität • Meta-Regression • Untersuchen Sie die Interaktion mit kategoriellen und kontinuierlichen Variablen • Nicht verfügbar in RevMan

  28. Bei Subgruppenanalysen zu beachten • Ergebnisse sind beobachtend und nicht randomisiert • Vorsicht bei multiplen und post-hoc Vergleichen • Bei wenigen eingeschlossenen Studien nicht sinnvoll • Bei aggregierten Studiendaten ggf. nicht möglich • Achten Sie auf Confounder • Folgen Sie Ihrem Protokoll • Bewerten Sie einzelne Ergebnisse nicht über Ergebnissesindseltendefinitiv

  29. Interpretieren von Subgruppenanalysen • Betrachten Sie die Ergebnisse und die Heterogenität innerhalb der Subgruppen • Sind die Subgruppen tatsächlich unterschiedlich? • wenn es nur 2 Subgruppen gibt – überlappen sich die Konfidenzintervalle? • statistische Tests für Subgruppenunterschiede • Vertrauenswürdiger sind: • Vorab festgelegte Analysen • Subgruppenanalysen innerhalb von Studien • Der Effekt ist klinisch plausibel und unterstützt durch indirekte Evidenz

  30. Subgruppen nach TeilnehmerInnen Based on Stead LF, Perera R, Bullen C, Mant D, Lancaster T. Nicotine replacement therapy for smoking cessation. Cochrane Database of Systematic Reviews 2008, Issue 1. Art. No.: CD000146. DOI: 10.1002/14651858.CD000146.pub3.

  31. Subgruppen nach Interventionen Based on Linde K, Berner MM, Kriston L. St John's wort for major depression. Cochrane Database of Systematic Reviews 2008, Issue 4. Art. No.: CD000448. DOI: 10.1002/14651858.CD000448.pub3.

  32. Sensitivitätsanalyse • Nicht das gleichewieSubgruppenanalyse • Testet den Einfluss von Entscheidungen, welchewährendeinesRewievsgemachtwurden • Einschluss von Studien in den Rewiev • Definition von niedrigemBiasrisiko • Auswahl des Effektmaßes • AnnahmenüberfehlendeDaten • Cut-off-Wertefürdichotomisierte Ordinal-Skalen • Korrelationskoeffizienten • Wiederholen der AnalysenmiteineralternativenMethodeoderAnnahme • PräsentierenSie in der Regel nichtmehrere Forest Plots – sondernnur die Ergebnisse • Wenn der Unterschied minimal ist, könnensie den ErgebnissenmehrVertrauenschenken • Wenn der Unterschiedgroßist, interpretierenSie die Ergebnisse mitVorsicht

  33. Was gehört ins Protokoll? • Bewertung der Heterogenität • Bewertung der Vergleichbarkeit der Studienvor der Metaanalyse • VisuelleBeurteilung der Forest Plots und Verwendung von Statistikenwie I2 • Datensynthese • Fixed-effect oder random-effects-model (oderbeide) • Subgruppenanalyse und Untersuchung der Heterogenität • GeplanteSubgruppenanalysen • WeitereStrategienzurUntersuchung der Heterogenität • Sensitivitäsanalyse

  34. Fazit • Statistische Heterogenität ist das Vorhandensein von Unterschieden in den Interventionseffekten, die größer sind als erwartet aufgrund der zufälligen Variabilität • Sie kann durch klinische und methodische Vielfalt verursacht werden • Fixed-effect und random-effects-models machen unterschiedliche Annahmen über die Heterogenität • Untersuchen sie jegliche Heterogenität, die sie finden

  35. Quellen • Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org. Danksagung • Zusammengestellt von Miranda Cumpston • Basierend auf Unterlagen von Georgia Salanti, Julian Higgins, Steff Lewis, der Cochrane Statistical Methods Group, des Australasian Cochrane Centre und des Dutch Cochrane Centre • Englische Version freigegebenvom Cochrane Methods Board • Übersetzt in Kooperation zwischen dem Deutschen Cochrane Zentrum (JörgMeerpohl, Laura Cabrera, Patrick Oeller), der Österreichischen Cochrane Zweigstelle (BarbaraNußbaumer, Peter Mahlknecht, Isolde Sommer, Jörg Wipplinger) undCochrane Schweiz (Erik von Elm, Theresa Bengough)

More Related