Bewertung des Risikos für Bias in eingeschlossenen Studien

1. Bewertung des Risikosfür Bias in eingeschlossenenStudien

2. Schritteeines(systematischen) Cochrane Reviews • Fragestellungfestlegen • Auswahlkriteriendefinieren • Methodendefinieren • Studiensuchen • Auswahlkriterienanwenden • Datenextrahieren • Bias-Risikos der Studienbewerten • Ergebnisseanalysieren und darstellen • Ergebnisseinterpretieren und Schlussfolgerungenziehen • Review optimieren und aktualisieren

3. Übersicht • Risikofür Bias in systematischenÜbersichtsarbeiten • Ursachenvon Bias bewerten • Umsetzen in die Praxis: “Risk of bias”-Tabellen • Ergebnissein den Review integrieren SieheKapitel 8 imHandbuch

4. Was ist Bias? SystematischerFehleroderAbweichung von der Wahrheit • SystematischeÜbersichtsarbeitenhängen von den eingeschlossenenStudienab • FehlerhafteStudien = irreführende Reviews • Sollichdie Ergebnisseglauben? • JedeStudiein Hinblick auf Bias-Risikobewerten • Vorhandensein von Bias istnichtmessbar • Behandlungseffektkannunter- oderüberschätztwerden • Identifizieren von Methoden, die das Bias-Risikominimieren

5. Bias ist nicht dasselbe wie Ungenauigkeit Qualität Berichten • ZufälligerFehleraufgrundvon Variation der Stichprobe • Erfasstdurch das Konfidenzintervall • Bias kannauchin gut durchgeführtenStudienvorkommen • NichtallemethodischenSchwächenführenzu Bias • GuteMethodikwurdeneventuelleingesetzt, jedochnichtausreichendbeschrieben

6. Qualitätsskalen und Checklisten • VieleSkalenvorhanden • EmpirischeEvidenzunterstütztnichtdie Verwendung von Skalen • UnterschiedlicheSkalenführenzuunterschiedlichenSchlussfolgerungen • Schließengfs. auchKriterienein, die keinenBezugzu Bias haben • Gewichtung von Kriteriennichtgerechtfertigt • SchwierigfürLeserInnen, Scores zuinterpretieren Qualitätsskalensollten in Cochrane Reviews nichtbenutztwerden

7. Cochrane ‘Risk of bias’- Bewertung • 7 evidenz-basierteBereiche • Einschätzung der Review-AutorInnen GeringesRisikofür Bias HohesRisikofür Bias ?UnklaresRisikofür Bias • Begründung der Einschätzung • Belege / ZitateausdemArtikeloderausanderenQuellen • Erklärungder Review-AutorInnen

8. Zu bewertende Bereiche • Erstellung der Randomisierungs-Sequenz • Geheimhaltung der Behandlungsfolge (verdeckteZuteilung) • Verblindung von TeilnehmerInnenund Personal • VerblindungbeiEndpunktbeurteilung • UnvollständigeDatenfürEndpunkte • SelektiveBerichterstattung • AndereFormen von Bias SieSOLLTEN UNBEDINGT das Cochrane-Handbuchkonsultieren, bevorSiedie Biasrisiko-Bewertungdurchführen

9. Vorgehenbeinicht-randomisiertenStudien • Bias-Risikomuss auchhiergenaugeprüftwerden • SiekönnenIhrerBewertungneueBereichehinzufügen • Siekönneneinanderes, passendes Instrument wählen • Ihre Review Group kanneinVorgehenvorschlagen SieheAbschnitt 13.5 imHandbuch

10. Übersicht • Risikofür Bias in systematischenÜbersichtsarbeiten • Ursachen von Bias bewerten • Umsetzen in die Praxis: “Risk of bias”-Tabellen • Ergebnisse in den Review integrieren

11. Ursachen von Bias Studienpopulation Randomisierung Selektion VerdeckteZuteilung Zuteilung Durchführung Durchführung Interventionsgruppe Kontrollgruppe Detektion Detektion Verlust Verlust Endpunkt-beurteilung Endpunkt-beurteilung Berichten Berichten Publikation der Studienergebnisse

12. Erstellen der Randomisierungs-Sequenz • BeiBeginneinerStudievor der Zuteilung der TeilnehmerInnen • VerhindertSelektionsbias • BestimmteinezufälligeZuteilungder TeilnehmerInnenzurInterventions- oderKontrollgruppe • VerhindertsystematischeUnterschiedezwischen den Gruppen • Berücksichtigtbekannte und unbekannteStörfaktoren (“Confounder”)

13. Erstellen der Randomisierungs-Sequenz NiedrigesRisiko – nichtvorhersehbar • TabellemitzufälligenZahlen • ComputergenerierteZufallszahlen • Stratifizierteoder Block-Randomisierung • “Minimisation” • Einfach - Münzwurf, Mischen von KartenoderUmschlägen, würfeln, auslosen HohesRisiko – vorhersehbar • Quasi-zufällig – Geburtsdatum, Tag des Besuchs, ID oderAktennummer, abwechselndeZuordnung • Nicht-zufällig– Wahl durchArzt/ÄrztinoderTeilnehmerIn, Testresultate, Verfügbarkeit SieheAbschnitt 8.9 imHandbuch

14. Geheimhaltung der Behandlungsfolge • ZuBeginn der Studiebei der Zuteilungder TeilnehmerInnen • VerhindertSelektionsbias • Wenneine Person für die Studierekrutiertwird, istnichtvorhersehbar, welcherGruppe die Person zugeordnetwird • Sichert die strengeEinhaltung der Randomisierungssequenz • VerhindertÄnderung der Reihenfolge • VerhindertbewussteAuswahlder TeilnehmerInnen

15. Geheimhaltung der Behandlungsfolge NiedrigesRisiko – nichtvorhersehbar • ZentraleZuteilung(Telefon, Internet, Apotheke) • Fortlaufendnummerierte, verschlossene, undurchsichtigeUmschläge • Fortlaufendnummerierte, identischeMedikamentenbehälter HohesRisiko – vorhersehbar • Randomisierungssequenzistdem Personal zuvorschonbekannt • UmschlägeoderVerpackungenohne“Sicherheitsmaßnahmen” • Nichtzufällige, vorhersehbareReihenfolge SieheAbschnitt 8.10 des Handbuchs

16. Ursachen von Bias Studienpopulation Auswahl Zuordnung Verblindung von TeilnehmerInnenund Personal Interventionsguppe Kontrollgruppe Durchführung Detektion Verlust Endpunkt- beurteilung Endpunkt- beurteilung Berichten Publikation der Studienergebnisse

17. Verblindung von TeilnehmerInnen& Personal • verhindertPerformance Bias • UnterschiedlicheBehandlung der (Interventions-)Gruppen • UnterschiedlicheErwartungen der TeilnehmerInnen • Kanndie eigentlichenErgebnissebeeinflussen • bewertenSiesorgfältig: • VermeidenSieAusdrückewie“single blinding” und “double blinding” • Könnte die Verblindungdurchbrochenwordensein? • BedenkenSie die Auswirkungen, auchwennVerblindungnichtmöglich war

18. Verblindung von TeilnehmerInnenn& Personal NiedrigesRisiko • Verblindung (wahrscheinlichkeineEntblindung) • KeineoderunvollständigeVerblindung, allerdingsEinfluss auf Endpunktunwahrscheinlich HohesRisiko • Keine, unvollständigeoderdurchbrocheneVerblindung, Einflussauf Endpunktewahrscheinlich SieheAbschnitt 8.11 des Handbuchs

19. Ursachen von Bias Studienpopulation Auswahl Zuordnung Kontrollgruppe Interventionsgruppe Durchführung Verblindungbei Endpunktbeurteilung Detektion Verlust Endpunkt- beurteilung Endpunkt- beurteilung Berichten Publikation der Studienergebnisse

20. VerblindungbeiEndpunktbeurteilung • VerhindertDetektions-Bias • Beurteilungder EndpunktebeeinflusstdurchKenntnisübererhaltene Intervention • BewertenSiesorgfältig: • VermeidenSieAusdrückewie“single blinding” und “double blinding” • Könntedie Verblindungdurchbrochenwordensein? • Gfs. durchführbar, auchwennkeineVerblindungvon TeilnehmerInnenund Personal möglicherscheint • BedenkenSie, dassEndpunkteeventuellauchdurchTeilnehmerInnen und/oderPersonal beurteiltwerden

21. VerblindungbeiEndpunktbeurteilung NiedrigesRisiko • Verblindung (wahrscheinlichkeineEntblidnung) • KeineoderunvollständigeVerblindung, allerdingsEinfluss auf Endpunktunwahrscheinlich HohesRisiko • KeineoderdurchbrocheneVerblindung und Einfluss auf Endpunktewahrscheinlich SieheAbschnitt 8.12 imHandbuch

22. Beurteilung der Verblindung pro Endpunkt • Gfs. unterschiedlicheEinschätzungfürverschiedeneEndpunkte • Gfs. nurBeurteilungeinzelnerEndpunkteverblindet • SubjektiveEndpunktesindanfälligerfür Biasz.B. Lebensqualität (vs. Tod) • Gilt sowohlfürPerformance-Biasund Detektions-Bias • Möglichkeit, Risk-of-Bias-Tabelleflexibelanzupassen

23. Ursachen von Bias Studienpopulation Auswahl Zuordnung Interventionsgruppe Kontrollgruppe Durchführung Detektion Verlust UnvollständigeDaten Endpunkt- beurteilung Endpunkt- beurteilung Berichten Publikation der Studienergebnisse

24. Verlust - UnvollständigeDaten • WennnichtfüralleTeilnehmerInnenvollständigeEndpunktdatenvorhandensind • Verlust (Attrition) – Verlustbei der Nachbeobachtung, ProbandInbrichtStudieab, andereDatenfehlen • Ausschlüsse – Datenz.T. vorhanden, jedochnichtberichtet • Folge: “Attrition-Bias” • Überlegungen: • WievieleDatenfehlen pro Gruppe?(mitkonkretenAngabenbeschreiben) • Warumfehlensie? • Wiewurden die Datenanalysiert?

25. Wann fehlt zu viel? • Keineeinfache Regel • WennfehlendeDaten die Ergebnissebeträchtlichbeeinflussenkönnten • Anteilder fehlendenDaten an den Dateninsgesamt • Ereignisrisiko (dichotomeEndpunkte) • VermuteteEffektstärke(kontinuierlicheEndpunkte) • Gründe, die mitdemBehandlungsergebniszusammenhängen • Z.B. Genesung, Nebenwirkungen, Verweigerung • Gründehabengfs. in jederGruppeeineandereBedeutung • WennAnteil an fehlendenDatenoderGründedafürunterschiedlichzwischen den Gruppenverteiltsind

26. Intention-to-treat Analyse • AlleTeilnehmerInnenwerdenentsprechend der Gruppeanalysiert, in die siezuBeginnrandomisiertenwurde • Unabhängig von Änderungen/Vorkomnissenwährend der Studie • ZubeachtendeAspekte • Per protocol Analyse • “Non-Compliers” ausgeschlossen • As-treatedAnalyse • “Non-Compliers” wechselndie Gruppe • ImputationfehlenderWerte • EventuellStatistikerInkonsultieren • Annahmenkönneninadäquatsein • MöglicherweisekönnenausgeschlosseneDatenwiedereingeschlossenwerden

27. BewertungunvollständigerDatenpro Endpunkt • Gfs. unterschiedlicheEinschätzungje nachEndpunkt • Gfs. mehrfehlendeDatenzubestimmtenZeitpunkten • Gfs. mehrfehlendeDatenbeibestimmtenEndpunktenz.B. FragenzusensiblenThemen, invasive Tests • Möglichkeit, Risk-of-Bias-Tabelleflexibelanzupassen

28. UnvollständigeEndpunktdaten GeringesRisiko • KeinefehlendenDaten • Gründefürdas Fehlen von Datenunabhängigvon Behandlungsergebnis • FehlendeDatenüberGruppengleichverteiltbeiähnlichenGründen • FehlenderAnteiloderanzunehmendeEffektstärkehabenwahrscheinlichkeinenEinfluss auf die Ergebnisse, der klinisch relevant wäre HohesRisiko • GründemitBehandlunsergebnisassoziiertbzw. MissverhältnisbeiAnzahloderGründen • FehlenderAnteiloderanzunehmendeEffektstärkehabengfs. klinischrelevantenEinfluss • ’as-treated’ Analyse mitwesentlicherAbweichung von ursprünglicherZuteilung • Unangemessene Imputation SieheAbschnitt 8.13 imHandbuch

29. Ursachen von Bias Studienpopulation Auswahl Zuordnung Interventionsgruppe Kontrollgruppe Durchführung Detektion Verlust Endpunkte beurteilen Endpunkte beurteilen Selektivses Berichten Berichten Publikation der Studienergebnisse

30. SelektivesBerichten • KannzuReporting-Bias führen • StatistischsignifikanteErgebnissewerdeneherberichtet • wiegeplant • Im Detail • Schwerzuermitteln • VergleichenSieMethoden und Resultate – suchenSie: • (wahrscheinlich) gemesseneEndpunkte, die nichtberichtetwurden • hinzugefügteEndpunkte, ÄnderungenbeistatistischenAnalysen, ausschließlichesBerichten von Untergruppen • Angaben, die füreinen Review nichtverwertbarsind (z.B. Ergebnis war nichtsignifikant, ohnedassZahlengenanntwerden) • BeziehenSiesich auf das StudienprotokollodereinStudienregister • KonzentrierenSiesich auf die Ergebnisse, die fürIhren Review wichtigsind

31. SelektivesBerichten GeringesRisiko • Protokollverfügbar und allefürden Review relevantenEndpunktewiegeplantberichtet • Protokollnichtverfügbaraberoffensichtlichwurdenallegeplantenund zuerwartendenEndpunkteberichtet UnklaresRisiko • Die meistenStudien fallen in dieseKategorie HohesRisiko • Endpunktenichtberichtetwiefestgelegtoderzuerwartenwäre • z.B. fehlende, zusätzlich, Untergruppen, unerwarteteMessungenoderMethoden • Endpunkteunvollständigberichtetund damitnichtfür Meta-Analyse verwertbar SieheAbschnitt 8.14 imHandbuch

32. Andere Gründe für Bias • Es muss eindeutignachvollziehbarsein, warumeinFaktorzu Bias führenkann • KeinGrundfür Bias ist: • Ungenauigkeit (z.B. kleineStichprobe) • Unterschiedlichkeit (z.B. unzureichendeDosis, ungewöhnliche Population) • andereQualitätsmerkmale (z.B. Ethikvotum, Finanzierung) • WennmöglichthematisierenSiewesentlicheAspektebereits in IhremProtokoll • SiekönnenIhrer“Risk-of-Bias”-TabelleZeilenhinzufügen um bestimmteKriterienzubewerten

33. Andere Gründe für Bias NiedrigesRisiko • StudiescheintkeineanderenGründefür Bias zuhaben HohesRisiko • StudienspezifischeProbleme • Carry-over in Cross-over Studien • Recruitment-Bias in Cluster-randomisiertenStudien • Nicht-randomisierteStudien • AnfänglicheUnterschiede in den Behandlungsgruppen • Block-Randomisierung in unverblindetenStudien • UnterschiedlichediagnostischeAktivität • SonstigeArten von Bias SieheAbschnitt 8.15 imHandbuch

34. Übersicht • Risikofür Bias in systematischenÜbersichtsarbeiten • Ursachen von Bias bewerten • Umsetzen in die Praxis: “Risk of bias”-Tabellen • Ergebnisse in den Review integrieren

35. Beurteilungdurchführen • MindestenszweiBeurteilerInnen • Allemüssen die methodischenProblemeverstehen • BindenSieExpertInnenfürInhalt und Methodikein • PilotierenSieBeurteilung an 3-6 Studien, um Übereinstimmungzuprüfen • BestimmenSiezuBeginn, wieSieDifferenzenlösen • SuchenSiefehlendeInformationen • Studienprotokoll • KontaktmitAutorInnen

36. ‘Risk of bias’ Tabellen • Eine pro eingeschlossenerStudie • IhreBeurteilungfürjedenBereich GeringesRisiko HohesRisiko - beurteilenSie das RisikofürbedeutsamenBias, nichtirgendeinen Bias ?Unklar = nichtgenug Information um Einschätzung vorzunehmen • BegründenSieIhreBewertungdurch • ZitateausdemArtikeloder von StudienautorInnen, wennmöglich • ZusätzlicheKommentare • EigeneAngabensolltenbegründetwerden (z.B. “wahrscheinlichdurchgeführt”) • GebenSie das Fehlen von Informationenausdrücklich an

38. Übersicht • Risikofür Bias in systematischenÜbersichtsarbeiten • Ursachen von Bias bewerten • Umsetzen in die Praxis: “Risk of bias”-Tabellen • Ergebnisse in den Review integrieren

39. Gewichten der Bereiche • Jeder Review solltealleBereichebehandeln, aberSiekönneneinenodermehrerehöhergewichten • ImProtokollfestlegen • BegründenSiezumBeispielmit: • EmpirischerEvidenz der Auswirkung • WahrscheinlicherRichtung der Auswirkung • Meistführt Bias zuÜberschätzungdes Effekts • WahrscheinlichemAusmaß der Auswirkung in Relation zumbeobachtetenEffekt SieheAbschnitte 8.5-8.14 imHandbuch

40. Gesamtinterpretation • VersuchenSienichtalleEndpunkteund Studien auf einmalzusammenzufassen • NachEndpunktenzusammenfassen • Risk-of-Bias BewertungenkönnenfürEndpunkteunterschiedlichsein (z.B. Verblindung, unvollständigeAngaben) • NichtalleStudientragenzujedemEndpunktbei • FassenSiezunächstinnerhalbeinerStudie, dannstudienübergreifendzusammen • Studienmit “unklarem” RisikosolltennichtohneBegründungmit der Gruppemit “geringem” Risikokombiniertwerden

41. Ergebnisseim Review berücksichtigen • BeschreibenSie die Ergebnisseauchimmernarrativ • LeserInnenkönnen “Risk-of-Bias” Tabellenübersehen • “Risk-of-Bias” Tabellenbehandelnnicht die Auswirkungen auf die Ergebnisse • Siekönnen die primäreAnalyse auf StudienmitgeringemRisikofür Bias beschränken • Basierend auf einerbegründetenAuswahl von Bereichen • FührenSieimmerSensitivitätsanalysendurch • Evtl. stratifizierte Analyse • Effektweiterexplorieren • Subgruppen-Analyse • Meta-Regression – statistischeBeratungempfohlen

42. Zusammenfassung des Biasrisikos

43. Biasrisiko Grafik

44. Protokollinhalt • FragenSieIhreReview GruppeobeseinenStandardtextgibt • KurzeBeschreibung des VorgehenszurBewertung des Biasrisikos (risk-of-bias-tool) • ZählenSie die Bereiche auf • SieheimHandbuchKapitel8 • DoppeltunabhängigeBewertung • Lösung von Unterschieden der Bewertung • GibtesbestimmteBereiche die Siealsbesonderswichtigerachten ? • Wiewerden die Bewertungin der Analyse berücksichtigt?

46. Fazit • Studienmit Bias könnenzuirreführenden Reviews führen • SiebenBereiche des Bias solltenbewertetwerden • BeschreibenSieVorgehen in den Studiendetailliertund bewertenSie dies • BerücksichtigenSie die möglichenAuswirkungen von Bias bei der Interpretation der Ergebnisse

47. Quellen • Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org. Danksagung • Zusammengestell von Miranda Cumpston • Basierend auf Unterlagen der Cochrane Bias Methods Group und des Australasian Cochrane-Zentrums • Englische Version freigegebenvom Cochrane Methods Board • Übersetzt in KooperationzwischendemDeutschen Cochrane Zentrum (JörgMeerpohl, Laura Cabrera, Patrick Oeller), der Österreichischen Cochrane Zweigstelle (Barbara Nußbaumer, Peter Mahlknecht, Isolde Sommer, JörgWipplinger) und Cochrane Schweiz (Erik von Elm, Theresa Bengough)