Evidenspyramiden – kort fortalt

1. Forskningstræning – Modul 1 Evidenspyramiden – kort fortalt Forskningstræning Copenhagen University Hospital, Bispebjerg-Frederiksberg Februar 2013

2. Evidens-tyngden af den enkelte publikation Ia: metaanalyse af RCT (Randomised Controlled Trial) Ib: mindst 1 RCT II: mindst 1 godt, kontrolleret studie (kontrol-gruppe) III: deskriptive studier (kohorte, case-kontrol, før-efter) IV: Ekspertkomité, konsensus Hvorfor er pyramiden sådan? Hvad er den forskningsmæssige kvalitetsforskel?

3. Evidens-tyngden af den enkelte publikation Allervigtigste principper for et resultats gyldighed? 1) Reproducerbart Des mere reproducerbart – og måske med forskellige forsøgstilgange og forskellige eksperimentatorer – des mere sikkert resultat Det er skillelinien mellem 1a og 1b 2) Undgåelse bias (systematisk støj) Enhver form for udvælgelse/selektion vil have bias - i hvert fald teoretisk. Den bedste måde at minimere bias på, er at udvælge tilfældigt = randomisering. Det er skillelinien mellem 1b og II 3) Undgåelse af tilfældige faktorers indflydelse (støj) Typisk observationer over tid, hvor der også laves en intervention. Er det tiden eller er det interventionen som gør forskellen. En kontrol-gruppe (ofte placebo, men ikke nødvendigvis) kan ofte afgøre sådanne effekter. Det er skillelinien mellem II og III 4) Der foreligger eksperimentelle data Data som indenfor deres egne præmisser er sande – uanset omstændighederne. Det er skillelinien mellem III og IV 5) Fri fantasi!

4. Publikationsbias Lidt forskellige definitioner, men en god kunne måske være (sat på spidsen): Publikationsbias: Publicérbarhed afhænger af svaret og ikke af spørgsmålet Et signifikant svar (”et positivt fund” som viser en forskel) har langt større mulighed for at blive publiceret end et svar uden signifikant forskel (”negativt fund” selvom det er med høj power). Det er desværre noget som meget sjældent gås i dybden med i metaanalyser, som jo bliver meget hårdt ramt af publikationsbias. Især ærgerligt, når det ellers er vores ”tungeste evidens”, som vi altså ved fra starten af er svært bias-behæftet.

5. Publikationsbias Den prominerende grund til at ”negative resultater” ikke publiceres er oftest forskeren selv! Etisk komite: Hvordan vil I publicere, hvis det ikke er publikations-værdigt? Alle resultater er publikations-værdige! At have resultater liggende i skuffen er uetisk! Har man resultater, så skal de ud! Gør de videnskabelige tidsskrifter noget for at komme publikations bias til livs? Faktisk et halvt ”ja”: Kravet om annoncering af forsøg i clinicaltrials.gov bliver af flere og flere tidsskrifter håndhævet som fourudsætning for accept af artikel. Men rammer det den virkelige målgruppe: NEJ

6. Kritisk Artikellæsning Generelt: Sæt Jer i forfatterens (Jeres forskningskollega) sted. Stort set alle artikler kan kritiseres i stykker. Husk at kollegaen har trådt ind i det vide område på kortet og ved nødvendigvis ikke hvilke bias'er, spredninger osv., som forsøget bliver mødt med, og dermed har kunnet tage højde for. Nogle review'ere, som alle bør læse manuskripter kritisk, kan måske forekomme bistre og ondsindede, men langt de fleste, prøver bare at forbedre Jeres artikler, måske gennem at lege ”djævlens advokat” og udfordre Jer lidt.

7. Kritisk Artikellæsning Fremgangsmåde ved kritisk læsning: Systematisk! Brug gerne skema Indhold i skema kunne være:

8. Kritisk Artikellæsning Tilrettelæggelse af forsøg: Klar hypotese? Flere hypoteser? Hvilken er hypotese er brugt til power beregning? (primære endpoint) Er studiet designet til belysning primære endpoint Alle andre hypoteser og svar der på kan kun være hypotese-dannende Er der overensstemmelse mellem hypotese, primære endpoint, titel, diskussion og konklusioner Hvor ligger studiet i evidenspyramide-hierakiet? Er kontrol-gruppen relevant og er kontrol-gruppen repræsentativ og standard. Er inklusions og eksklusions relevante og hvor meget bias giver de? Er forsøget blindet, dobbelt-blindet, triple-blindet? Er endpoints og hypoteser de samme, som udmeldt i clinicaltrials.gov Er forsøgets statistik rigtigt sat op? (forventet forskel (lav power) men viser sig ikke at være der (er der så power nok til at undgå type II fejl)

9. Kritisk Artikellæsning Udførelse: Blev forsøget udført som planlagt? Beskrevet tilstrækkeligt godt? (Test: Kan du lave forsøget på de givne oplysninger?) Redegørelse for afvigelser? (Især dropout/kasserede samples. Der kan være meget bias dér) Er måleapparaturet pålideligt (”Voltmeter eller øjemål”) ifht. Miredif? Er kontrol-grupperne rent faktisk sammenlignelige på relevante parametre. Vises det?

10. Kritisk Artikellæsning Resultater: Vises rådata eller kun afledede/beregnede tal (statistik)? Er der valgt en korrekt beregnings og statistik-form? Vises de relevante tal (forskelle: p-værdi, ingen forskelle: power) Vises resultater på en retvisende og klar måde (eller f.eks. ”cuttet” y-akse??)

11. Kritisk Artikellæsning Diskussion: Forholder kollegerne sig kritisk og ydmygt ifht. resultaterne? Extreme conclusions requires extreme evidence! Er det foreneligt med andre studier? Hvis det er for godt til at være sandt...ja så er det såmænd nok ikke sandt! (”Kold fusion!”) Holder konklusionerne til et pato-fysiologisk ræsonnement? Diskuteres støj (confounders, bias, spredning)? Forvaltes signifikans, power oa. statistik fornuftigt (p=0.051 vs p=0.049)? Diskuteres primære endpoints og hypoteser eller ”kører det af sporet”? Behandles sekundære endpoints korrekt -dvs. hypotese-dannende – og ikke som primære fund?

12. Kritisk Artikellæsning ”Faresignaler”: Investigator-bias – især indflydelse af økonomiske midler