Meta-analisi

1. Meta-analisi Giorgia De Berardis Lab. Epidemiologia Clinica del Diabete e delle Malattia Croniche

2. La meta-analisi: Perché? • L’efficacia di molti trattamenti viene • valutata da più trial cosa che ne rende indispensabile un resoconto sintetico. • Sono, insieme ai trial ben disegnati, le prove più valide dell’efficacia (o della non efficacia) dei trattamenti.

3. La meta-analisi: quando? Nei casi di incertezza nella valutazione di efficacia di un trattamento Quando i risultati dei singoli studi non sono univoci Quando i singoli studi sono effettuati su un campione di pazienti numericamente scarso (poco affidabili)

4. La meta-analisi: definizione META-ANALISI Metodologia statistica necessaria a combinare in modo esaustivo, obiettivo, quantitativo e sistematico i risultati di studi diversi condotti su argomenti analoghi La combinazione dei dati diminuisce l’imprecisione dei risultati dei singoli studi

5. Meta-analisi Systematic reviews Meta-analyses

6. Revisioni sistematiche Ricerche scientifiche vere e proprie con un protocollo che definisce un preciso obiettivo e descrive fonti e metodi utilizzati per • ricercare, • selezionare • sintetizzare quantitativamente gli studi primari su un determinato argomento minimizzando i numerosi bias

7. Revisioni sistematiche Revisionitradizionali Quesito Fonti di informazione e loro ricerca Selezione Valutazione qualità degli studi Sintesi Inferenze Di solito su problematiche ampie Generalmente non pecificate, potenzialmente soggette a bias Generalmente non pecificata, potenzialmente soggetta a bias Variabile Di solito sintesi qualitativa A volte evidence based Di solito focalizzato su uno specifico problema Ricerca esaustiva, utilizzando strategie di ricerca esplicite Basata su criteri specifici, uniformemente applicati Valutazione critica rigorosa Sintesi quantitativa Abitualmente evidence based Ann Intern Med 1997; 126:376-380

8. The CochraneCollaboration Network internazionale che ha l’obiettivo di: • preparare • aggiornare • disseminare revisioni sistematiche degli studi controllati sugli effetti dell’assistenza sanitaria e, laddove non sono disponibili studi clinici controllati, revisioni sistematiche delle evidenze comunque disponibili www.cochrane.org www.thecochranelibrary.com www.cochrane

9. The Cochrane Collaboration Il lavoro della CochraneCollaboration viene distribuito con la CochraneLibrary che contiene diversi database: Database Total Records The Cochrane Database ofSystematicReviews (CochraneReviews) 6909 Database of Abstracts of Reviews of Effects (DARE) 15950 The Cochrane Central Register of Controlled Trials (CENTRAL) 661393 The CochraneMethodologyRegister (MethodologyRegister) 14985 Health Technology Assessment Database (HTA) 10532 NHS EconomicEvaluation Database (NHS EED) 11441 About The Cochrane 80

10. Le fasi di una revisione sistematica Formulazione del quesito clinico Ricerca degli studi relativi al quesito clinico Selezione sistematica in base a specifici criteri di inclusione degli studi rilevanti eleggibili Estrazione dei dati Valutazione della qualità metodologica degli studi Sintesi quantitativa (meta-analisi) o qualitativa Sensitivityanalysis e subgroupanalysis, se appropriati Report della revisione

11. Formulazione del quesito • Obiettivo dello studio • Per validare i risultati in un’ampia popolazione • Per dare il via a nuovi studi • Porre il quesito sia in termini biologici, sia clinici specificando con definizioni operative • Popolazione • Intervento/Esposizione • Confronti • Outcomes (sia in termini di benefici sia di rischi) • Tipo di studio

12. Ricerca degli studi • Ricerca mediante l’aiuto di un esperto in ricerche bibliografiche • Specifica delle restrizioni della lingua • Possibili fonti includono: • Database bibliografici (PubMed, EMBASE, CENTRAL, …) • Revisioni • Abstracts, Atti di congressi • Registri dei trial • Industrie • Ricerca manuale • …

13. Selezione ed estrazione degli studi • Gli studi eleggibili identificati sono selezionati in base ai criteri di inclusione ed esclusione predefiniti • I dati necessari all’analisi sono estratti da più revisori mediante l’utilizzo di form predeterminati e confrontati • La qualità metodologica degli studi viene valutata e discussa tra i revisori • Si possono applicare strumenti di valutazione pubblicati • Criteri elaborati ed esplicitati dai revisori • Valutazione della qualità

14. La qualità dei trials Popolazione bersaglio Assegnazione del trattamento Selection bias Gruppo sperimentale Gruppo di controllo Esposto all’intervento Non esposto all’intervento Performance bias Attrition bias Follow up Follow up Detection bias Risultato Risultato

15. La qualità dei trials Riduzione del selectionbias: • Randomizzazione • Mascheramento della sequenza di randomizzazione Riduzione del performance bias: • Blinding del paziente e del medico

16. La qualità dei trials Riduzione dell’attritionbias: • Gestione dei dropout: adeguata se gli studi forniscono una descrizione completa di tutti i pazienti che escono dallo studio e se i dati sono stati analizzati secondo il metodo dell’intention-to-treat (ITT) • Entità dei dropout: una perdita al follow-up minore del 15% è considerata adeguata • Dropout selettivo: una differenza nel tasso di dropout tra i gruppi principali di trattamento minore del 10% è ritenuta adeguata Riduzione del detection bias: • Blinding sulla valutazione dell’outcome.

17. La qualità dei trials Does quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analyses? D. Moher, B. Pam, A. Jones et al Lancet 1998; 352:609-613. Evaluation of 11 meta-analyses involving 127 RCTs Main findings Low-quality trials , compared with high-quality trials, were associated with an increased estimate of benefit of 34%. Trials that used inadequate allocation concealment, compared with those that used adequate methods, were also associated with a 37% increased estimate of benefit. The average treatment benefit was 39% for all trials, 52% for low-quality trials, and 29% for high-quality trials.

18. La qualità dei trials Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials KF Schultz, I Chalmers, RJ Hayes, DG Altman JAMA 1995; 273:408-412. Evaluation of 33 meta-analyses involving 250 RCTs Main findings Odds ratios were exaggerated by 41% for trials that used inadequate allocation concealment, and by 30% for unclearly concealed trials. Trials that were not double-blinded also yielded larger estimate effects, with odds ratios being exaggerated by 17%.

19. Come si utilizzano i dati dei vari studi in una meta-analisi? I risultati dei vari studi vengono combinati in modo quantitativo e pesato Combinazione quantitativa non equivale a somma aritmetica; I risultati osservati nei pazienti inclusi in uno studio non vengono mai sommati con quelli di un altro studio; L’effetto del trattamento viene misurato all’interno dei singoli studi e “impiegato” in funzione della precisione (o meglio della variabilità) dell’effetto osservato, espresso come funzione inversa del numero di pazienti studiati. Si attribuisce ai diversi studi un peso differente a seconda della numerosità del campione studiato. Più è grande uno studio e più esso influenzerà il risultato globale della meta-analisi.

20. Stima dell’effetto I.C. 95% Deaths/Patients variance O-E Treatment Control O-E 52/97 69/101 -11.3 27.6 693/927 720/915 -35.0 315.6 0.0 0.5 1.0 1.5 2.0 Stima cumulativa Treatment better Treatment worse Forest plot

21. Tamoxifenforearlybreastcancer: anoverviewof the randomisedtrials Lancet 1998; 351:1451-67

22. Misure Outcome Dicotomico Continuo Standardized Mean Difference (SMD) Mean Difference (MD) Odds Ratio (OR) Relative Risk (RR) Risk Difference (RD)

23. Misure Quandousare MD o SMD • MeanDifference • Quando gli studi hanno outcome con misure confrontabili (es. stessa scala) • Una meta-analisi che usa le MD è conosciuta come weightedmeandifference (WMD) • StandardizedMeanDifference • Quando gli studi utilizzano outcome con misure diverse (es. scale differenti) • Converte le diverse scale in una scala comune: numero di deviazioni standard

24. Eterogeneità L’eterogeneità si verifica quando c’è variabilità tra gli studi inclusi. Può essere dovuta a diversi fattori: CLINICA • Caratteristiche della popolazione • Disegno dello studio (tipo di disegno, procedure di selezione, fonti di informazioni, modalità di raccolta dati) • Metodi statistici differenti, e differente utilizzo delle variabili di aggiustamento (se rilevante) METODOLOGICA STATISTICA

25. Omogeneità Fixedeffectsmodel Randomeffectsmodel Eterogeneità Eterogeneità In presenza di eterogeneità potrebbe non essere appropriato combinare i risultati. Per verificare la presenza di eterogeneità è necessario esaminare statisticamente il grado di similitudine degli outcome dei diversi studi. Il test misura se le differenze tra i risultati dei singoli studi sono più grandi di quelli che ci si aspetterebbe se tutti gli studi avessero misurato lo stesso effetto e se le differenze osservate fossero dovute solamente al caso. Più è significativo il test di eterogeneità, minore è la probabilità che le differenze osservate siano dovute solamente al caso, indicando che altri fattori (per esempio il disegno dello studio, i pazienti, l’intervento o l’esito) siano responsabili delle differenze, negli effetti del trattamento, tra gli studi.

26. Eterogeneità Fixedeffectsmodel Modello che si basa sull’assunzione che ci sia omogeneità di effetto tra gli studi (le differenze osservate tra gli studi sono dovute al caso). Randomeffectsmodel Modello che tiene in considerazione della eterogeneità tra gli studi. Assume che ciascuno studio abbia una propria stima dell’effetto e che ci sia una distribuzione casuale delle stime dell’effetto dei diversi studi intorno al valore centrale.

27. Test statistici di eterogeneità • chi quadro • p value: la differenza tra le popolazioni di riferimento è reale o casuale? Se p > 0,05 non c’è eterogeneità (differenza casuale), se < 0,05 c’è eterogeneità (differenza reale) • Inconsistenza:I²descrive la percentuale della variabilità dell’effetto della stima che è riferibile alla eterogeneità piuttosto che al caso (variabilità campionaria). • I2 <25%  bassa eterogeneità • I2 <50%  eterogeneitàmoderata • I2 >50%  elevataeterogeneità • (Higgins JPT et al. BMJ 2003;327:557-60)

28. Eterogeneità non presente

29. Eterogeneità presente

30. Eterogeneità non presente Q=0.94; P=0.92; I2=0% Eterogeneità presente 12 Q=13.21; P=0.02; I2=62.2% De Berardis et al. BMJ 2009;339:b4531

31. Come trattare l’eterogeneità • 1. Non effettuare la meta-analisi • 2. Ignorare l’eterogeneità: usare i fixedeffectsmodel • Difficoltà nell’interpretazione delle stime • 3. Incorporare l’eterogeneità: usare i randomeffectsmodel • 4. Esplorare l’eterogeneità • Analisi di sottogruppi • Meta-regression • Stratificazione • Sensitivity analysis • Identificazionedeglioutliers

32. Limiti della meta-analisi • Qualità degli studi • Mancanza di tutte le informazioni necessarie nei singoli RCT • Eterogeneità • Publication bias

33. Limiti della meta-analisi • Qualità degli studi • Mancanza di tutte le informazioni necessarie nei singoli RCT • Eterogeneità • Publication bias

34. Limiti della meta-analisi • Qualità degli studi • Mancanza di tutte le informazioni necessarie nei singoli RCT • Eterogeneità • Publication bias

35. Publicationbias • Diversa probabilità di pubblicazione di risultati positivi rispetto a quelli negativi • Determina la presenza di un bias (di solito un incremento nel RR) nelle medie stimate dei risultati Identificazione mediante funnel-plot

36. 100000 10000 1000 100 10 Funnel plot Stima cumulativa dell’effetto N° pazienti arruolati 0,1 1 10 A favore del trattamento A favore del controllo Rischio relativo

37. 100000 10000 1000 100 10 Funnel plot Stima cumulativa dell’effetto N° pazienti arruolati 0,1 1 10 A favore del trattamento A favore del controllo Rischio relativo Rischio relativo

40. I diversi approcci alla meta-analisi Dipende dalla qualità delle informazioni disponibili, dalla omogeneità negli end-points utilizzati, delle modalità di analisi dell’efficacia, ecc. MA dati letteratura Possibilità di verificare e correggere i dati, di aggiungere nuove informazioni, di eseguire altre analisi, su sottogruppi diversi, ecc. MA dati individuali Accordo preliminare su disegno studio, popolazioni, end-points, analisi per sottogruppi, ecc. MA prospettica

41. Vantaggi • Consente un riassunto quantitativo dell’evidenza • scientifica < • Minor peso delle valutazioni soggettive rispetto alle revisioni • tradizionali • Aumento della potenza del risultato in caso di studi con campioni piccoli • Consentono analisi sui sottogruppi • Aumento della generalizzabilità mediante aumento del campione (purchè omogeneo) • Sono relativamente rapide e poco costose

42. Svantaggi • L’elevata numerosità delle meta-analisi fa sì che differenze anche modeste tra trattamento sperimentale e controlli raggiungano la significatività statistica • La minor probabilità di pubblicazione di trials con risultati negativi amplifica il peso dei trial con esito positivo • La qualità delle meta-analisi dipende dalla qualità degli studi • Una meta-analisi può individuare ma non correggere bias di pubblicazione (bias di selezione) o errori metodologici di conduzione degli studi (bias di informazione/selezione) • Richiedono lo stesso rigore metodologico degli studi “primari” e possono essere egualmente affette da errori sistematici

43. Quando non è opportuna • Se gli studi sono clinicamente molto diversi (interventi o outcome diversi) • Se gli studi sono di scarsa qualità metodologica • Se la revisione della letteratura non ha eliminato il pubblicationbias.

44. PRISMA: Preferred Reporting Items for Systematic reviews and Meta-Analyses