Jak zjeść tę żabę? czyli jak wybrać optymalną metodę analizy statystycznej

1. Jak zjeść tę żabę? czyli jak wybrać optymalną metodę analizy statystycznej w zależności od danych, jakie posiadasz? Mateusz Nikodem, Kamil Siedmiogrodzki CASPolska, Instytut Arcana, Kraków VIII Konferencja PTFE, Warszawa 02.12.2010

2. Plan warsztatów - część I Jak dobrze wybierać metody statystyczne? • Dlaczego to jest ważny i niełatwy problem? • Jaki mamy wachlarz możliwości? • Jak oceniamy wiarygodność i precyzję metod statystycznych? • Jakie są główne wnioski: wskazówki i przestrogi?

3. Plan warsztatów - część II Przykładowe analizy • Porównanie bezpośrednie - rzadkie zdarzenia • Porównanie pośrednie • Porównanie bezpośrednie - włączenie dodatkowych badań

4. Plan warsztatów - część III Podsumowania • Quiz • Dyskusja

5. Global e-Learning Tool with AdvancedComputing Software11.2009-10.2011

6. Główne cele • Budowa platformy e-learningowejzawierającej: • materiały o przeprowadzaniu meta-analiz badań bezpośrednich i analizy pośredniej z uwzględnieniem metod Bayesowskich(również pod kątem włączania badań innych niż RCT), • praktyczne przykłady, • przyjazne oprogramowanie obliczeniowe. • Opracowanie schematu wyboru optymalnej metody statystycznej do analizy danych. • Publikacja artykułów z zakresu badań prowadzonych w projekcie. • Rozpowszechnianie zdobytej wiedzy.

7. PartnerzyProjektu • CASPolska – Polska (koordynator) • Queen Mary University of London – Wielka Brytania • AcademicMedical Center Amsterdam – Holandia • EMMERCE EEIG – Szwecja

8. Grupydocelowe Projekt skierowany jest głównie do Analityków znających podstawy EBM, m.in.: • Analityków danych medycznych, • Specjalistów Farmakoekonomii, • Naukowców / badaczy, • Lekarzy.

9. Rezultaty - już uzyskane • strona internetowa www.ebayesmet.org

10. Rezultaty - już uzyskane • strona internetowa www.ebayesmet.org

11. Rezultaty - już uzyskane • Strona internetowa www.ebayesmet.org • Przegląd metod statystycznych mogących mieć zastosowanie w meta-analizach, • Przegląd metod statystycznych stosowanych w raportach HTA, • Analiza wiarygodności i precyzji zidentyfikowanych metod statystycznych.

12. Rezultaty - w trakcie realizacji • Platforma e-learningowa, • Schemat wyboru optymalnej metody (samouczek), • Proste w obsłudze oprogramowanie obliczeniowe, • Artykuły naukowe. /Zakończenie Projektu: 10.2011/

13. Dlaczego jest ważny problem? W oparciu o wyniki meta-analiz: • weryfikowane są hipotezy dot. skuteczności / bezpieczeństwa, • obliczane są dalsze parametry kliniczne (jak NNT), wpływające również na wyniki analizy ekonomicznej, • poszerzamy stan naszej wiedzy.

14. Identyfikacja potrzeb Potrzeba prowadzenia meta-analiz jest niepodważalna. • Jest wiele narzędzi statystycznych, dających różne wyniki dla tych samych danych. • Najpopularniejsze metody nie zawsze dają satysfakcjonujące i wiarygodne wyniki. • Wiedza o niektórych metodach jest niewystarczająca. • Dużym problemem jest agregacja różnego typu danych np.: • łączenie analizy pośredniej i bezpośredniej, • łączenie wyników badań RCT z CCT.

15. Cele - czego chcemy nauczyć? Kroki niezbędne do przeprowadzenia właściwej analizy (z punktu widzenia obliczeń statystycznych): • sklasyfikowanie posiadanych danych, • określenie pełnej palety metod statystycznych możliwych do użycia dla naszych danych, • wybór najbardziej właściwej metody ze względu na wszystkie istotne czynniki, • poprawne przeprowadzenie obliczeń i wyciągnięcie wniosków.

17. Założenia - na czym się skupiamy • Badania na dwóch grupach pacjentów • Dane dychotomiczne (0-1) • Parametr: iloraz szans - OR, ryzyko względne - RR • Analiza bezpośrednia • Analiza pośrednia i mieszana

18. Jakie są dostępne metody statystyczne? Przeprowadzono przeglądy systematyczne: • Systematic review of statistical methods of meta-analysis and indirect comparison potentially available to use in systematic reviews • główne wyszukiwania w: • MEDLINE • MathSciNet • Systematic review of methods for meta-analysis and indirect comparison used in systematic reviews and HTA reports • wyszukiwanie przez Centre of Reviews and Dissemination (CRD) - bazy DARE (m.in. przeglądy Cochrane) i HTA - - losowa próba przeglądów

19. Jakie są dostępne metody statystyczne? Porównania bezpośrednie Model Random effects Model Fixedeffect InverseVariance DerSimonian - Laird Metody Bayesowskie Mantel-Haenszel GeneralisedLinearMixedModels Peto

20. Jakie są dostępne metody statystyczne? Analiza pośrednia/mieszana Metody analityczne Podejście Bayesowskie Generalisedlinearmixedmodels Bűcher Metoda Najmniejszych Kwadratów MixedTreatmentComparison Lumley’snetworkanalysis

21. Co jest powszechnie stosowane?

22. Co jest powszechnie stosowane?

23. Jak oceniać metody statystyczne? Idea M. Bradburna, J. Deeksa i współautorów [1] • Ustalenie liczby badań i liczności grup pacjentów. • Ustalenie wartości prawdopodobieństw wystąpienia punktów końcowych (a więc i ustalenie wartości OR). • Losowe wygenerowanie dużej liczby (np. 1000) wyników zbiorów badań odpowiadających ustalonym prawdopodobieństwom. • Przeprowadzenie metaanalizy poszczególnymi metodami dla każdego (z 1000) wyniku zbioru badań. • Przyrównanie wyników z prawdziwą wartością OR.

24. Jak ocenić wiarygodność metody statystycznej? Jakie zbiory danych braliśmy pod uwagę? • Porównania bezpośrednie Łącznie 124 kombinacje wartości prawdopodobieństw i zbiorów danych dla porównań bezpośrednich.

25. Jak ocenić wiarygodność metody statystycznej? Jakie zbiory danych braliśmy pod uwagę? • Porównania pośrednie: na każdej bezpośredniej gałęzi po 3 badania, w każdym z nich od 50 do 150 pacjentów w obu grupach Łącznie 80 kombinacji wartości prawdopodobieństw dla porównań pośrednich

26. Jakie metody statystyczne poddaliśmy analizie? * omówione w dalszej części

27. Parametry oceny • Błąd systematyczny, obciążenie (bias) Różnica względna między prawdziwą wartością OR, a średnią z wartości otrzymanych w próbie losowej. • Pokrycie przedziałem ufności Procent symulacji dla których przedział ufności zawiera prawdziwy OR. • Istotność statystyczna Procent symulacji dla których otrzymujemy wynik istotny statystycznie we właściwym kierunku.

28. Główne cele meta-analiz • Oszacowanie (możliwie dokładne) wartości szukanego parametru: szacowanyiloraz szans wynosi 1.67, przy 95% zakresie niepewności (przedziale ufności) (1.02;2.75) • Weryfikacja hipotezy: hipoteza: lek A jest równie bezpieczny/skuteczny jak lek B (na ustalonym, zwykle 95%, poziomie ufności).

29. Parametry oceny - co jest najważniejsze? • Błąd Systematyczny, oznacza regularną rozbieżność między estymowanym wynikiem a prawdziwą wartością. • Pokrycie Przedziałem Ufności (PPU), im niższe tym mniejsza szansa, że 95% przedział ufności faktycznie zawiera prawdziwą wartość OR. Może być związane z szerokością przedziału jak i z błędem systematycznym • Moc Statystyczna - im większa, tym większa szansa uzyskania istotnego wyniku. Wysoka istotność często jest związana z wąskimi przedziałami ufności, a więc i niskim PPU

30. O istotności statystycznej..

31. O istotności statystycznej.. ;)

32. Klasyfikacja danych Przyjmujemy umowne określenia: Duży zbiór danych:łącznie powyżej1000 pacjentów w każdej z grup, Średni zbiór danych: łącznie powyżej300 pacjentów w każdej z grup, Mały zbiór danych: łącznie mniej niż 300 pacjentów w każdej z grup, Zbalansowany zbiór danych: łączne liczności pacjentów w obu grupach są zbliżone do siebie.

33. Klasyfikacja danych Zdarzenia rzadkie: zdarzenia występujące u mniej niż u 5% pacjentów w przynajmniej jednej z grup. Uwaga! W związku z symetrią parametru OR tak samo klasyfikujemy przypadki, gdy zdarzenia występują u 95% lub więcej pacjentów. Istotna różnica w częstościach zdarzeń: (nieformalnie) OR > 2.5 (lub OR < 0.4)

34. Główne wnioski z naszej analizy

35. Duży, zbalansowany zbiór danych

36. Duży, zbalansowany zbiór danych

37. Duży zbiór danych, niezbalansowany Główne wnioski jak w przypadku zbalansowanym, przy czym:

38. Średni zbiór danych Główne wnioski jak w przypadku zbalansowanym, przy czym:

39. Duży zbiór danych - heterogeniczność

40. Duży zbiór danych - heterogeniczność

41. Mały zbiór danych

42. Mały zbiór danych

43. Mały zbiór danych (!)

44. Wnioski - porównanie pośrednie Uwzględnienie zarówno bezpośrednich jak i pośrednich wyników - poprzez użycie Mixed Treatment Comparison lub Generalized Linear Mixed Model znacznie podniesie moc statystyczną, przy zachowaniu zbliżonych wartości PPU i błędu systematycznego.

45. Wnioski - podsumowanie • Metodę Peto można stosować tylko w szczególnych przypadkach3. • Należy pamiętać, że metoda Mantela-Haenszla jest mało konserwatywna. • Metoda Bayes II jest znakomitym rozwiązaniem dla analizy rzadkich zdarzeń. • Metoda Bayes Random daje największą pewność w sensie PPU. • Metody Bayes I i Inverse Variance są metodami uniwersalnymi dającymi relatywnie dobre wyniki dla wszystkich zbiorów danych. • Dla małych zbiorów danych warto rozważyć Bayes +CCT w wersjach sceptic lub equivalent. • Dla podniesienia mocy statystycznej warto łączyć porównania bezpośrednie z pośrednimi (np. z użyciem MTC).

47. Plan warsztatów - część II Przykładowe analizy: • porównania bezpośrednie – „head to head” Cel: przedstawienie palety dostępnych metod statystycznych do meta-analiz oraz rozbieżności wyników uzyskanych za ich pomocą. • porównania pośrednie Cel: zwrócenie uwagi na metody pozwalające łączyć dowody różnego rodzaju, bezpośrednie i pośrednie. • analizy z uwzględnieniem badań obserwacyjnych Cel: przedstawienie korzyści wynikających z włączenia do PS badań o niższym poziomie wiarygodności – co dalej gdy RCT nie wystarczają do udzielenia odpowiedzi na pytania- przykład ze zdarzeniami rzadkimi.

48. Skąd pochodzą przykłady? • Porównania bezpośrednie: Etanercept for the treatment of rheumatoid arthritis. Blumenauer BBTB, Cranney A, Burls A, Coyle D, Hochberg MC, Tugwell P, Wells GA. • Porównania pośrednie: Gabapentin Versus Tricyclic Antidepressants for Diabetic Neuropathy and Post-Herpetic Neuralgia: Discrepancies Between Direct and Indirect Meta-Analyses of Randomized Controlled Trials. Chou R, Carsan S, Chan B. • Analizy z uwzględnieniem badań obserwacyjnych: Bisphosphonates and artial fibrillation: Bayesian meta-analyses of randomized controlled trials and observational studies. Mak A, Cheung M, Chun-Man Ho R, Check A, Lau C.

49. Jak obliczono wyniki do przykładów? • Porównania bezpośrednie: „Bayes I” – metoda bayesowska stosowana głównie do modeli typu fixed. W obliczeniach wykorzystuje policzone uprzednio wspólczynniki OR bądź RR wraz z przedziałami ufności każdego z osobna badania włączonego do meta-analizy. Bazuje na założeniu o normalności zlogarytmowanego OR lub RR odpowiednio. „Bayes II” – metoda bayesowska stosowana głównie do modeli typu fixed. W obliczeniach wykorzystuje jałowe dane mówiące o liczbie zdarzeń w obserwowanej grupie. Opiewa na założeniu, iż liczba zaobserwowanych zdarzeń jest pewną realizacją procesu Bernouliego.

50. Jak obliczono wyniki do przykładów? • Porównania bezpośrednie: „Bayes random” (hierarchical) – metoda bayesowska dedykowana do modeli typu random effects. W obliczeniach wykorzystuje policzone uprzednio współczynniki OR bądź RR wraz z przedziałami ufności każdego z osobna badania włączonego do meta-analizy. Podobnie do metody DerSimonian-Laird zawiera dodatkowe źródło losowości ale o innym charakterze.