Agnieszka Buda III rok OAM

1. Ocena wartości diagnostycznej testu – obliczanie czułości, swoistości, wartościpredykcyjnych testu. Krzywe ROC. Agnieszka Buda III rok OAM

2. Test diagnostyczny Testem diagnostycznym posługujemy się, by odróżnić obiekty z daną cechą - oznaczone jako (+), np. osoby chore od obiektów bez danej cechy oznaczone jako (–), np. osoby zdrowe. Aby test diagnostyczny mógł być uznany za wartościowy, powinien dawać stosunkowo niewielką liczbę błędnych klasyfikacji.

3. Wyniki prawdziwie dodatnie i prawdziwie ujemne, fałszywie dodatnie i fałszywie ujemne Załóżmy, że przy pomocy testu diagnostycznego badamy występowanie danej cechy (najczęściej choroby) i znamy rzeczywistość (tzw. gold-standard) czyli wiemy, czy ta cecha rzeczywiście występuje u badanych osób. Na podstawie tych informacji możemy zbudować tabelę kontyngencji 2 × 2

4. Wyniki prawdziwie dodatnie i prawdziwie ujemne, fałszywie dodatnie i fałszywie ujemne Wystąpienie wartości prawidłowej w próbce pochodzącej od osoby chorej jest określane jako wynik fałszywieujemny (FN). Podobnie wystąpienie wyniku nieprawidłowego w próbce pochodzącej od osoby zdrowej jest określane jako wynik fałszywie dodatni (FP). Podobnie wyniki prawidłowe u osób zdrowych klasyfikuje się jako prawdziwieujemne (TN) i wyniki nieprawidłowe u osób chorych jako prawdziwie dodatnie (TP).

5. Czułość i swoistość diagnostyczna testu • Każdy test diagnostyczny może w niektórych przypadkach uzyskać wyniki różne od wyników rzeczywistych, na przykład test diagnostyczny na podstawie otrzymanych parametrów klasyfikuje pacjenta do grupy osób chorych na daną chorobę, bądź zdrowych. W rzeczywistości ilość osób zakwalifikowanych do powyższych grup przez test może się różnić od ilości osób rzeczywiście zdrowych i rzeczywiście chorych. • Poprzez ilość wyników sklasyfikowanych jako TP, FP, TN i FN definiuje się pojęcia czułości i swoistości diagnostycznej testu.

6. Czułość diagnostyczna Czułość diagnostyczna wyraża proporcję osób w grupie chorych, które miały dodatni wynik testu i zostały poprawnie zidentyfikowane jako chorzy. Czułość jest więc miarą zdolności danego testu do rozpoznania choroby:

7. Swoistość diagnostyczna Swoistość diagnostyczna odpowiada odsetkowi osób zdrowych, które miały ujemny wynik testu, a zatem za pomocą ocenianego testu poprawnie wykluczono chorobę:

8. Wartości predykcyjne dodatnie i ujemne oraz współczynnik chorobowości • Wartość predykcyjna dodatnia (PPV) – prawdopodobieństwo, że osobnik miał chorobę mając pozytywny wynik testu. Jeśli więc badana osoba otrzymała pozytywny wynik testu, to PPV daje jej informację na ile może być pewna, że cierpi na daną chorobę. • Wartość predykcyjna ujemna (NPV) – prawdopodobieństwo, że osobnik nie miał choroby mając negatywny wynik testu. Jeśli więc badana osoba otrzymała negatywny wynik testu, to NPV daje jej informację na ile może być pewna, że nie cierpi na daną chorobę.

9. Wartości predykcyjne dodatnie i ujemne są zależne od rozpowszechnienia choroby (od współczynnika chorobowości). Współczynnik chorobowości (częstość występowania, PV- prevalence) – prawdopodobieństwo wystąpienia choroby w populacji, dla której przeprowadzony był test diagnostyczny.

10. Iloraz wiarygodności wyniku dodatniego i iloraz wiarygodności wyniku ujemnego • Iloraz wiarygodności wyniku dodatniego, LR+ – miara ta pozwala na porównywanie dopasowania wyników kilku testów do tzw. gold-standard i nie jest zależna od rozpowszechnienia choroby. Jest to iloraz dwóch szans: szansy na to, że pozytywny wynik testu otrzyma osoba z grupy chorych do szansy, że ten sam efekt będzie obserwowany wśród osób zdrowych.

11. Iloraz wiarygodności wyniku ujemnego, LR- – jest to iloraz dwóch szans: szansy na to, że negatywny wynik testu otrzyma osoba z grupy chorych do szansy, że ten sam efekt będzie obserwowany wśród osób zdrowych.

12. Dokładność – prawdopodobieństwo prawidłowej diagnozy przy wykorzystaniu testu diagnostycznego. Jeśli więc badana osoba otrzymała pozytywny lub negatywny wynik testu, to Acc daje jej informację o tym na ile może być pewna postawionej diagnozy. • Czułośćiswoistośćsąnajczęściejwykorzystywanymimiaramiisąpodstawą do konstrukcjikrzywej ROC

13. Krzywe ROC (receiver operating characteristics) Krzywe ROC służą do wyznaczenia optymalnego punktu odcięcia dzielącego zbiorowość na dwie grupy: w której występuje dane zjawisko np. choroba i w której brak zjawiska. Ponadto służą do oceny mocy diagnostycznej testu, a także jakościowego porównania dokładności kilku testów.

14. Konstrukcja krzywej ROC • Krzywa ROC ilustruje związek miedzy czułością a swoistością Dla każdego z możliwych punktów odcięcia obliczamy czułość i swoistość, a następnie zaznaczamy je w układzie współrzędnych, gdzie na osi odciętych jest (1-swoistość)- wyniki fałszywie dodatnie, a na osi rzędnych czułość- wyniki prawdziwie dodatnie. Uzyskane punkty są ze sobą połączone. Powstała w ten sposób krzywa, a w szczególności pole pod nią, obrazuje jakość klasyfikacyjną analizowanej zmiennej diagnostycznej. Gdy krzywa ROC pokrywa się z przekątną y = x, to decyzja podejmowana na podstawie zmiennej diagnostycznej jest tak samo dobra jak losowy podział badanych obiektów na grupy (+) i (–).

15. Punkt odcięcia(Wartość graniczna) Przy użyciu krzywych ROC dokonuje się wyboru optymalnego punktu odcięcia, czyli pewnej wartości zmiennej diagnostycznej, która najlepiej dzieli badaną zbiorowość na dwie grupy: (+) w której występuje dane zjawisko (kodowanej jako 1) i (–) w której dane zjawisko nie występuje (kodowanej jako 0). Wartość zmiennej zależnej należy do przedziału (0, 1)

16. Ważne jest wybranie odpowiedniego punktu odcięcia, czyli takiej wartości a , że jeśli y < a to obiekt przyporządkowujemy do klasy kodowanej przez 0, jeśli y >/= a to do klasy kodowanej przez 1. Błędne klasyfikacje do dwóch klas mogą mieć bardzo rożny koszt. Na przykład, w klasyfikowaniu pacjentów do grup ryzyka gorszym błędem jest traktowanie chorego pacjenta jako zdrowego niż odwrotnie. Dobry model to taki, który minimalizuje liczbę błędów, czyli FP oraz FN.

17. Punkt odcięcia. Wobec zachodzenia na siebie rozkładów zawsze pewna ilość osób zdrowych będzie mieć wartości mierzonego parametru poza wartością graniczną, natomiast w grupie osób chorych pewna ilość badanych będzie mieć wartości mierzone poniżej wartości granicznej, a więc mieszczące się w zakresie referencyjnym.

18. Wyznaczanie punktu odcięcia. • Krzywe ROC zawierają wszystkie możliwe pary czułości i swoistości wyznaczone z danych eksperymentalnych dla badanego testu laboratoryjnego. Jednakże, aby można go było zastosować do dalszego leczenia pacjenta należy wybrać jeden próg decyzyjny odpowiadający optymalnemu punktowi odcięcia. Wymaga to uwzględnienia kosztów niepożądanych błędów, czyli fałszywie dodatniej i fałszywie ujemnej klasyfikacji oraz częstości występowania choroby P (prevalence).

19. Wzór, który łączy oba elementy przyjmuje postać: gdzie: m – współczynnik kierunkowy prostej stycznej do krzywej ROC w najlepszym punkcie operacyjnym

20. Optymalnym punktem odcięcia jest punkt krzywej ROC znajdujący się najbliżej punktu o współrzędnych (0, 1). Punkt o współrzędnych (0, 1), to punkt o czułości równej 1 (wszystkie obiekty wybranej klasy wykryto) i swoistości równej 1 (nie uznano błędnie żadnego obiektu za obiekt wybranej klasy). Jeśli dla pewnego punktu odcięcia klasy są całkowicie odseparowane i wskazania modelu dobre, to krzywa ROC przechodzi przez ten punkt.

21. Ocena mocy diagnostycznej testu. Porównanie kilku testów. • Wykresy krzywych ROC dla wyników kilku testów mona umieścić wspólnie na jednym wykresie. Pozycja krzywej ROC (bliskość lewego górnego rogu rysunku) daje jakościową informację o dokładności testu. Natomiast położenie dwu lub więcej krzywych dostarcza jakościowego porównania dokładności kilku testów. Krzywa leżąca powyżej od innej, odpowiada testowi o wyższej sile diagnostycznej. Wykres krzywych ROC daje bezpośrednie, natychmiastowe porównania miedzy testami na wspólnej skali

22. Na wykresie są przedstawione trzy krzywe ROC, reprezentujące bardzo dobre, dobre i bezwartościowe badania. Żółta krzywa pokazuje doskonały test, krzywa granatowa odzwierciedla bezwartościowe badania, a krzywa różowa badania dobre.

23. Pole pod krzywą ROC Krzywa ROC daje możliwość bezpośredniej oceny mocy diagnostycznej testu przy danej wartości granicznej. AUC (ang. area under curve) – wielkość pola pod krzywą ROC mieści się w przedziale < 0; 1 >. Im większe jest pole, tym dokładniej zaklasyfikujemy obiekty do grupy (+) i (–) na podstawie analizowanej zmiennej diagnostycznej, tym większa moc diagnostyczna testu. Większość testów używanych w diagnostyce reprezentuje moc diagnostyczną wyrażającą się wielkościami AUC pomiędzy 0,8 i 0,95.

24. By klasyfikacja była lepsza niż losowy podział obiektów do dwóch klas, pole pod krzywą ROC powinno być istotnie większe niż pole pod prostą y = x czyli niż 0.5.

25. DZIĘKUJĘ ZA UWAGĘ.