Beurteilung von Testverfahren Priv.-Doz. Dr. rer. nat. Ute Latza, MPH Leiterin der Betrieblichen Epidemiologie

1. Freie und Hansestadt Hamburg Behörde f. Wissenschaft u. Gesundheit Amt f. Gesundheit u. Verbraucherschutz Zentrum für Psychosoziale Medizin Universitätsprofessur für Arbeitsmedizin Block IV, QB Epidemiologie/ Med. Biometrie/ Med. Informatik, Vorlesung Biometrie, 1. Trimester 2006/07, Universitätsklinikum Hamburg-Eppendorf Beurteilung von Testverfahren Priv.-Doz. Dr. rer. nat. Ute Latza, MPH Leiterin der Betrieblichen Epidemiologie Ordinariat und Zentralinstitut für Arbeitsmedizin (ZfA) 30. November 2006, S18/HS

2. Was erwartet Sie hier? • Diagnostische Tests • Validität • Spezifität • Sensitivität • Prädiktiver Wert • Reliabilität • Screening-Test • Prä-/Posttest-Wahrscheinlichkeit (Likelihood Ratio)

3. Fragestellungen: Klinische Epidemiologie • Normalität • Güte diagnostische Testverfahren • Therapeutische Effektivität • Verlauf und Prognose von Krankheiten • Nebenwirkungen • Prävention in der klinischen Praxis (Screeningverfahren)

4. Diagnostische Testverfahren • Fragestellung: In wieweit kann ich als Arzt/Ärztin mit einem Testverfahren eine kurierbare Läsionen feststellen und keine Patienten fälschlicherweise als positiv diagnostizieren? • Zur Beurteilung eines Tests benötigt man einen sogenannten Goldstandard (= externe Informationsquelle über den wahren Gesundheitszustand eines Individuums) • Problem: Fehlende Standards für einige Erkrankungen • Zur Beurteilung werden Studien durchgeführt

5. Hypothetisches Beispiel für dichotome Ergebnisse: Wie gut war der Test? In einer Hühnerzucht mit 1000 Hühnern sind 100 Hühner mit der Vogelgrippe infiziert. Wir wollen herausbekommen, welches Huhn erkrankt und welches gesund ist. Dafür steht uns ein neuer ELISA-Test zur Verfügung. Die Ergebnisse sind wie folgt: • Wie genau konnten die Erkrankten korrekt als krank identifiziert werden? 80 / 100 = 0,8  80 % • Wie genau konnte der Test die Gesunden als nicht erkrankt erkennen? 800 / 900  89 %

6. Diagnostischer Test: Validität bei dichotomen Ergebnissen

7. Diagnostischer Test: Validität • Fragestellung: Liegt eine Krankheit vor oder nicht? • Tests sind oft Laboruntersuchungen • Validität(Güte) eines Tests • Wird bestimmt durch die richtige Zuordnung eines Person im Hinblick auf die Krankheit (Sensitivität und die Spezifität) • Sensitivität (Empfindlichkeit) gibt an, in wieweit Kranke korrekt als positiv erkannt werden: d / (c + d) • Spezifität gibt an, in wieweit Gesunde korrekt als negativ erkannt werden: a / (a + b)

8. Test bei kontinuierlichen Variablen:Beispiel Diabetes-Test I Diabetiker Nicht-Diabetiker ☻ ☻ ☺ hoch Blut- zucker niedrig ☺ ☻ ☻ ☻ • Diabetiker Nicht-Diabetiker • 20 20 • Sensitivität: 5 / 20  25 % • Spezifität: 18 /20  90 % ☺ ☻ ☻ ☺ ☺ ☻ ☻ + - ☺ ☺ ☻ ☺ ☻ ☻ ☺ ☺ ☺ ☻ ☺ ☻ ☻ ☺ ☺ ☻ ☻ ☺ ☻ ☺ ☺ ☺ ☻ ☻ ☺ ☺ In Anlehnung an Gordis 2001

9. Test bei kontinuierlichen Variablen: Beispiel Diabetes-Test II Diabetiker Nicht-Diabetiker ☻ ☻ ☺ hoch Blut- zucker niedrig ☺ ☻ ☻ ☻ • Diabetiker Nicht-Diabetiker • 20 20 • Sensitivität: 17 / 20  85 % • Spezifität: 6 / 20  30 % ☺ ☻ ☻ ☺ ☺ ☻ ☻ + - ☺ ☺ ☻ ☺ ☻ ☻ ☺ ☺ ☺ ☻ ☺ ☻ ☻ ☺ ☺ ☻ ☻ ☺ ☻ ☺ ☺ ☺ ☻ ☻ ☺ ☺ In Anlehnung an Gordis 2001

10. Beispiel Diabetes-Test: Realität • Keine vertikale Trennlinie zwischen den Gruppen Diabetiker und Nicht-Diabetiker • Wenn Grenzwert zu hoch: Personen mit darunter gelegenen Blutzuckerwerten werden beruhigt nach Hause geschickt ohne weitere Untersuchungen • Wenn Grenzwert zu niedrig: Viele Folgeuntersuchungen ☻ ☻ ☺ hoch Blut- zucker niedrig ☺ ☻ ☻ ☻ ☺ ☺ ☻ ☺ ☻ ☺ ☺ ☺ ☻ ☻ ☻ ☺ ☻ ☺ ☻ ☺ ☻ ☺ ☺ ☺ ☻ ☺ ☻ ☻ ☺ ☻ ☻ ☻ ☺ ☺ ☺ ☻ ☺ In Anlehnung an Gordis 2001

11. Verteilung von Blutzucker-Konzentrationen bei Diabetikern und Nicht-Diabetikern Aus Gordis 2001 (From Blumberg. Evaluationg health screening procedures. Operations Res 1957;5:351-60

12. Idealer Test • Sensitiv und spezifisch • Einfach und kostengünstig • Sicher und akzeptabel • Zuverlässig

13. Verwendung mehrerer Tests: Sequentielle Testung • Zuerst weniger teurer, weniger invasiver und leicht anwendbarer Test: Sensitivität: 350 / 500  70 % Spezifität: 7600 / 9500  80 % • Bei positiven Ergebnissen: Aufwändiger, invasiver Test mit höherer Sensitivität und Spezifität: Sensitivität: 315 / 350  90 % Spezifität: 1710 / 1900  90 % Netto-Sensitivität: 315 / 500 63 % Netto Spezifität: (7600 + 1710) / 9500 98 % In Anlehnung an Gordis 2001

14. Sensitivität und Spezifität • Sensitivität und Spezifität sind abhängig vom verwendeten Testverfahren und des gesetzten Grenzwerts • Wichtig: Sensitivität und Spezifität hängen zusammen • Wenn die Sensitivität verbessert wird, verschlechtert sich die Spezifität • ROC (receiver operator characteristic curve): graphische Darstellung der Güte eines Tests, zur Bestimmung eines geeigneten Grenzwertes eingesetzt • Ausweg: Besseres Testverfahren (falls vorhanden)

15. Hypothetisches Beispiel für dichotome Ergebnisse II • Welcher Anteil der Hühner mit positivem Testergebnis ist wirklich erkrankt? 80 / 180  44 % • Wie hoch ist die Wahrscheinlichkeit eines Huhnes nicht erkrankt zu sein, wenn das Ergebnis negativ ist? 800 / 820  98 %

16. Weiteres Kriterium: Prädiktiver Wert

17. Prädiktive Werte • Positiver prädiktiver Wert (Vorhersagewert): • Welcher Anteil der Personen mit einem positiven Testergebnis ist wirklich krank? • Zahl der richtig Positiven dividiert durch Zahl der echt und falsch Positiven: d / (b + d) • Negativer prädiktiver Wert • Wie hoch ist die Wahrscheinlichkeit einer Person nicht erkrankt zu sein, wenn das Testergebnis negativ ist? • Zahl der richtig Negativen dividiert durch Zahl der echt und falsch Negativen: a / (a + c) • Wichtig: Der positive und der negative prädiktive Wert hängen von der Spezifität und der Sensitivität des Test und von der Häufigkeit der Erkrankung ab

18. Beziehung zwischen positivem prädiktivem Wert und Krankheitsprävalenz Beispiel: Sensitivität 99 %, Spezifität 95 % • Krankheitsprävalenz 1 %: Prädiktiver Wert: 99 / 594  17 % • Krankheitsprävalenz 5 %: Prädiktiver Wert: 495 / 970  51 % In Anlehnung an Gordis 2001

19. Beziehung zwischen prädiktivem Wert und Krankheitsprävalenz • Je höher die Prävalenz, desto höher der positive prädiktive Wert • Deshalb Screening am aussichtsreichsten in Hoch-risikogruppe • Reihenuntersuchung in Bevölkerung im Hinblick auf seltene Erkrankung: Finanziell und ethisch nicht vertretbar In Anlehnung an Gordis 2001 (From Mausner J.S., Kramer S. (1985): Epidemiology. An Introductory Text)

20. Beziehung zwischen positivem prädiktivem Wert und Spezifität Beispiel: Prävalenz 10 %, Sensitivität 100 % • Spezifität 70 %: Prädiktiver Wert: 1000 / 3700 27 % • Spezifität 95 %: Prädiktiver Wert: 1000 / 1450  69 % Fazithier: • Je höher die Spezifität, desto höher der prädiktive Wert • Spezifität hat größeren Einfluss auf prädiktiven Wert als Sensitivität (Grund: seltene Erkrankung, d.h. viele Gesunde) In Anlehnung an Gordis 2001

21. Reliabilität eines Tests • Ist der Test reliabel (zuverlässig) und wiederholbar? • Abweichungen durch • Variabilität bei einer Testperson (intraindividuelle Variabilität) • Variabilität zwischen den Untersuchern (Untersucher-Variabilität)

22. Beziehung zwischen Validität und Reliabilität • Reliable, nicht valide Testergebnisse • Valide, nicht reliable Testergebnisse • Valide, reliable Testergebnisse In Anlehnung an Gordis 2001

23. Screening Test • Screening Tests unterscheiden zwischen gesunden und möglicherweise erkrankten Menschen • In der Regel keine Diagnose, sondern Nachuntersuchungen erforderlich • Anforderungen an Screeningtest prinzipiell wie an diagnostischen Test (z.B. funktionstüchtiges Testverfahren) • Höhere Anforderungen betr. • Sicherheit eines Screeningtests (Beispiel Koloskopie: Problem der Darmperforation wiegt schwerer bei Gesunden als bei möglicherweise Erkrankten) • Kosten • Akzeptanz der Betroffenen • Psychologische Folgen müssen bedacht werden

24. Screening-Programm:Voraussetzungen • Schwere Krankheit, z.B. Zervixkarzinom • Hohe Prävalenz des vorklinischen Stadiums • Bekannter Krankheitsverlauf (Problem: z.B. Prostata-karzinom) • Lange Vorlaufzeit (Lead Time: Zeitraum zwischen Diagnose der Krankheit durch Screening und Zeitpunkt der Diagnose durch erste Symptome; Problem) • Effektive, akzeptable und sichere Behandlung muss möglich sein (Problem z.B. Prostatakarzinom) • Beispiel Evaluation: Verbessert das Prostatakarzinom-screening die Überlebenszeit?

25. Likelihood Ratios • Baysianischer Ansatz zur Beurteilung der Güte eines diagnostischen Tests • Frage: Wissen wir nach dem Test mehr als vor dem Test? • Bei einem dichotomen Testergebnis gibt es zwei Likelihood Ratios • Berechnung: • Ratio der Posttest Odds (Posttestwahrscheinlichkeit für das Vorliegen einer Erkrankung) und Prätest Odds (Prätestwahrscheinlichkeit für das Vorliegen einer Erkrankung) • Alternative: • LRpositiv = Sensitivität / (1 - Spezifität) • LRnegativ = (1 - Sensitivität) / Spezifität

26. Zusammenfassung:Beurteilung von diagnostischen bzw. Screening Tests • Die Güte (Validität) wird bestimmt durch • Sensitivität (Anteil der Erkrankten, die im Test positiv sind) • Spezifität (Anteil der Gesunden, die im Test negativ sind) • Wenn in einem Testverfahren die Spezifität gesteigert wird, verschlechtert sich die Sensitivität und umgekehrt • Weiteres Beurteilungskriterium: Prädiktive Werte • Positiver: Anteil mit positivem Testergebnis, die krank • Negativer: Anteil mit negativem Testergebnis, die gesund • Abhängig von Inzidenz/Prävalenz, Sensitivität & Spezifität • Screening-Test: Besondere Voraussetzungen

27. Hinweise:Transfer und Literatur Transfer • Q1 Prävention, Gesundheitsförderung: Themenbereich 4 Medizinische Biometrie und Epidemiologie • Alle klinischen Fächer (in denen Screening und/oder Diagnose eine Rolle spielen) z.B. Gynäkologie (Schwanger-schaftstest), Kinderheilkunde (Screening-Tests), Anästhesiologie (Blutgruppentest), … • Theoretische Fächer z.B. Ethik in der Medizin (genetische Tests) Literatur • Skriptum und Glossar Medizinische Biometrie, UKE. 4.6 Sensitivität und Spezifität (4.5. Bedingte Wahrscheinlichkeit, Bayessche Formel) • Gordis (2001). Epidemiologie. Kap. 4: Einschätzung der Validität und Reliabilität von diagnostischen Screening-Tests Weitere Fragen: latza@uke.uni-hamburg.de