Evidence Based Laboratory Medicine

1. Evidence Based Laboratory Medicine Diagnostische performantieen klinische waardevan (laboratorium)tests beoordelen

2. LEERDOELEN • Inzicht geven in (EBLM) terminologie voor uitdrukken van diagnostische performantie van laboratoriumtests • “Critical appraisal of the evidence”: waarop moet je letten bij beoordeling van toepasselijkheid en validiteit van literatuurgegevens? • Levert de test echte klinische meer-waarde?Welke beoordelingscriteria?

3. Steps in EBM process • Formulate an answerable question • Track down the best evidence • Critically appraise the evidence • Integrate with clinical expertise and patient values

4. Hoe diagnostische performantie kwantitatief uitdrukken en beoordelen? (meten is weten, gissen is missen) Diagnostic accuracy studies allow the calculation of various statistics that provide an indication of "test performance" – how good the index test is at detecting the target condition.Whiting et al. in: BMC Medical Research Methodology 2003 http://www.biomedcentral.com/1471-2288/3/25

5. EBM design (PICO) applied to diagnostic studies: P(P): series of patients Intervention: index test Comparison:reference standard Outcome:cross-classificationvis-a-vis target condition

6. Target condition can refer to: • a particular disease, • a disease stage, • a health status, • any other identifiable condition within a patient, such as staging a disease already known to be present, • a health condition that should prompt clinical actionsuch as the initiation, modification or termination of treatment.

7. Diagnostic/Clinical Accuracy Question • P: In (patients – incl. previous tests), • I: How accurate is (index test) • C: Compared to (comparator index test) • O: In detecting (target condition – using ref. standard)

8. Diagnostic accuracy studies allow the calculation of various statistics that provide an indication of "test performance" – how good the index test is at detecting the target condition.These statistics include sensitivity, specificity, positive and negative predictive values, positive and negative likelihood ratios, diagnostics odds ratios and receiver operating characteristic (ROC) curves.Each of these statistics refer to estimates of central location and confidence intervals (CI)

9. Search strategy (‘filter’) in PubMedfor publications on evaluation of diagnostic accuracy (((((((((((("sensitivity and specificity"[All Fields] OR "sensitivity and specificity/standards"[All Fields]) OR "specificity"[All Fields]) OR "screening"[All Fields]) OR "false positive"[All Fields]) OR "false negative"[ All Fields]) OR "accuracy"[All Fields]) OR (((("predictive value"[All Fields] OR "predictive value of tests"[All Fields]) OR "predictive value of tests/standards"[All Fields]) OR "predictive values"[All Fields]) OR "predictive values of tests"[All Fields])) OR (("reference value"[All Fields] OR "reference values"[All Fields]) OR"reference values/ standards"[All Fields])) OR ((((((((((("roc"[All Fields] OR "roc analyses"[All Fields]) OR "roc analysis"[All Fields]) OR "roc and"[All Fields]) OR "roc area"[All Fields]) OR "roc auc"[All Fields]) OR "roc characteristics"[All Fields]) OR "roc curve"[All Fields]) OR "roc curve method"[All Fields]) OR "roc curves"[All Fields]) OR "roc estimated"[ All Fields]) OR "roc evaluation"[All Fields])) OR "likelihood ratio"[All Fields]) AND notpubref [sb]) AND "human"[MeSH Terms]) Devillé W et al., in BMC Medical Research Methodology 2002, 2:9

10. Waarom testen? • Detecteren en meten van evt. gestoorde fysiologie • Verminderen van diagnostische onzekerheid

11. 1. Detecteren en meten van evt. gestoorde fysiologie • Concept biologische variatie bij normale fysiologische homeostasis • intra-individuele variatie • inter-individuele variatie • Analytische variatie is gesuperponeerd op biologische variatieen moet beperkt blijven t.o.v. biologische variatie

12. Testresultaat verdelingscurve t.g.v.biologische en analytische variatiebij fysiologische homeostasis

13. Testresultaat verdelingscurve bij fysiologische homeostasis:REFERENTIEWAARDEN concept

14. 2. Diagnose = verminderen van diagnostische onzekerheid: d.w.z. van pre-test naar post-test ‘onzekerheid’ • Hoe ‘onzekerheid’ kwantitatief uitdrukken? • probabiliteit (kans, waarschijnlijkheid)uitgedrukt als fractie van totaal aantal mogelijkheden: “de kansen voor een bepaalde uitkomst gedeeld door het totaal aantal kansen” • odds: uitgedrukt als verhouding van 1 welbepaald type over alle andere, resterende mogelijkheden

15. 1 9 Hoe onzekerheid kwantitatief weergeven? • probabiliteit (p): 1/10 = 0,1 • odds: 1/9 • odds = p/(1-p) • p = odds/(1+odds)

16. Diagnose van wat? • Concept ‘target’ conditie, ziekte target+ = met welbepaalde afwijking, ziekte target- = zonder die welbepaalde afwijking, maar meestal ook niet gezond! Onderscheiden d.m.v. ‘reference/gold standard’ • Diagnostische (‘index’) test moet, door verschil in testresultaten, helpen ‘target’-positieve patienten te onderscheiden van ‘target’-negatieve patienten • Probabiliteit dat een bepaald testresultaat gevonden wordt in target+ en target- levert de conditionele probabiliteit, en laat ons toe de pre-test probabiliteit te reviseren tot een zgn. post-test probabiliteit

17. 1 0 Diagnose:een parallel en sekwentieel proces pre test post testpre test pre testpost test post test

18. Diagnose van target+ patiënten: van pre-test naar post-test probabiliteit in meerdere stappen • Screening:pre-test p = populatie prevalentie • Gericht testen:pre-test p > populatie prevalentie • Tests gebeuren tegelijk en consecutief met andere (onafhankelijke) tests

19. Likelihood Ratio: LR(1) voor welbepaald testresultaat • LR = (gaussiaanse) hoogte target+ / (gaussiaanse) ` hoogte target- • Let erop dat beide (gaussiaanse) verdelingscurven even groot moeten zijn, m.a.w. pre-test odds = 1/1 !!

20. Likelihood Ratio: LRvoor een welbepaald testresultaat

21. Likelihood Ratio: LR(2) voor een welbepaald interval

22. Likelihood Ratio: LR(3) voor meerdere intervallen

23. LR curve ingeval van meerdere testresultaat intervallen

24. Likelihood Ratio: LR(4) voor testresultaat dichotomie • LR+ = TP rate/FP rate (steeds >= 1)beter naarmate dichter bij oneindig!

25. Likelihood Ratios: LR+

26. Likelihood Ratio: LR(5) voor testresultaat dichotomie • LR- = FN rate / TN rate (steeds <= 1)beter naarmate dichter bij zero!

27. Likelihood Ratios: LR-

28. The easy way: calculate LRs from column percentages!

29. Diagnostische (klinische)Gevoeligheid/Sensitiviteit (Sn) • Sensitiviteit = TP rate = TP/(TP + FN)

30. Diagnostische (klinische)Specificiteit (Sp) • Specificiteit = TN rate = TN/(TN + FP)

31. Inverse relatie tussenSensitiviteit en Specificiteit

32. Receiver Operating Characteristic:ROC curve (1)

33. ROC curve (2)

34. ROC curve voor verschillende tests

35. Van pre-test naar post-test probabiliteit, via odds en LR (1)

36. Van pre-test naar post-test probabiliteit, via odds en LR (2)

37. Post-test odds = pre-test odds x LRbij testresultaat dichotomie • Post-test odds = c/d = 1/5 x LR+ = pre-test odds x LR+

38. Post-test odds = pre-test odds x LRbij testresultaat dichotomie • Post-test odds = c/d = 1/5 x LR- = pre-test odds x LR-

39. Odds: ‘too odd’ voor de praktijk!!??Hoe van pre-test p naar post-test p? • Hoe van pre-test p naar pre-test odds? odds = p/(1-p) • Hoe van post-test odds naar post-test p? p = odds/(1+odds) • Ter hulp:het Fagan nomogram

40. Interpreting Likelihood Ratios • LR=1 indicates no diagnostic value • LR+ >10 regarded as a ‘strong’ positive test result • LR- <0.1 regarded as a ‘strong’ negative test result • But it depends on what change in probability is needed to make a diagnosis/decision

41. 92% LR+ = 10 55% 10% 50%

42. ‘Predictive value’ (PV) concept bij testresultaat dichotomie • PPV = TP/(TP+FP)

43. ‘Predictive value’ (PV) concept bij testresultaat dichotomie • NPV = TN/(TN+FN)

44. Confidence intervals • Sample uncertainty should be described for all diagnostic performance measure statistics, using confidence intervals • Sensitivity & Specificity 94% 67% • Confidence Intervals [85% to 97%] [62% to 72%]

46. Negative LR(95% CI) ELISA test Dao (2001) 0.02 ( 0.01, 0.09) Maisel2 (2001) 0.14 ( 0.08, 0.23) Hobbs1 (2002) 0.10 ( 0.01, 1.46) Hobbs4 (2002) 0.27 ( 0.02, 3.59) Hobbs3 (2002) 0.38 ( 0.06, 2.36) Jourdain (2002) 0.06 ( 0.03, 0.15) Hobbs2 (2002) 0.10 ( 0.01, 1.65) Morrison (2002) 0.14 ( 0.09, 0.22) Maisel1 (2002) 0.13 ( 0.11, 0.16) Overall 0.12 ( 0.09, 0.16) RIA test Choy (1994) 0.23 ( 0.09, 0.60) Davis (1994) 0.07 ( 0.02, 0.27) Davidson (1996) 0.04 ( 0.00, 0.64) Cowie (1997) 0.04 ( 0.01, 0.28) McDonagh (1998) 0.28 ( 0.16, 0.49) Bettencourt (2000) 0.23 ( 0.14, 0.40) Landray (2000) 0.38 ( 0.16, 0.91) Yamamoto (2000) 0.34 ( 0.20, 0.57) Smith (2000) 0.13 ( 0.02, 0.84) Valli (2001) 0.19 ( 0.10, 0.35) Vasan (2002) 0.16 ( 0.11, 0.23) McGeoch (2002) 0.47 ( 0.31, 0.72) Hutcheon (2002) 0.24 ( 0.09, 0.60) Overall 0.23 ( 0.16, 0.32) 0.01 0.1 0.5 1 2 Negative Likelihood Ratio Stratified forest plot of negative LR:BNP and heart failure

47. Paired forest plots of likelihood ratios: tests of pulmonary embolism Ruling out Ruling in Tachycardia D-Dimer assay Helical CT 0.05 0.1 0.5 1 2 3 10 20 LR of a positive test LR of anegative result

48. En nog meer termen …. • Diagnostic Odds Ratio (DOR)= LR+/LR- = (TPxTN)/(FPxFN) • Number Needed To Diagnose= 1/{sensitivity – (1- specificity)}= 1/{TP rate – FP rate)}

49. Diagnostic performance measures:practical applications(BMJ, vol 329, 17 July 2004, p. 168-9) • For discussion about tests, threshold decisions: sensitivity, specificity • For interpretation of specific result: LR and PPV, NPV • As summary measure: DOR, ROCAUC

50. LEERDOELEN • Inzicht geven in (EBLM) terminologie voor uitdrukken van diagnostische performantie van laboratoriumtests • ‘Critical appraisal of the evidence’:waarop moet je letten bij beoordeling van toepasselijkheid en validiteit van literatuurgegevens? • Levert de test echte klinische meer-waarde?Welke beoordelingscriteria?