Linee guida per la valutazione dei test diagnostici

1. Linee guida per la valutazione dei test diagnostici Pasquale Urbano 22 gennaio 2009

2. Scaletta • Richiami di biometria • Stima dei caratteri intrinseci dei test • L’EBM e la fallacia dei valori predittivi • Rapporti di verosimiglianza, nomogramma di Fagan e impostazione bayesiana delle diagnosi • La validazione dei test diagnostici

3. PARAMETRI DERIVATI sensibilità, specificità, valori predittivi, LR L’ACCURATEZZA DI UN TEST VALUTATA CON UNA TABELLA 2X2 La Tabella 2x2

4. STIMA DELL’ACCURATEZZA DI UN TEST La Tabella 2x2 Parametri intrinseci derivati (accuratezza del test) (440/500) x 100 = 88% Sensibilità Specificità (465/500) x 100 = 93%

5. Affidabilità delle stime di accuratezza • Per le stime di sensibilità e di specificità, l’affidabilità dipende dalla dimensione del campione di collaudo. • Le stime devono essere accompagnate dagli intervalli di confidenza

6. Viziatura da spectrum composition Sensibilità e specificità sono caratteristiche intrinseche dei test, ma la loro stima dipende dal tipo di popolazione studiata, che spesso non è omogenea con quella cui si vuole applicare Di solito il collaudo dei test viene fatto su casistiche di casi seri [ospedalieri], e la stima delle sue caratteristiche induce in errori, se le si vogliono considerare per i casi lievi [ambulatoriali]

7. Il seme dell’EBM

8. FDA [FDA] Criteri di validità dell’evidenza scientifica • L’EBM ha posto l’enfasi sulla valutazione di efficacia delle terapie Più recente l’attenzione sull’efficacia della diagnostica

9. Di un test, la tradizione privilegia qualità anonime Caratterizza un test l’ ACCURATEZZA DIAGNOSTICA, espressa da sensibilità e da specificità, rispettivamente la capacità di discriminare i malati e i sani di una popolazione. Di un test, l’EBM privilegia l’utilità per il singolo paziente Caratterizza un test l’ UTILITÀ DIAGNOSTICA, espressa dai valori predittivi, le probabilità che un risultato corrisponda realmente alla presenza o all’assenza della malattia nel paziente che interessa.

10. (440/475) x 100 = 93% Valore predittivo positivo (465/525) x 100 = 89% Valore predittivo negativo STIMA DELL’UTILITÀ DI UN TEST La Tabella 2x2 Parametri derivati (utilità del test)

11. Un esempio 33,79 RV [LR] Caratteri estrinseci Valori predittivi ?? Suscettibilità all’isoniazideMGIT960 su M. tuberculosis Caratteri intrinseci del test SENSIBILITA’ 96,64% SPECIFICITA’ 97,14% I valori predittivi dipendono dalla prevalenza della resistenza, che può essere diversa da regione a regione, da casistica a casistica, …

12. Prevalenza = 0.50 Prevalenza = 0.05 Sensibilità = 0.88 Specificità = 0.93 Sensibilità = 0.88 Specificità = 0.93 Val.Pred.Pos. = 0.93 Val.Pred.Neg.= 0.89 Val.Pred.Pos. = 0.40 Val.Pred.Neg.= 0.99 Gli effetti della prevalenza sui parametri derivati

13. Indici indipendenti dalla prevalenza I Rapporti di Verosimiglianza [Likelihood ratio] LR(+) = %Veri positivi / % Falsi positivi LR(-) = %Falsi negativi / % Veri negativi LR (-) = 0.12/0.93 = 0.13 LR(+) = sensibilità / (1- specificità) LR(-) = (1-sensibilità) / specificità

14. Coi rapporti di verosimiglianza si calcola o si trova la probabilità a posteriori La formula analitica è: Il nomogramma di Fagan usa la formula equivalente:

15. Il rapporto di verosimiglianza(Likelihood ratio) LR+ = __Sensibilità__ (1 - Specificità) LR - = (1 - Sensibilità) Specificità

16. I Rapporti di Verosimiglianza [Likelihood ratio (LR)] servono a calcolare o a trovare i valori predittivi a qualsiasi prevalenza o probabilità a priori

17. L’EBM utilizza per la diagnosi la logica bayesiana Il valore predittivo di un test deriva dall’interreazione di due variabili ... la prevalenza di malattia (prob. pre-test) l’accuratezza diagnostica del test (likelihood ratio) le previsioni del clinico, modificate dai risultati di un test, divengono probabilità post-test o valori predittivi

18. Il rapporto di verosimiglianza (RV) Il nomogramma di Fagan permette di risalire dalle probabilità pre-test della malattia alle probabilità post-test (valore predittivo del risultato) • RV fa da fulcro della linea che dalle probabilità pre-test porta a quelle post-test

19. Diagnosi di resistenza all’INI • La probabilità post-test è in effetti il VPP, dato l’esito positivo di un test con LR nota, per la probabilità pre-test [la prevalenza locale: 12% = 0,12].

20. Evoluzione nel modo di esprimere l’accuratezza The overall sensitivity, specificity, and positive and negative predictive values for the BDProbeTec ET assay were 90.3, 96.9, 78.3, and 98.9%, respectively. Rusch, Diagn Microb Inf Dis 2004 Based on a 36% prevalence of infection, the sensitivity, specificity, and positive and negative predictive values of multiplex PCR analyses were 87, 96, 94, and 93%, respectively. Stellrecht, JCM 2004 A plasma soluble TREM-1 level higher than 60 ng/mL was more accurate than any other clinical or laboratory finding for indicating infection (sensitivity, 96% [95% CI, 92% to 100%]; specificity, 89% [CI, 82% to 95%]; positive likelihood ratio, 8.6 [CI, 3.8 to 21.5]; negative likelihood ratio, 0.04 [CI, 0.01 to 0.2]).Gibot, AIM 2004

21. Calcoli on line • Tutti i calcoli per ricavare i parametri dei test diagnostici possono essere fatti utilizzando lo strumento a: • http://home.clara.net/sisa/diagnos.htm • Oppure: http://araw.mede.uic.edu/cgi-alansz/testcalc.pl , che include il nomogramma di Fagan

22. Altri links a calcolatori on line • Welcome to the UBC Clinical Significance Calculator • http://www.healthcare.ubc.ca/calc/clinsig.html • Calcolatori Bayesiani • Welcome to the UBC Bayesian Calculator • http://www.healthcare.ubc.ca/calc/bayes.html

23. Riconoscimento di bambine a rischio di IVU 1151 bambine febbrili; 56 IVU; prevalenza 5% Gorelick, et al. 2003

24. Dalle probabilità pre-test alle probabilità post-test Test a striscia per le urine: sensibilità 88% specificità 93% LR(+) 12.6 LR(-) 0.13 LR(-) 0.13 LR(+) 12.5

25. Striscetta: nitriti O LE (sens 0.88 spec 0.93) Con il nomogramma di Fagan è possibile valutare le prestazioni di un test applicando il teorema di Bayes. Qui sono calcolati i valori predittivi che corrispondono a diverse probabilità a priori. Ne risulta l’indicazione di quando è possibile prendere una decisione senza fare l’urocoltura e quando invece l’urocoltura è indispensabile. LR(-) 0.13 5 4 3 LR(+) 12.5 2 1 no test no treat test (culture) & treat no test, get on with treatment

26. MC Read, MS Lachs, AR Feinstein. Use of methodological standards in diagnostic test research: getting better but still not good. Journal of the American Medical Association 1995 274:645-51. Conducono una rigorosa lettura di centinaia di pubblicazioni sulla performance di vari test di laboratorio – e le bocciano quasi tutte, in base a una serie di criteri standard

27. The STARD Initiative -- Towards Complete and Accurate Reporting of Studies on Diagnostic Accuracy • ObjectiveThe objective of the Standards for Reporting of Diagnostic Accuracy (STARD) initiative is to improve the quality of reporting of studies on diagnostic accuracy by using a checklist and flow diagram. Complete and accurate reporting allows the reader to detect the potential for bias in the study and to evaluate the generalisability of the results. http://www.consort-statement.org/stardstatement.htm

28. http://php.york.ac.uk/inst/yhec/?q=node/123 YHEC Training Event: Identifying Diagnostic Test Accuracy Studies: Challenges and Strategies University of York, 2 December 2008 Diagnostic test studies are receiving increasing attention, but are challenging to identify efficiently and reliably. As well as health care professionals seeking information on best evidence on test accuracy, there is also a growing requirement for systematic study identification to inform systematic reviews and technology assessments of diagnostic tests and techniques. The growing number of diagnostic test accuracy reviews is an important resource for the practice of evidence-based health care. This study day will provide an introduction to the key features of diagnostic test accuracy studies to provide insight into retrieval challenges. This will be followed by an overview of the research evidence on search approaches to identify diagnostic studies and the key current resources available to find studies and reviews. In this fast-moving research area we will also look at products in development. The study day will explore current searching guidance and highlight key critical appraisal tools for assessing diagnostic test accuracy studies. There will be time to explore and test strategies and resources.

29. Section and topic Item Describe Reported on page # TITLE/ABSTRACT/KEYWORDS 1 The article as a study on diagnostic accuracy (recommend MeSH heading 'sensitivity and specificity') INTRODUCTION 2 The research question(s), such as estimating diagnostic accuracy or comparing accuracy between tests or across participant groups METHODS Participants 3 The study population: the inclusion and exclusion criteria, setting(s) and location(s) where the data were collected 4 Participant recruitment: was this based on presenting symptoms, results from previous tests, or the fact that the participants had received the index test(s) or the reference standard? 5 Participant sampling: was this a consecutive series of patients defined by selection criteria in (3) and (4)? If not specify how patients were further selected. 6 Data collection: were the participants identified and data collected before the index test(s) and reference standards were performed (prospective study) or after (retrospective study)? Reference standard 7 The reference standard and its rationale Test methods 8 Technical specification of material and methods involved including how and when measurements were taken, and/or cite references for index test(s) and reference standard 9 Definition and rationale for the units, cutoffs and/or categories of the results of the index test(s) and the reference standard

31. Punti chiave • Evitare i vizi [bias] • Documentare e archiviare tutto • Evitare i valori predittivi • Calcolare i Rapporti di Verosimiglianza [LR] • Diffondere i risultati in modo efficace e chiaro [seguendo gli STARD]

32. Vizi di impostazione:workup bias • Si verificano quando il confronto coi test di riferimento [gold standard] o coi criteri di approfondimento non è applicato in modo bilanciato ai casi con risultati positivi e a quelli con risultati negativi Avoidance of workup bias

33. Affidabilità delle stime di accuratezza • Per le stime di sensibilità e di specificità, l’affidabilità dipende dalla dimensione del campione di collaudo. • Le stime devono essere accompagnate dagli intervalli di confidenza

34. L’unico modo per evitare lo spectrum bias è di arruolare pazienti consecutivi, come si presentano nella pratica reale Gli studi devono essere estesi, per avere stime affidabili -> farli policentrici Correlare sempre i dati clinici con quelli di laboratorio Focalizzarsi sulle situazioni di maggiore utilità clinica Migliorare la comunicazione bidirezionale coi clinici Pubblicizzare bene i risultati http://www.jr2.ox.ac.uk/bandolier/booth/diagnos/Diagessy.html

36. Linea Guida CLSI • CLSI EP12A2 • User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline, Second Edition, EP12-2A • Larry W. Clark, M.S. • Edition: 2nd Clinical and Laboratory Standards Institute / 01-Jan-2008 / 64 pages • ISBN: 1562386549

37. Protocollo CLSIClinical and Laboratory Standards Institute / 01-Jan-2008 / 64 pagesISBN: 1562386549 Link

38. Grazie dell’attenzione Domande? Alcuni riquadri sono ripresi da una bella presentazione di Giocoli