I “pointers”

1. Mauro Martini Direttore delServizio di Medicina Legale, Azienda USL di Ferrara ? I “pointers” Gli indicatori di risultato e di performance

2. < We are all interested in performance > Kazandjian & Lied

3. Perché serve misurare ? E, soprattutto in Sanità Pubblica, perché misurare gli output (le prestazioni erogate) e gli outcome (gli effetti degli output) ? Nina Waters afferma che si misura per due motivi essenziali: a) per rilevare se i programmi incidono concretamente sulla vita delle persone; b) per favorire la programmazione di azioni di miglioramento dei servizi. [ Nina Waters: Measuring Program Outcomes: A Practical Approach, 1996 – United Way of America ]

4. E’ necessario identificare una grandezza sintetica che rappresenti un fenomeno e che si presti a dare giudizi (ovvero che sia in grado di comprendere al suo interno i fattori che hanno determinato il fenomeno così come si è osservato). Ciò introduce il concetto di “indicatore”. [ Casati ]

5. Misurazione della performance in Sanità • < what is done and how well it is done ! > • all’interno dell’Azienda contribuisce ai processi di miglioramento della qualità • all’esterno dell’Azienda promuove l’attendibilità agli utenti ed agli stakeholders interessati • assicura all’Azienda metodi di convalidazione statistica e di gestione dei dati

6. consente una migliore comprensione dell’andamento dell’Azienda e della qualità delle prestazioni erogate • consente di programmare azioni di correzione di eventuali criticità, ma anche di identificare aree di eccellenza • consente un benchmarking con altre Aziende, nel rispetto della confrontabilità dei dati • fornisce uno strumento per il decision – making della Direzione strategica, ma anche per decisioni politico – sanitarie in genere • utilizzo nella ricerca scientifica (segnatamente negli studi randomizzati e controllati)

7. Indicatori e Indici Indicatore:rappresentazione numerica di una mera grandezza (es. il numero complessivo di prestazioni); è una “fotografia”, in sé priva di finalità valutative. Indice:rapporto tra una grandezza e una determinata entità di riferimento (es. numero di prestazioni erogate nell’unità di tempo ecc.). Nel linguaggio corrente, spesso i due termini vengono usati, ancorché impropriamente, in modo indifferenziato.

8. Indicatori: definizione • Raccolta sistematicae analisi di informazioni, utilizzate per la valutazione dell’efficacia di una determinata prestazione. • In Sanità, a meno che non siano controllabili tutte le variabili, non possiamo essere certi delle veridicità degli indicatori. [ Clark ]

9. Indicatori: definizione • Gli indicatori sono una descrizione precisa, misurabile ed oggettivamente verificabile dell’andamento di un’attività. • L’indicatore ha sempre un intento “fotografico” e non giudicatorio, mentre l’indice è il rapporto fra un indicatore ed una quantità paragone, per cui esso fornisce un giudizio di valore. • [ Masoni ]

10. Perché valutare outcome e processi • L’outcome da solo non è una misurazione della qualità sufficientemente affidabile. • La sola conoscenza dell’outcome raramente permette al provider di sapere cosa cambiare e cosa mantenere inalterato per migliorare la qualità. • La qualità è strettamente correlata al processo. • [ Øvretveit ]

11. Questioni epistemologiche • Gli indicatori devono “indicare”: difficoltà di identificazione di reali indicatori di performance in Sanità. • Gli indicatori di performance frequentemente non misurano la performance, bensì i suoi epifenomeni. • Mentre la misurazione ha un valore “globale”, la valutazione è assoggettata ad una filosofia e ad aspettative “locali”. • La performance può essere descritta come un paradigma per fasi: definizione delle misure, monitoraggio, valutazione;  se non cambia la “vision”, la misurazione della performance resta un mero esercizio accademico. • La misurazione della performance non deve restare un patrimonio istituzionale; deve invece estendersi e riflettersi sullo stato di salute del paziente assoggettato alle prestazioni sanitarie.

12. Incertezza [ ? ] (Heisenberg) Relatività (Einstein) < = > Obiettività A = B B = C A = C Predittività y = ax + b Misurabilità 0, 1, 2 … n

13. Questioni metodologiche • La valutazione dei processi e degli outcome ha conseguenze insignificanti se non è associata ad una corretta analisi e interpretazione dei dati. • Valutare cosa è misurabile vs. cosa è importante. • Soppesare gli outcome iniziali, intermedi e finali. It’s not the data … It’s what you do with it ! [ The Association of Maryland Hospitals & Health Systems ]

14. Questioni metodologiche Scelte • performance • soddisfazione • valutazione economica combinazione di sistemi di misurazione ?

15. Tipologia di processi e outcome misurabili • JCHAO (Joint Commission on Accreditation of Healthcare Organizations): • performance clinica • stato di salute • soddisfazione • aspetti economico – finanziari

16. Tipologia di processi e outcome misurabili • HEDIS (Health Employer Data Information Set – National Committee for Quality Assurance): • qualità delle prestazioni • soddisfazione • accesso ai servizi • utilizzo dei servizi • pianificazione manageriale • aspetti economico – finanziari

17. Tipologia di processi e outcome misurabili • CONQUEST (Computerized Needs – Oriented Quality Measurement Evaluation System – Federal Government’s Agency for Health Care Policy and Research): • 1200 indicatori di outcome

18. Dal 1995: la JCHAO ha esaminato negli U.S. • oltre 300 sistemi di misurazione della performance, • oltre 15000 indicatori di processo e outcome. • sono stati approvati circa 200 sistemi e 8000 indicatori, assimilati nel progetto ORYX, operativo dal marzo 1999 • [ dal gennaio 1999: la JCHAO adotta gli “ORYX®(*) Pre-Survey Reports” ] (*) [Outcome Recording to Yield Excellence ]

19. 21 novembre 2001: la Joint Commission emana quale sistema di misurazione della performance. “Specifications Manual for National Implementation of Hospital Core Measures” specificazioni tecniche, algoritmi ed i requisiti per la trasmissione dei dati alla JCHAO. linee – guida

20. “Specifications Manual for National Implementation of Hospital Core Measures” continua 

21. “Specifications Manual for National Implementation of Hospital Core Measures”

22. Analisi computerizzata degli indicatori: National Pain Assessment Project (U.S.)

23. Analisi computerizzata degli indicatori: National Pain Assessment Project (U.S.)

24. Preliminary Measure Set, National Healthcare Quality Report Agency for Healthcare Research and Quality (AHRQ) AHRQ – Effectiveness of Care

25. AHRQ – Effectiveness of Care

26. AHRQ – Effectiveness of Care http://www.ahrq.gov/qual/nhrq02/premeasures.htm

27. Australia (First National Report on Health Sector Performance Indicators – Public Hospitals – The State of Play) [ Fonte: National Health Ministers’ Benchmarking Working Group – Australia; gennaio 2002]

28. United Kingdom Health Authority Level [ Fonte: Department of Health – UK, gennaio 2002 ]

29. United Kingdom Health Authority Level [ Fonte: Department of Health – UK, gennaio 2002 ]

30. Utilizzo degli indicatori nel Management aziendale Direzione Azienda ? Direttori di Distretto ? 1. Committente Direttori di Presidio ? Direttori di Dipartimento ? Stakeholders istituzionali ?  analisi delle criticità ? 2. Motivazioni  quality improvement ?  … … … … … … … ?

31. 3. Indicatori Selezione Brainstorming 4. Analisi e interpretazione Benchmarking  quale riferimento ?  best in class ? 5. Valutazione 6. Decision making

32. Indicatori Aspetto gestionale (monitoring) Aspetto contrattuale (risultato) Interpretazione del valore numerico Applicazione del valore numerico

33. Indicatori caratteristiche • appropriatezza • capacità discriminante • completezza • comprensibilità • credibilità • economicità • essenzialità • facilità di rilevazione • misurabilità • multidimensionalità • obiettività • pertinenza • riproducibilità • significatività • tempestività

34. Indicatori caratteristiche E’ comunque conveniente scegliere indicatori : • espressivi dell’andamento delle attività • semplici • facilmente misurabili • riproducibili • credibili

35. Indicatori caratteristiche Gli indicatori dovrebbero rappresentare 4 esigenze gestionali: • l’efficienza (rappresentano il numero di output prodotti, utilizzando determinate risorse in una determinata unità di tempo); • l’efficacia (evidenziano la qualità delle prestazioni: disponibilità, accessibilità, comfort, risultati ottenuti ecc.); • l’economicità (indicatori di regola utili per le verifiche di budget); • la cronologicità (esprimono soprattutto e semplicemente i tempi di attesa per ottenere le prestazioni).

36. Il Sistema degli indicatori dell’Azienda USL di Ferrara • Indicatori aziendali • Indicatori di risultato • Indicatori di performance

37. I: Indicatori aziendali

38. I: Indicatori aziendali

39. II: Indicatori di risultato • CLASSI • Obiettivi di pianificazione / programmazione • Obiettivi organizzativi / gestionali • Obiettivi di qualità • Obiettivi economici • Obiettivi di implementazione di attività e prestazioni • Obiettivi di formazione • Altri obiettivi

46. III: Indicatori di performance • Misurazione della performance in Sanità • < what is done and how well it is done ! > • all’interno dell’Azienda contribuisce ai processi di miglioramento della qualità • all’esterno dell’Azienda promuove l’attendibilità agli utenti ed agli stakeholders interessati • assicura all’Azienda metodi di convalidazione stati-stica e di gestione dei dati

47. consente una migliore comprensione dell’andamento dell’Azienda e della qualità delle prestazioni erogate • consente di programmare azioni di correzione di eventuali criticità, ma anche di identificare aree di eccellenza • consente un benchmarking con altre Aziende, nel rispetto della confrontabilità dei dati • fornisce uno strumento per il decision – making della Direzione strategica, ma anche per decisioni politico – sanitarie in genere • utilizzo nella ricerca scientifica (segnatamente negli studi randomizzati e controllati)

48. Vantaggi e svantaggi delle misure di processo [ da Liberati ] Vantaggi • Facili da interpretare • Campioni più piccoli • Non intrusivi • Più facilmente accettabili • Dati già disponibili o più facilmente accessibili • Più facile identificare azioni migliorative • Tempi minori di raccolta dati e analisi Svantaggi • Meno rilevanti per i pazienti • Necessari continui aggiornamenti in linea con conoscenze • Legame con gli esiti non sempre facile da stabilire • Dubbi su rilevanza e specificità • L’aderenza a processi di cura appropriati non garantisce un miglioramento degli esiti • La semplice aderenza non è esauriente per una misura della qualità effettiva

49. Vantaggi e svantaggi delle misure di outcome [ da Liberati ] Vantaggi • Obbligano a valutare se il sistema raggiunge i suoi obiettivi principali • Stanno più a cuore ai vari stakeholders, in particolare ai pazienti • I metodi di misurazione sono molto migliorati • Permettono di stimolare una partecipazione più creativa dei clinici • Alcuni possono essere confrontati tra condizioni e processi diversi Svantaggi • Non sensibili al cambiamento in condizioni di cronicità non modificabile • Possono incoraggiare la selezione dei pazienti “favorevoli” • Il legame con i processi assistenziali può spesso essere solo ipotizzato • I cambiamenti possono essere al di là di ciò che i clinici possono fare • Possono richiedere lunghi tempi di osservazione • Gli outcome più rari possono richiedere database grandi e complessi

50. La valutazione della performance non è da consi-derarsi altro che una dei numerosi strumenti di Quality Improvement oggi utilizzati quali: • l’accreditamento • i processi di auditing • l’outcome research • il managed care (report card, profiling ecc.) • la guidelines dissemination and implementation [ Liberati ]