LA METRICA DI VALUTAZIONE CAF

1. LA METRICA DI VALUTAZIONE CAF

2. Il sistema di punteggio consente di quantificare il livello di qualità dei sottocriteri ai fini di: Fornire un’indicazione sintetica utilizzabile, assieme ad altri parametri, per stabilire le priorità riguardo alle azioni di miglioramento Consentire confronti, a livello di sottocriterio e criterio, fra la situazione presenta e quelle delle precedenti autovalutazioni Consente confronti tra diverse organizzazioni con finalità / attività / processi paragonabili LA METRICA CAF 2006Sistema di punteggio - Premessa per una corretta comprensione dei sistemi di punteggio e loro uso (1)

3. LA METRICA CAF 2006Sistema di punteggio - Premessa per una corretta comprensione dei sistemi di punteggio e loro uso (2) I punteggi hanno fini diversi nell’autovalutazione e nelle valutazioni dei premi (di cui la guida CAF 2006 non si occupa). Pur obbedendo ovviamente alla stessa logica, i secondi devono garantire il raggiungimento della massima oggettività e coerenza fra giudizi dati da valutatori diversi. Si usano perciò algoritmi che restringono il campo di incertezza.

4. I sistemi di punteggio del CAF 2006 a) Sistema classico Punteggio cumulativo basato sul giudizio relativo a ciascun sottocriterio. Su base 100 e non più da 1 a 5, impostato sull’avanzamento nell’uso delle fasi del ciclo PDCA. b) Sistema avanzato In relazione ai Fattori abilitanti (criteri 1-5) attribuisce un punteggio da 0 a 100 ad ognuna delle fasi del ciclo di PDCA e ne calcola la percentuale rispetto al massimo ottenibile (400 punti). In relazione ai Risultati (criteri 6-9) il punteggio da 1 a 100 è assegnato in relazione a due variabili: il trend degli ultimi 3 anni; i risultati rispetto ai target. Si calcola poi la percentuale rispetto al massimo (200 punti)

5. Il sistema classico per i Fattori abilitanti

6. Il sistema classico per i Risultati

7. Il sistema avanzato per i Fattori abilitanti

8. Il sistema avanzato per i Risultati

9. Metrica CAF 2006 per la valutazione dei Premi PPAA La struttura del sistema di valutazione proposto dal modello Caf 2006 è stata integrata, ai fini della valutazione per i premi, con una “guida” aggiuntiva per l’autovalutazione e la valutazione esterna, contenente integrazioni delle matrici e spiegazioni di dettaglio, utili alle amministrazioni per una corretta autovalutazione e indispensabili per un’appropriata valutazione esterna nell’ambito del Premio PPAA. Nelle pagine seguenti è riportata questa guida, mettendo a confronto la “Griglia di analisi CAF 2006” per i fattori e per i risultati con la “Griglia di analisi per i premi PA”. Quest’ultima è riportata anche nella “Griglia di valutazione per i premi PA”, strumento operativo per la valutazione quantitativa dei fattori e dei risultati

10. LA VALUTAZIONE DEI FATTORI ABILITANTI L’analisi dei sottocriteri mira a valutare ciò che la dirigenza dell’organizzazione ha fatto e sta facendo (approcci - processi – progetti) per realizzare i requisiti posti dal sottocriterio in esame – “come” lo ha fatto e lo sta facendo e perché lo sta facendo (chi sono i destinatari, quali le loro attese e requisiti). Cioè: il “cosa” il “come” il “perché”

11. GLI ELEMENTI DELLA METRICA DEI FATTORI IN SINTESI La Metrica per la valutazione dei fattori è basata sul PDCA secondo i concetti indicati qui di seguito:

12. GLI ELEMENTI DELLA METRICA DEI FATTORI IN DETTAGLIO Nelle organizzazioni eccellenti (PLAN): • Gli approcci hanno un chiaro fondamento logico. • Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative dei portatori di interesse. • Gli approcci e la relativa pianificazione supportano le politiche e le strategie. • Gli approcci e la relativa pianificazione sono deployed regolarmente nelle parti pertinenti dell’organizzazione.

13. GLI ELEMENTI DELLA METRICA DEI FATTORI “PLAN” • Gli approcci sono organizzativamente affidabili, non frutto del caso, ma di progettazione,pianificazione, organizzazione. • Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative dei portatori di interesse. L’efficacia dell’approccio dipenderà in larga misura dal fatto che sia stato ideato e progettato in modo “autoreferenziale”, oppure partendo dalle esigenze/attese dei destinatari. • Gli approcci e la relativa pianificazione supportano le politiche e le strategie e sono definiti obiettivi appropriati e fattibili. • L’approccio è ben definito, documentato e prevede, già in sede di pianificazione, lo schema delle verifiche e delle revisioni critiche necessarie per valutarne l’efficacia e l’efficienza.

14. GLI ELEMENTI DELLA METRICA DEI FATTORI Nelle organizzazioni eccellenti (DO): • L’esecuzione è gestita attraverso processi e responsabilità definite. • L’esecuzione è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione.

15. GLI ELEMENTI DELLA METRICA DEI FATTORI “DO” • Gli approcci / progetti / iniziative sono attuati concretamente secondo i piani definiti (PLAN). • L’esecuzione è gestita attraverso processi e responsabilità definite. • L’esecuzione è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione, dove possono dare valore aggiunto.

16. GLI ELEMENTI DELLA METRICA DEI FATTORI Nelle organizzazioni eccellenti (CHECK): • Approcci e processi sono monitorati con indicatori appropriati. • Approcci e processi sono rivisti regolarmente nelle parti pertinenti dell’organizzazione.

17. GLI ELEMENTI DELLA METRICA DEI FATTORI “CHECK” • Approcci e processi sono monitorati con indicatori appropriati e rivisti regolarmente. Si tratta della verifica sistematica della attuazione di quanto pianificato, attraverso verifiche e controlli basati su opportuni indicatori. • L’obiettivo della fase di Check è quello di assicurare che gli approcci e i processi attraverso cui essi si attuano siano costantemente gestiti ed allineati agli obiettivi a cui mirano. • E’ in genere la parte più carente nelle amministrazioni pubbliche. La carenza nel check è in generale la conseguenza di carenze a monte, a livello della fase Plan: definizione dei processi, dei relativi indicatori, dell’assegnazione delle responsabilità.

18. GLI ELEMENTI DELLA METRICA DEI FATTORI Nelle organizzazioni eccellenti (ACT): • A seguito del controllo dei risultati (check) vengono intraprese azioni correttive e di miglioramento. • La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento. • Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione.

19. GLI ELEMENTI DELLA METRICA DEI FATTORI “ACT” • A seguito del controllo dei risultati (CHECK) vengono intraprese azioni correttive e di miglioramento. • La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento. • L’autovalutazione, il benchmarking, la ricerca delle soluzioni, sono fra le vie maestre per l’apprendimento collettivo e la diffusione delle prassi migliori. • Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione.

20. La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Fattori

21. La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Fattori Gli elementi di valutazione L’interpretazione La logica PDCA I dettagli interpretativi per la valutazione del Premio PA Gli elementi della Griglia CAF 2006

22. FATTORI - Griglia di Valutazione per Premi PPAA

23. LA VALUTAZIONE DEI RISULTATI • I risultati devono basarsi su dati oggettivi. Si valuta “che cosa” l’organizzazione ha raggiunto attuando gli approcci relativi ai fattori abilitanti. • Dall’analisi scaturisce un punteggio e delle indicazioni per i percorsi di indagine sui fattori. • I criteri di giudizio sono dati da una “griglia di analisi dei risultati” che declina il “che cosa” a livelli tali da poter fornire indicazioni utili per il punteggio e per le azioni successive.

24. GLI ELEMENTI DELLA METRICA DEI RISULTATI IN SINTESI • La Metrica per la valutazione dei risultati è basata sul PDCA secondo i concetti indicati qui di seguito: • Trend • Target

25. La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Risultati

26. GLI ELEMENTI DELLA METRICA DEI RISULTATI IN DETTAGLIO Nelle organizzazioni eccellenti: • I trend sono positivi e/o le performance sono costantemente buone. • Gli obiettivi (Target o Risultati attesi) sono stati raggiunti e gli stessi sono stati definiti in modo appropriato. • Confronti favorevoli con altre organizzazioni (interne e/o esterne), scelte in modo appropriato. • I risultati sono relativi alle aree pertinenti ed eventualmente segmentati quando appropriato.

27. GLI ELEMENTI DELLA METRICA DEI RISULTATI “TREND” • Per individuare un trend occorrono almeno tre misure successive (statisticamente anche più), ad intervalli opportuni, ad esempio tre anni. • Qualitativamente si può affermare che il trend è positivo se i risultati migliorano, negativo se peggiorano, costante se non variano. La tabella della metrica fornisce i criteri che si assumono per la valutazione quantitativa. • Nel caso in cui non sia possibile avere andamenti, si annoteranno i motivi nel foglio della tabella in cui sono commentati i risultati relativi al sottocriterio.

28. GLI ELEMENTI DELLA METRICA DEI RISULTATI “Confronto con OBIETTIVI” • Gli obiettivi quantitativi (target) che l’amministrazione vuole conseguire devono essere definiti nella fase di pianificazione. Il criterio e/o la logica utilizzata per fissare gli obiettivi (ad esempio rispetto ai risultati storici e/o le ipotesi di evoluzione futura, i livelli ottenuti da altri ecc), devono essere stabiliti e oggetto di valutazione al fine di determinarne l’appropriatezza . • Ogni risultato presentato deve essere confrontato con il relativo obiettivo per capire se e in che misura esso sia stato raggiunto.

29. GLI ELEMENTI DELLA METRICA DEI RISULTATI “Confronto con ALTRI” • Confronti interni: confronti effettuati tra settori o tra sedi diverse confrontabili all’interno della stessa amministrazione. • Confronti con l’esterno: il confronto avviene con i risultati di altre organizzazioni confrontabili e di rilievo con le quali siano state effettuate attività di benchmarking, o ottenuti con altre modalità. • Devono essere evidenti i criteri di scelta delle organizzazioni (interne o esterne) con cui è stato effettuato il confronto (ad esempio è stata scelta una amministrazione perché ha risultati eccellenti riconosciuti a livello territoriale o nazionale / è stato scelto un settore perché è quello che ha ottenuto i migliori risultati dell’amministrazione nell’area considerata).

30. GLI ELEMENTI DELLA METRICA DEI RISULTATI “COPERTURA” • La parola “copertura” fa riferimento alla completezza dei risultati presentati. • Si verificherà a tal fine che i risultati: • riguardino tutti gli aspetti appropriati del sottocriterio considerato; • siano propriamente segmentati (per esempio per i diversi tipi di servizio, settori, sedi, ecc); • si riferiscano effettivamente agli indicatori importanti per gli aspetti considerati.

31. La valutazione “efficace” dei Risultati • I “Risultati”misurano l’adeguatezza di quanto l’amministrazione genera in termini di valore per i propri clienti e portatori di interesse (efficacia), nonché la sua efficienza. • “Risultati” significa dati, non elementi qualitativi, sensazioni. • Da evitare l’errore di valutare, nella parte “risultati”, quanto l’organizzazione ha fatto o sta facendo per ottenere i risultati stessi (gli approcci): ciò va riportato, se non è già presente, nei Fattori abilitanti pertinenti. E’ opportuno invece che si facciano commenti che possano indirizzare ai criteri e sottocriteri dei fattori abilitanti su cui indagare per capire le cause dei risultati stessi.

32. La valutazione “efficace” dei Risultati • Commentare sempre i risultati • I risultati dovrebbero essere in ogni caso accompagnati da commenti e analisi, espressi in forma sintetica. Nel caso in cui non lo siano il valutatore deve ricercare le eventuali informazioni nei sottocriteri correlati: • causa - effetto valutare come i risultati siano la conseguenza degli approcci descritti nei fattori abilitanti • obiettivi valutare i criteri con cui l’Amministrazione definisce gli obietti • risultati non positivi valutare quello che l’Amministrazione ha fatto / sta facendo/ ha intenzione di fare per risolvere i problemi che hanno portato a quei risultati

33. RISULTATI - Griglia di Valutazione per Premi PPAA