Marina Signore

1. La qualità come sistema: l’esperienza Istat La qualità della statistica pubblica - X Conferenza Nazionale di Statistica Roma, 16 dicembre 2010 Marina Signore Dirigente il Servizio “Qualità statistica, coordinamento progetti europei di ricerca e sviluppo e Cooperazione internazionale”

2. La qualità come sistema: l’esperienza Istat Politica per la Qualità Quadro di riferimento generale Attività consolidate e nuove

3. La qualità come sistema: l’esperienza Istat Politica Qualità Istat • Avviata a fine anni 80 • Sistematizzata e adeguata alle nuove esigenze Consapevolezza diffusa sulla qualità e solida base per avviare azioni di miglioramento Azioni di miglioramento Standard Misurazioni Documentazione Valutazione La Qualità come sistema Visione integrata della qualità Prodotti Processi Organizzazione

4. La qualità come sistema: l’esperienza Istat Riferimenti europei ed internazionali Organismi internazionali: Eurostat, Fondo Monetario Internazionale, UN Statistical Division, UNECE,… Gruppi di indirizzo con potere di emanare raccomandazioni per gli Stati membri dell’UE

5. La qualità come sistema: l’esperienza Istat Riferimenti europei ed internazionali Eurostat Definizione e dimensioni della qualità Base armonizzata a livello europea per la misurazione e per il reporting Codice di condotta per le statistiche europee Dal 2005 - Governance del SSE e dei SSN – processo di valutazione FMI DQAF Valutazione qualità di settori specifici (statistiche economiche e CN)

6. Codice di condotta per le statistiche europee

7. La qualità come sistema: l’esperienza Istat Codice di condotta per le statistiche europee Articolato processo di valutazione dell’aderenza da parte degli INS ai principi del Codice L’Istat nel processo di valutazione del Codice • Valutazione dell’aderenza ai Principi del Codice • Valutazione generale dell’Istituto • Codice come patrimonio all’interno del Sistema • Promulgazione del Codice italiano delle statistiche ufficiali • Avvio di un’attività di valutazione sistematica • Attività nuova per l’Istat e da esportare al Sistema

8. La qualità come sistema: l’esperienza Istat Gruppi europei di indirizzo Raccomandazioni per avvio attività sistematica sulla qualità Finanziamento Eurostat per implementazione raccomandazioni LEG on Quality 1999- 2001 Raccomandazioni per prosecuzione attività sulla qualità Proposte di miglioramenti al CoP Sviluppo di un NQAF Sponsorship on Quality 2009- 2011 Partecipazione limitata a pochi INS Presenza dell’Istat in entrambi i gruppi

9. La qualità come sistema: l’esperienza Istat NQAF: National Quality Assessment Framework Definizione di requisiti, metodi, strumenti necessari a livello di Istituto o di singolo processo per implementare i principi del Codice Guida per gli INS per migliorare l’aderenza al Codice Guida per la fase di valutazione Base per definire requisiti minimi condivisi nel SSE Prospettiva: adattare alle esigenze del Sistema partendo dal Codice Italiano delle statistiche ufficiali

10. La qualità come sistema: l’esperienza Istat Struttura organizzativa Comitato Qualità Unità operativa dedicata a livello centrale Rete di referenti a livello di direzione/servizio Rete di referenti a livello di indagine

11. La qualità come sistema: l’esperienza Istat Comitato Qualità Istituito a febbraio 2010 • Composizione • Presieduto dal Direttore del Dipartimento per la produzione statistica e il coordinamento tecnico-scientifico • Vice-coordinatore: Dirigente il servizio QRC • Membri: Dirigenti di strutture produttive e trasversali Istat

12. La qualità come sistema: l’esperienza Istat Comitato Qualità Funzioni: • Coordinare le attività di audit e auto-valutazione • Sviluppare procedure di monitoraggio della qualità per processi correnti • Sovrintendere alle attività di valutazione e promozione della qualità dei processi statistici di altri enti del SISTAN • Promuovere l’utilizzo del Codice della Statistica Ufficiale ed altre attività per aumentare la cultura della qualità negli enti del SISTAN

13. La qualità come sistema: l’esperienza Istat Cosa è stato fatto?

14. La qualità come sistema: l’esperienza Istat Gestione e miglioramento della qualità Comunicazione Qualità UTENTI Standard Misurazioni Documentazione Valutazione PRODOTTI PROCESSI ORGANIZZAZIONE Azioni di miglioramento PRODUTTORI

15. La qualità come sistema: l’esperienza Istat Attività avviate per prime e oramai consolidate Sono un prerequisito per l’attività di valutazione Standard Misurazioni Documentazione Linee guida, manuali Indicatori processo/ prodotto Sistema informativo SIDI

16. La qualità come sistema: l’esperienza Istat Manuali Metodologici • Serie “Note e Relazioni” del 1989: • Un Manuale per ciascuna fase • Pianificazione della produzione dei dati; Il questionario: progettazione, redazione e verifica; Tecniche di somministrazione del questionario; Tecniche di campionamento: teoria e pratica; Tecniche di stima della varianza campionaria; Il sistema di controllo della qualità dei dati; Le rappresentazioni grafiche di dati statistici • Metodi e Norme 2000- 2005: • Es. Metodologie • Il monitoraggio del processo e la stima dell’errore nelle indagini telefoniche • Indagini sociali telefoniche. Metodologie ed esperienze della statistica ufficiale • metodologie e tecniche di tutela della riservatezza nel rilascio di informazione statistica

17. La qualità come sistema: l’esperienza Istat Pratiche Raccomandate per il SSE • Implementano una raccomandazione del LEG del 2001 • Armonizzate a livello europeo • Sviluppate in partnership da INS europei • Coordinamento Istat QDET – Manuale di pratiche raccomandate per il disegno e test del questionario nel SSE • EDIMBUS - Manuale di pratiche raccomandate per controllo e correzione per indagini sulle imprese cross-section nel SSE

18. La qualità come sistema: l’esperienza Istat Linee Guida per la Qualità Sviluppate nel 2009 Contengono i Principi da seguire nelle diverse fasi del processo di produzione e le linee guida per ottemperare ai principi Strumentali alla valutazione con audit e auto-valutazione In fase di pubblicazione sul sito e di traduzione ininglese

19. La qualità come sistema: l’esperienza Istat Misurazioni Prerequisito per la gestione della qualità • decisioni basate sui fatti • dove intervenire e come valutare l’efficacia dei miglioramenti • Prodotto • indagini di controllo a posteriori • aumento costi e tempi • no indicatore di sintesi • Processo • Variabili di processo • Sottoprodotto processo di produzione

20. La qualità come sistema: l’esperienza Istat Qualità di Processo Lunga tradizione già a partire dagli anni 80 ed effettuato regolarmente dalla maggioranza delle indagini • Predisposizione sistema di controllo: azioni di prevenzione, controllo in corso d’opera, valutazione a posteriori • Implementazione sistemi di monitoraggio (es. fase di rilevazione) • Uso di metodi del controllo statistico della qualità (carte di controllo) • Sviluppo sistemi informativi locali (SIGIF e sistema di monitoraggio solleciti delle SSI)

21. La qualità come sistema: l’esperienza Istat Misurazioni a livello di indagine indicatori di processo e di prodotto che alimentano il sistema informativo centralizzato

22. La qualità come sistema: l’esperienza Istat Documentazione • rintracciabilità dati, metadati, indicatori • supporto alla progettazione di indagini • supporto alla valutazione • supporto al corretto uso dei dati Sistema informativo di documentazione delle indagini SIDI

23. La qualità come sistema: l’esperienza Istat SIDI: un sistema articolato di supporto alla qualità Caratteristiche e finalità Gestione integrata di metadati e indicatori di qualità Supporto al controllo della qualità per i responsabili di indagine Supporto alle decisioni sulle strategie per il miglioramento della qualità Comunicazione qualità agli utenti

24. La qualità come sistema: l’esperienza Istat Indicatori Standard di Qualità ISQ di Processo • Misure indirette dell’Accuratezza • - copertura • - mancata risposta • - codifica • - controllo e correzione • Informazioni sui costi Armonizzati con ISQ di Eurostat Alimentati dai sistemi di controllo delle indagini ISQ di Prodotto • Misure indirette dell’Accuratezza • - politica di revisione • Tempestività e puntualità • Confrontabilità nel tempo • Coerenza Armonizzati con ISQ di Eurostat Alimentati dai sistemi di controllo delle indagini

25. La qualità come sistema: l’esperienza Istat Stato di popolamento del sistema SIDI (10/2010) In produzione dalla fine del 2001 Oggi base consistente per analisi di qualità Processi documentati • 224 rilevazioni, di cui 155 attive • 101 elaborazioni, di cui 80 attive Gruppi di Indicatori documentati • Tempestività 100 % • Copertura e mancata risposta ≈ 69 % • Risorse ≈ 66 % • Confrontabilità ≈ 60 % • Controllo e correzione ≈ 33 % • Coerenza provvisori/definitivi ≈16 % • Coerenza con fonti esterne ≈ 9 % • Politica di revisione ≈ 7 %

26. Processi documentati • 224 rilevazioni, di cui 155 attive • 101 elaborazioni, di cui 80 attive Gruppi di Indicatori documentati • Tempestività 100 % • Copertura e mancata risposta ≈ 69 % • Risorse ≈ 66 % • Confrontabilità ≈ 60 % • Controllo e correzione ≈ 33 % • Coerenza provvisori/definitivi ≈16 % • Coerenza con fonti esterne ≈ 9 % • Politica di revisione ≈ 7 %

27. La qualità come sistema: l’esperienza Istat Supporto al controllo della qualità per i responsabili di indagini • Valutazione qualità di processo e prodotto • Valutazione andamento ISQ • Confronti con processi simili • Metadati per progettazione processi Funzionalità standard di SIQual sulla intranet

28. La qualità come sistema: l’esperienza Istat Supporto alle decisioni strategiche Alta Dirigenza • Report periodici standard • Analisi ad hoc su richiesta • Analisi andamento nel tempo

29. Comunicare la Qualità agli utenti Informazioni Qualitative e Quantitative SIDI Riuso informazioni Diffusione on-line Note Metodologiche Sintetiche (ASI) Dati on-line I.stat Scheda Qualità Scheda Processo Quality Report Dal 2006: SIQual su Internet Dal 2007: SIQual versione inglese

30. La qualità come sistema: l’esperienza Istat Attività avviata di recente Costruita sulla base dell’esperienza pregressa Orientata al miglioramento Valutazione Analisi indicatori standard Nuova procedura di audit e di auto-valutazione

31. La qualità come sistema: l’esperienza Istat La valutazione della qualità dei processi Istat • Definizione di una nuova strategia • (ottobre 2009) • Integrazione di audit e auto-valutazione • Assegnazione di risorse per l’implementazione delle azioni di miglioramento

32. La qualità come sistema: l’esperienza Istat Caratteristiche della procedura • valutazione approfondita dei processi statistici per evidenziare punti di forza e di debolezza • complementare all’analisi degli ISQ • coordinata dal Comitato Qualità rispondenza dei processi alle Linee Guida per la Qualità individuazione delleazioni di miglioramentocon lerisorsenecessarie e latempisticaper l’attuazione

33. La qualità come sistema: l’esperienza Istat La procedura di valutazione • Predisposizione degli strumenti di audit e auto-valutazione (ottobre -dicembre 2009) • Prima sperimentazione (gennaio - giugno 2010) • Revisione degli strumenti (novembre 2010) • Seconda sperimentazione (febbraio 2011) • Predisposizione di un piano per avvio a regime della procedura • Estensione ad elaborazioni e processi basati su fonti amministrative

34. La qualità come sistema: l’esperienza Istat Considerazioni finali • la qualità è un impegno di lungo periodo • oggi raccogliamo i frutti degli investimenti fatti TUTTAVIA Siamo consapevoli che molto può essere ancora fatto Diffusione sistematica di indicatori di qualità agli utenti Messa a regime procedura audit e autovalutazione