Qualità dei dati una esperienza Consip …

1. Qualità dei dati una esperienza Consip … (DWH della struttura di supporto agli acquisti della P.A.) CONSIP S.p.A. AIPA 12.03.2001

2. Agenda • La Consip • Il contesto operativo • Approccio al problema • Alcuni risultati • Stato dell’arte • Considerazioni Qualità dei dati Una esperienza Consip AIPA 12.03.2001

3. la Consip L’esigenza: D.L. del 19/11/1997 n. 414 “Attività informatiche dell’amministrazione statale in materia finanziaria e contabile” • …specifiche attività informatiche riservate allo Stato da svolgersi mediante un organismo a struttura societaria con unica ed esclusiva funzione di servizio allo Stato La nascita: Decreto del Ministro del Tesoro 22/12/1997 “Affidamento alla Consip di compiti di servizi informatici”. La missione: Decreto del 17/6/1998 Attività informatiche riservate allo Stato … Legge n. 388/99 (finanziaria 2000) Legge n. 488/00 (finanziaria 2001) D.M. 24/2/2000“Conferimento alla Consip S.p.a. dell’incarico di stipulare convenzioni e contratti quadro per l'acquisto di beni e servizi per conto delle Amministrazioni dello Stato” Qualità dei dati Una esperienza Consip AIPA 12.03.2001

4. Il contesto operativo Nell’ambito di Consip il nostro obiettivo è realizzare il Data Warehouse del MTBPE. In questo contesto nasce l’esigenza di: • integrare i dati provenienti da fonti diverse (Consip, fornitori, enti P.A.) • raggiungere gli obiettivi in tempi brevi • integrare i processi di bonifica e caricamento dei dati • minimizzare il numero degli scarti nei caricamenti nei DWH • migliorare la qualità del dato all’origine, di conseguenza limitare la fase di bonifica ai soli casi non risolvibili con modifiche del processo di acquisizione Quindi di utilizzare metodi e tecniche per la qualità dei dati. Qualità dei dati Una esperienza Consip AIPA 12.03.2001

5. ARCHIVIO ADESIONI P.A. (WEB ACQUISTI) • Category Manager • Direzione Consip INTRANET CONSIP BO client STAGING EDW DB PARTI COMUNI • Utenti MTBPE Browser FLUSSI DM INTERNET … • P.A. • C.d.c. • … pc e stampanti Browser … PARTI SPECIALIZZATE cancelleria … Definizione e Acquisizione dei flussi dal fornitore e dati adesioni Abbinamento, Cleaning, Integrazione Caricamento negli archivi Relazionali (dati integrati) Caricamento nei Data Mart Diffusione del sistema: 1) prospetti statici via Intranet /Internet, 2) Olap con client/server BO. Il contesto operativo - scenario architetturale Qualità dei dati Una esperienza Consip AIPA 12.03.2001

6. ANALISI DEL PROCESSO verifica del processo di acquisizione dei dati ANALISI DEL DATO ricerca tra i prodotti/servizi di mercato realizzazione di un prototipo in house definizione metodi e strumenti standard per la qualità dei dati Approccio al problema Le attività intraprese: Qualità dei dati Una esperienza Consip AIPA 12.03.2001

7. Approccio al problema Verifica del processo di acquisizione dati • Centralizzazione delle informazioni anagrafiche degli Enti ordinanti in un archivio disponibile su WEB costruito con le informazioni delle certificazioni delle P.A. necessarie per gli acquisti on-line • Condivisione di alcuni dati del suddetto archivio con i fornitori • Acquisizione delle informazioni anagrafiche degli Enti ordinanti dall’archivio condiviso al sistema di DWH • Eliminazione dai flussi di alimentazione del sistema di DWH delle informazioni anagrafiche (nome ente, gerarchia organizzativa, comune, indirizzo etc.) e sostituzione delle stesse con codici di riferimento Qualità dei dati Una esperienza Consip AIPA 12.03.2001

8. Approccio al problema Individuazione dei prodotti di mercato per mezzo di: • Ricerche su internet, • Esperti (Larry English www.infoimpact.com), • Società di consulenza (es. Gartner Group) Prodotti esaminati: Qualità dei dati Una esperienza Consip AIPA 12.03.2001

9. Approccio al problema Valutazione della efficacia di eventuali soluzioni di mercato • Pro • Disponibilità in tempi brevi • Problematiche risolte da specialisti con algoritmimi efficienti, • Migliori performance elaborative • Costi, anche se elevati, inferiori alla realizzazione di soluzioni ad hoc • Contro • Orientati verso soluzioni di natura privata • Copertura limitata a singole fasi del processo di qualità del dato • Tipicamente non operano su DB relazionali ma su file sequenziali • Necessità di formazione del personale • Architetture chiuse Qualità dei dati Una esperienza Consip AIPA 12.03.2001

10. Approccio al problema L’analisi condotta ha evidenziato una risposta parziale in termini di funzionalità dei singoli prodotti (analisi dello stato qualitativo dei dati attraverso la definizione di parametri e metriche, correzione dei dati, normalizzazione e data re-engineering, certificazione, monitoraggio, … ). La complessità della fase di selezione dei prodotti/servizi disponibili sul mercato ha reso necessario il consolidamento del requisito interno con la realizzazione di un prototipo. Qualità dei dati Una esperienza Consip AIPA 12.03.2001

11. Approccio al problema Il prototipo Consip. Cosa abbiamo fatto: • individuato archivi di riferimento (comuni, località, indirizzi postali, etc.) • realizzato utilities per la formattazione/normalizzazione dei dati (parser, normalizzatore per indirizzi) • riconosciuto i dati da bonificare • realizzata una utility interattiva per la verifica dei dati non riconosciuti • definito archivi di sinonimi (nome errato-nome corretto) per la bonifica massiva e rapida nei processi di caricamento Qualità dei dati Una esperienza Consip AIPA 12.03.2001

12. Prima Dopo Ministero del Tesoro Ragioneria Provinciale dello Stato Amministrazioni Centrali e Periferiche dello Stato Ministero del Tesoro, del Bilancio e della Programmazione Economica Dipartimento per l'Amministrazione Generale del Personale e dei Servizi del Tesoro Direzione Centrale degli Uffici Locali e dei Servizi del Tesoro Dipartimento Provinciale del Tesoro di Rovigo Prima Dopo Aeronautica Militare Distaccamento Aeroportuale Amministrazioni Centrali e Periferiche dello Stato Ministero della Difesa Aeronautica Militare Distaccamento Aeroportuale di Brindisi 39052 BZ CALDARO SULLA STRADA 39052 BZ CALDARO SULLA STRADA DEL VINO 16038 GE S. MARGHERITA LIGURE 16038 GE SANTA MARGHERITA LIGURE 39030 BZ ST. VIGI 39030 BZ ST.VIGIL ENNEBERG 71015 FG SAN NICANDRO 71015 FG SANNICANDRO GARGANICO 71015 FG SANNICANDRO GARGANO 71015 FG SANNICANDRO GARGANICO 02024 RI S. ELPIDI 02024 RI SANT'ELPIDIO DI PESCOROCCHIANO Alcuni risultati … esempi Comune / Località Pubblica Amministrazione Qualità dei dati Una esperienza Consip AIPA 12.03.2001

13. Stato dell’arte ANALISI DEL PROCESSO verifica del processo di acquisizione dei dati 80% ANALISI DEL DATO ricerca tra i prodotti/servizi di mercato ricerca tra di mercato 30% realizzazione di un prototipo in house realizzazione di un prototipo in house 80% definizione metodi e strumenti standard per la qualità dei dati Qualità dei dati Una esperienza Consip AIPA 12.03.2001

14. Considerazioni L’ottimizzazione del processo di generazione e morte del dato è fondamentale per ottenere un miglior livello qualitativo Gli strumenti di Data Quality nascono per essere applicati a valle del processo, di conseguenza migliorano il livello di qualità ma non esauriscono il problema Nell’ambito della qualità dei dati la loro certificazione e condivisione assumono un significato strategico per la P.A. Certificare significa: • individuare un gestore unico e responsabile del dato che sia il riferimento per tutta la P.A. • delegare a tale gestore la costituzione di archivi di riferimento da condividere con tutti gli enti interessati Individuare un gestore unico che coordini il patrimonio comune che assegni le competenza e le responsabilità ai soggetti individuati. Qualità dei dati Una esperienza Consip AIPA 12.03.2001