“ E-learning e innovazione ” 18 Maggio 2010 nel Forum P.A. Nuova Fiera di Roma

1. “E-learning e innovazione” 18 Maggio 2010 nel Forum P.A. Nuova Fiera di Roma Qualità dell’e-learning Valerio Eletti TRIeL - Asfor

2. agenda • Il problema della qualità della formazione on line • Le rilevazioni sul campo nei corsi on line della PA • L’analisi dei risultati e le proposte operative

3. A. Il problema della qualità • La mancanza di qualità nella formazione provoca diversi danni : • perdita di tempo e di denaro • mancata preparazione dei discenti alle sfide a cui dovevano essere preparati • danni al committente (nel nostro caso la PA) • danni ai clienti (nel nostro caso i cittadini) • Ciò vale in generale. • Che succede quando la formazione è erogata in e-learning? • Prima di rispondere condividiamo il senso che diamo a questo termine: • In questo contesto chiamiamo e-learning • il pacchetto di tecnologie+metodologie • che si aggiungono (non si sostituiscono) • alla cassetta degli attrezzi del formatore • per far aumentare efficacia ed efficienza alla formazione.

4. A. Il problema della qualità • Che danni provoca la cattiva qualità nella formazione in e-learning? • Oltre a quelli comuni a tutti i tipi di formazione (perdita di tempo e di denaro, mancata preparazione dei discenti alle sfide a cui dovevano essere preparati, danni al committente e ai clienti), abbiamo anche: • diffidenza dell’utente: • verso la formazione in generale • verso le tecnologie digitali in generale • diffidenza del committente: • verso la formazione in generale • verso le tecnologie digitali in generale • Con un doppio danno per il cittadino • che vede minate l’efficienza e l’efficacia di una PA • percepita come incapace di rinnovarsi • e diffidente a tutti i livelli verso le nuove tecnologie • e quindi verso l’innovazione indotta dovunque - nel privato e all’estero - • dalle potenzialità dell’interconnessione in rete.

5. A. Il problema della qualità • La cattiva qualità nella formazione in e-learning • genera dunque un effetto valanga che cresce su se stesso • e che va per questo controllato e troncato sul nascere: • cosa attuata da anni nelle aziende di dimensioni nazionali e multinazionali, • grazie a meccanismi interni di autocontrollo e di ottimizzazione delle filiere • cosa da attuare in tempi brevi e in maniera efficace anche nella PA, • se non si vogliono far dilagare gli attuali sensi di disillusione e sfiducia • sia nella formazione sia nelle nuove tecnologie digitali connesse in rete • Ma che cos’è che non funziona dal punto di vista qualitativo • nella attuale offerta formativa in e-learning della PA? • E quali sono invece i punti di forza presenti già oggi che andrebbero potenziati? • Vediamo in sintesi i risultati di un’indagine sul campo • realizzata da TRIeL nel 2009 e da poco conclusa …

6. agenda • Il problema della qualità della formazione on line • Le rilevazioni sul campo nei corsi on line della PA • L’analisi dei risultati e le proposte operative

7. B. Le rilevazioni sul campo di TRIeL Per verificare nel concreto che cosa funziona e che cosa non funziona dal punto di vista qualitativo nella attuale offerta formativa in e-learning della PA, il tavolo TRIeL ha condotto nell’ultimo anno una indagine sul campo (coordinata dalla Dott.ssa Vaiasicca dell’Isfol, con la collaborazione della Dott.ssa Pratesi), prendendo a riferimento le analisi di scenario delineate in ricerche europee come Helios (Horizontal E-learning Integrated Observation System) o Learnovation (promosso all’interno del Lifelong Learning Programme nel 2008) e l’analisi Delphi realizzata nel corso del 2008 da Scienter per TRIeL (i documenti di riferimento si trovano nelle cartelline a disposizione del pubblico). I rappresentanti dei Ministeri, delle Regioni, degli Enti e delle Associazioni di categoria presenti al Tavolo TRIeL hanno indicato al gruppo di ricerca i casi di studio da esaminare, per un totale di 14 esperienze, alcune delle quali coinvolgono decine di aziende o consorzi. A ciascun caso di studio i ricercatori Isfol-TRIeL hanno dedicato colloqui approfonditi e analisi dettagliate di 73 variabili sensibili.

8. B. Le rilevazioni sul campo di TRIeL Senza entrare nei dettagli della ricerca, possiamo dire che tali variabili riguardano aspetti specifici relativi a: • Progettazione, • Competenze obiettivo, • Target, • Condizioni esterne di realizzazione, • Contesto di spendibilità delle competenze acquisite, • Metodi e strumenti, • Ruoli intervenienti, • Processi di valutazione, • Riferimenti alla comunità, L’analisi di ciascuna variabile e la valutazione della sua incidenza sul processo hanno condotto a una valutazione sintetica dei punti di forza, dei punti di debolezza e degli interventi di miglioramento individuabili per ciascun progetto.

9. B. Le rilevazioni sul campo di TRIeL In conclusione i ricercatori hanno elaborato alla fine di ogni analisi di caso, una tabella valutativa relativa alla descrizione sintetica di • Funzionalità, • Usabilità, • Contenuti, • Malfunzionamenti, • Compatibilità, • Prestazioni • Accessibilità. Il totale dei punteggi attributi - con i rispettivi pesi - a ciascuna delle 73 variabili sensibili ha dato luogo a una sorta di classifica informale basata su una misura di tipo qualitativo che permette di delineare le best practices e le worst practices tra i casi esaminati, dal punto di vista della qualità, dell’efficacia e dell’efficienza dell’intervento formativo. Vediamo la “classifica” delle esperienze esaminate dal gruppo di ricerca TRIeL Isfol.

10. B. Le rilevazioni sul campo di TRIeL

11. B. Le rilevazioni sul campo di TRIeL Una serie di note doverose per la lettura della tabella: • i dati sono stati trattati in forma anonima • i primi sei casi (fondo verde) risultano qualitativamente all’altezza dei propri obiettivi • gli ultimi tre casi (fondo rosso) risultano completamente inadeguati • i casi centrali (fondo giallo e ocra) hanno gradi diversi di inadeguatezza Pur mantenendo l’anonimato dei casi esaminati, ci sentiamo di segnalare come migliore esperienza di utilizzo efficace ed efficiente dell’e-learning nella PA italiana quella dell’Istituto Commercio Estero (ICE, indicato in tabella come C3), che ha realizzato ed erogato un pacchetto di corsi blended dedicati al miglioramento delle tecniche di acquisizione di competenze nel settore delle Piccole e Medie imprese che si occupano di import-export. E ora veniamo ai risultati che emergono da questa ricerca, tenendo conto che sono le criticità gli elementi più preziosi da prendere in considerazione se si vogliono individuare le linee guida per il raggiungimento della qualità richiesta.

12. agenda • Il problema della qualità della formazione on line • Le rilevazioni sul campo nei corsi on line della PA • L’analisi dei risultati e le proposte operative

13. C.1. L’analisi dei risultati L’analisi dei dati della ricerca TRIeL Isfol, tenendo conto anche di quanto viene osservato al proposito nella saggistica internazionale, fa emergere delle criticità ricorrenti in tutti i casi esaminati, a causa di azioni di progettazione, erogazione e/o valutazione inadeguate. Vediamo le principali.

14. C.1. L’analisi dei risultati Ogni intervento in e-learning viene ri-progettato ex-novo senza utilizzare le esperienze e i repository esistenti in altri settori (anche molto prossimi) della PA (quanti duplicati si sono fatti, per esempio, dei corsi on line per la privacy o per la sicurezza? Quanto denaro è stato così sprecato?)

15. C.1. L’analisi dei risultati • Vengono trascurati o sottovalutati fattori critici dei nodi strutturali della filiera: • Chiarezza di obiettivi, bisogni e fattibilità • Commitment forte e chiaro della direzione e dei responsabili diretti • Effettiva rispondenza agli effettivi bisogni formativi degli utenti • Attenzione agli intralci burocratici • Adeguatezza delle infrastrutture • Dotazione tecnologica • Tipolgia di connessione • Software di supporto e gestione (piattaforma) • Preparazione in ambito e-learning di docenti e tutor • Attenzione agli utenti finali • Verifica dell’alfabetizzazione informatica degli utenti • Verifica dell’adeguatezza dei tempi di fruizione • Coinvolgimento e motivazione degli utenti

16. C.1. L’analisi dei risultati • La committenza (direzioni del personale o responsabili formazione e sviluppo) non è preparata a sufficienza: si trova così a “subire” la superiore preparazione tecnologica e metodologica di fornitori (di piattaforma, di contenuti, di sviluppo e di erogazione) di cui non è in grado di valutare capacità, qualità e attendibilità; per cui accetta spesso prodotti e servizi di scarsa qualità, e in particolare: • Piattaforme sw costose e inadeguate • Corsi in e-reading (dispense trasferite sic et simpliciter in digitale) … • … oppure unità didattiche rigide di prima generazione (CBT e WBT) … • … oppure di seconda generazione (brute riprese video di lezioni in aula) • Erogazioni senza coinvolgimento e motivazione degli utenti Il tutto originato dalla sostanziale incapacità di elaborare e gestire i bandi per l’assegnazione delle diversi fasi del lavoro (dall’analisi dei bisogni formativi, alla piattaforma, all’instructional design, alla preparazione dei contenuti, alla produzione delle unità didattiche, all’assistenza on line, ecc) ,

17. C.1. L’analisi dei risultati • Non viene fatta una valutazione sistematica dei risultati ottenuti: • lato utente (ex ante, in corso ed ex post): • verifica del gradimento, • della preparazione ottenuta, • della capacità di applicarla sul lavoro • lato fornitore (esperti di contenuto, sviluppatori, erogatori): • valutazione di efficacia ed efficienza del prodotto/servizio fornito, • verifica del raggiungimento degli obiettivi formativi • eventuale ri-progettazione di parti del corso E per definizione senza feedback non è possibile ottenere miglioramento del processo, ottimizzazione delle risorse impiegate, adattamento della struttura committente alle esigenze imposte dall’ambiente e dalla sua evoluzione continua.

18. C.2. Le proposte operative Come diretta conseguenza dell’analisi delle criticità emerse dallo studio TRIeL Isfol, si delineano delle nette linee guida tecniche e metodologiche che in buona parte si sovrappongono o addirittura coincidono con quelle che emergono dagli altri gruppi di lavoro di TRIeL (come il Delphi), da ricerche parallele (come Fortic), e dalla letteratura internazionale. Qui non entriamo però nelle soluzioni tecniche e metodologiche, utili agli specialisti, ma diamo i punti di riferimento “politici” per una serie di azioni concrete che possano evitare al cittadino i danni (di cui si parlava all’inizio) causati da una cattiva qualità dell’e-learning nella PA. Sono cinque “raccomandazioni”. Vediamole una per una… La cattiva qualità dell’e-learning nella PA provoca un doppio danno per il cittadino che vede minate l’efficienza e l’efficacia di una PA percepita come incapace di rinnovarsi e diffidente a tutti i livelli verso le nuove tecnologie e quindi verso l’innovazione indotta dovunque, nel privato e all’estero, dalle potenzialità dell’interconnessione in rete.

19. C.2. Le proposte operative • Formare i committenti (oltre ai gestori e ai formatori e-learning) nella PA (azione avviata dal Cnipa con Stanca e poi non più praticata) • Supportare lo scambio e il confronto di esperienze tra le PA (ripristino di un osservatorio nazionale sull’e-learning con uno sguardo all’Europa; evidenziazione e diffusione delle buone pratiche e delle eccellenze) • Formare repository specialistici ragionati (creare repository di unità didattiche di settore i cui elementi siano certificati; per esempio scegliere tra quelli prodotti i migliori corsi su privacy e sicurezza) • Creare un albo di fornitori di qualità certificata (fornitori da individuare analizzando le best practices private e pubbliche) • Creare un ente di ricerca e certificazione che coordini le funzioni sopra descritte (e/o creare centri regionali coordinati con accesso a repository e studi comuni)

20. GRAZIE PER L’ATTENZIONE per approfondimenti o informazioni valerio.eletti@uniroma1.it