Quadro europeo dei sistemi di valutazione nella formazione iniziale

1. Seminario tecnico La valutazione degli apprendimenti nel sistema educativo italiano Sala Auditorium ISFOL - 28 marzo 2014 Quadro europeo dei sistemi di valutazione nella formazione iniziale appunti a cura di Arduino Salatin

2. La valutazione nei e dei sistemi formativi richiede una lettura multidimensionale e multilivello in quanto l’education è un processo e «oggetto» complesso…

3. Livelli e oggetti di valutazione dei/nei sistemi formativi Valutazione degli apprendimenti Valutazione di sistema Valutazione delle azioni formative (processi, risultati, impatto, …) ivi Accreditamento Certificazione Audit, … Valutazione dell’offerta formativa Valutazione interna e/o esterna dell’istituto/ Centro/servizio Sistemi assicurazione e/o gestione qualità

4. Valutare la qualità del /nel sistema istruzione e formazione Oggi si chiede che la formazione/istruzione sia sempre più improntata alla qualità intesa come efficacia, efficienza, utilità rispetto alla vita personale, sociale, lavorativa delle persone che la frequentano.

5. Per questo «la qualità della formazione non si riduce ai processi ed alle relazioni di tipo didattico, … ma è funzione anche di un insieme di fattori che caratterizzano un evento formativo contestualizzato in un dato ambiente organizzativo» (Isfol ,2011, p.11)

6. «Valutare la qualità» di un sistema educativo non è però una cosa semplice ….

7. Nel campo dell’analisi dei contesti educativi complessi, la valutazione può essere definita come una “raccolta sistematica di dati secondo strumenti affidabili, interpretazione di tali “dati” in vista di un impatto di cambiamento sulla situazione di partenza” (Beeby, 1977 ; Wolf, 1987). Per fare questo lavoro esistono diversi modelli e strumenti.

8. Esempio di modello di valutazione di un sistema formativo

9. Rispetto ai modelli di organizzazione, e dunque agli approcci possibili di valutazione della qualità, le istituzioni scolastiche e formative, in quanto «servizi», presentano tuttavia alcuni elementi di specificità rispetto ad altre organizzazioni:

10. - uno scarso controllo sull’”input” (gli studenti) e sulla risorsa umana (gli insegnanti/formatori) e dunque una minore governabilità complessiva del sistema - una difficile applicabilità della strategia del «miglioramento continuo», data la variabilità dell’utenza e del personale - un rapporto «continuativo» e non occasionale con il «cliente», - una certa ambiguità del concetto di “servizio per l’utente” soprattutto dove si tratta di istituzioni per la istruzione/formazione obbligatoria

11. Differisce anche il rapporto tra micro e macro sistemi; ad esempio tra: Il sistema didattico generale • misurare e certificare i risultati di apprendimento degli studenti • valutare gli esiti o giudicare le persone (gli alunni, gli insegnanti)? • Valutare il merito? Il sistema di relazioni tra gli attori educativi • la valutazione «formativa» (a partire dal riconoscimento dell’ asimmetria educatore – educando) • La valutazione dei singoli vs la valutazione del gruppo

12. Risulta spesso problematica la valutazione dei risultati e delle ricadute: Ad esempio: i buoni risultati di apprendimento degli allievi generano “automaticamente” buone ricadute del servizio formativo? (in senso diacronico e a livello di sistema)

13. Di qui la necessità di: • Porre più attenzione alla natura comunicazionale della valutazione, in direzione sia della soggettività (auto-valutazione) che della intersoggettività (co-valutazione e negoziazione sociale). • ampliare l’orizzonte della valutazione dai risultati alle ricadute : ciò è utile anche per precisare i “fini in vista di” (Dewey) che guidano l’agire valutativo nei contesti concreti. (cfr. La legittimazione scientifica del costrutto di «ricaduta»: l’approccio delle capabilitydi Sen e Nussbaum)

14. Quattro prospettive diequità formativa A. Sen, Equality of What? In: Tanner Lecture on Human Values, Stanford University, May 22, 1979, University of Utah Press, Salt Lake City 1980

15. La valutazione dei sistemi formativi Secondo Giorgio Allulli (2012), esistono due principali modelli in questo campo: • i modelli ispirati alla gestione manageriale di derivazione industriale, • i modelli “input-output», ispirati alle scienze economiche e sociali.

16. a) Il modello «manageriale» E’ un approccio ispirato alla gestione della qualità (intesa come capacità di rispondere alle attese implicite ed esplicite del sistema degli attori coinvolto nel servizio), E’ centrato sulla valorizzazione e sul controllo delle risorse, dei processi, dei prodotti e delle relazioni con il territorio in cui è presente ed opera l’organizzazione di formazione. Questi modelli, che derivano culturalmente dal mondo della produzione, hanno avuto particolare diffusione nel sistema delle aziende e in quello della formazione professionale

18. b) Il «modello input-output» Questo tipo di approccio è orientato a considerare l’organizzazione di formazione/istruzione secondo uno schema di “input-output”, abitualmente utilizzato nell’ambito delle discipline scientifiche e tecnologiche, importato successivamente dalla scienza economica e da quella sociale. Questi modelli hanno trovato particolare attenzione da parte del sistema di Istruzione.

19. esempio

20. APPROCCIO EFQM - MODELLO C.A.F. Fattori abilitanti Risultati ESITI DI APPRENDIMENTO Risultati relativi alle performance chiave Processi Risultati relativi al personale MISSION DELLA SCUOLA Leadership Personale DIDATTICA Risultati orientati a discenti -famiglie Politiche e strategie Partnership e risorse Risultati relativi alla società CONTESTO RENDICONTAZIONE SOCIALE Innovazione e apprendimento 20

21. Secondo Allulli, tra queste due tipologie di dispositivi valutativi non sono avvenuti molti scambi ed anzi il più delle volte si sono create delle paratie impermeabili, come se in effetti appartenessero a culture non solo diverse, ma addirittura antagoniste.

22. Il «Quadro di riferimento» europeo A livello europeo esiste un importante riferimento, a partire dalla: Raccomandazione del Parlamento Europeo e del Consiglio sull’Istituzione di un Quadro Europeo di riferimento per l’Assicurazione della Qualità dell’Istruzione e della Formazione Professionale (EQAVET), approvata il 18 giugno 2009. È uno strumento per la garanzia e di miglioramento della qualità dei sistemi formativi e si basa su 4 fasi essenziali.

23. La «Dichiarazione di Copenhagen» come base di riferimento (2002) • incoraggiare la mobilità e l’apprendimento permanente attraverso la messa in trasparenza di qualifiche e competenze; • migliorare la qualità dei sistemi di istruzione e formazione professionale; • favorire l’accesso personalizzato di tutti i cittadini ai percorsi di istruzione e formazione superiori attraverso il riconoscimento e la validazione dell’apprendimento non formale e informale; • definire un approccio comune per il trasferimento dei risultati dell’apprendimento tra i diversi sistemi; • definire un codice di riferimento comune per i sistemi di istruzione e formazione basato sui risultati dell’apprendimento.

24. EQARF Oggi questo dispositivo è stato ridefinito nell’ (EuropeanQuality Assurance Reference Framework)

25. Fonte: Quality Regimes in Vocational Education and Training Paper for CARMA’s 25th Anniversary Conference, Aalborg University, October 10. 2008

26. I modelli di valutazione proposti dall’OCSE Possiamo distinguere una prima fase, situabile tra gli anni Novanta ed i primi anni Duemila, segnata in particolare dall’avvio dell’indagine PISA (Programme for International StudentAssessment), Essa ha per fulcro la predisposizione di dispositivi per la misurazione dei risultati (outcomes) dei sistemi educativi, mediante l’assessment ciclico di set distinti di competenze piuttosto che sui contenuti curricolari. Fonte. Dordit, Salatin (2012)

27. Apartire dal 2005, possiamo individuare una seconda fase in cui si assiste alla pubblicazione di una serie di attività di ricerca di carattere settoriale, che pongono a fuoco di volta in volta componenti distinte del sistema educativo. • L’opera di indagine comparata a livello internazionale è accompagnata dall’offerta di elementi diretti al miglioramento delle policy praticate presso i diversi contesti nazionali o sub-nazionali, sia sul piano della riflessione teorico-metodologica che sotto il profilo della governance. • E’ questo il caso ad esempio dei programmi di ricerca sugli aspetti della valutazione applicata alla misurazione della performance degli insegnanti.

28. Inoltre va richiamata l’analisi internazionale sulla valutazione delle istituzioni scolastiche che si propone di ricostruire le più significative pratiche, sia sul versante della valutazione interna di istituto che della valutazione esterna svolta ad opera di organismi governativi o di agenzie e autority indipendenti. • In tale filone rientra anche il più recente filone centrato sulla valutazione del valore aggiunto, tesa a misurare l'impattodelle singole istituzioni scolastiche e formative sui risultati conseguiti dagli studenti, costruite in modo da isolare il contributo della singola istituzione scolastica dai fattori di carattere socio-economico che influenzano gli apprendimenti degli allievi.

29. I 25 fattoriche, secondo l’OCSE, possonoinfluenzare la performance scolasticadeglistudenti (individuati a partiredairisultatidellerilevazioni PISA) esempio Bernard Hugonnier, Pisa and the performance of educational systems, (2009)

30. Livello di influenza associatoaivarifattori esempio

31. Il modello di review È articolatosu: • COMPARATIVE ANALYSIS • COUNTRY REVIEWS L’ OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes (2009) È un quadro di riferimento basato sulle prospettive di accountability e di improvement dei sistemi educativi.

32. Le componentifondamentali del modellosonoarticolatesu 5 dimensioni: • Student assessment; • Teacher appraisal; • School evaluation; • The appraisal of school leaders; • Education system evaluation. Synergies for Better Learning: An International Perspective on Evaluation and Assessment, Presentation by Paulo Santiago Directorate for Education and Skills, OECD, 2013

33. Sono strutturate per far interagire gli esperti, i decisori e gli operatori sul campo Policy review

34. Accountability • Tra i diversi lemmi e costrutti, il termine accountability appare oggi una parola chiave emergente per la valutazione dei sistemi formativi (dal livello micro al livello macro). • Ma l’accountability, pur restando un criterio necessario per l’analisi valutativa, in particolare per le dimensioni della trasparenza e della responsabilità, può essere anche sufficiente?

35. La logica orientata all’accountability, che generalmente implica l’uso di un approccio di tipo sommativo, applicata all’accertamento dell’esito di apprendimento degli studenti, si esplica - nelle diverse forme di accertamento, - in differenti stadi del percorso formativo, del livello di conseguimento di obiettivi curricolari espressi generalmente in conoscenze ed abilità, - sulla base di standard fissati dalle autorità di governo del sistema (standards-basedsystems)

36. esempio

37. Modelli di autovalutazione delle istituzioni educative e formative accountability finalità processi esiti focus improvement

38. Il raccordo tra valutazione interna ed esterna L’attività di valutazione, interpretata in funzione di uno sviluppo dei sistemi e della loro capacità di risposta sia verso l’esterno che verso l’interno, richiede la predisposizione di un’adeguata architettura del sistema valutativo, la cui articolazione possa comprendere tanto il piano della valutazione dei risultati di apprendimento, quanto nuovi e meno tradizionali elementi, quali la valutazione delle istituzioni scolastiche, della performance degli insegnanti e del sistema nel suo complesso.

39. Ne risulta quindi la tendenza a promuovere lo sviluppo di sistemi integrati di valutazione, le cui componenti siano interconnesse sulla base di dispositivi di rilevazione e set di indicatori unitari entro un sistema informativo che consenta l’interoperabilità dei dati raccolti ed elaborati.

40. Tipologiedi valutazione finale dell’ IVET in Europa Secondo questistudi, in 25 paesi UE risultanotremodalitàprevalenti (chepossonopresentarsianche in forma mista): • esamistandardizzati(es. Irlanda, Lituania, Polonia) • coursework(es. portfolio,…come in Germania, Austria) • valutazione di performances e capacitàpratiche(es. Finlandia, Francia, Spagna, RegnoUnito). Cedefop, C O M P A R A T I V E A N A L Y S I S, Initialvocationaleducation and training (IVET), paper, 2009

41. La valutazione degli apprendimenti e delle performances degli studenti: alcune tendenze a livello comparato a) Prima tendenza ricerca di un più stretto raccordo tra standard formativi e forme di assessmentdegli studenti. b) Seconda tendenza sviluppo delle capacità degli insegnanti di valutare sulla base di standard. In alcuni casi, ad esempio in UK, si forniscono agli insegnanti linee guida dettagliate sulle pratiche di assessment, rafforzando i processi di collaborazione tra istituzioni formative ed insegnanti.

42. c) Terza tendenza ricerca di un più stretto raccordo tra pratiche di valutazione esterna e valutazione degli apprendimenti effettuata dagli insegnanti. In proposito si può rilevare che in diversi Paesi si combina il punteggio ottenuto dagli studenti in prove di valutazione esterna con quello attribuito in classe dagli insegnanti. È questo il caso ad esempio di paesi quali la Danimarca, Olanda, Polonia, Svezia, Svizzera ed il Regno Unito. Fonte: Luca Dordit, La valutazione dei sistemi educativi: alcune linee di tendenza nei processi di riforma in corso in area OCSE, in «Rassegna italiana di valutazione», n. 49 (2011), pp.63-76

43. Strumenti promossi dal CEDEFOP a) La «Guida per l’autovalutazione» Un elemento a supporto della strategia europea per l’assicurazione della qualità nella VET è costituito dalla European Guide on Self-assessment for VET-providers, frutto del lavoro del Gruppo Tecnico sulla Qualità (TWG) costituito dalla Commissione Europea presso il CEDEFOP. L’adattamento italiano della «Guida» è stata curato da G. Allulli (2006) per conto dell’ISFOL.

44. b) La guida per la Peer Review La Peer Review(valutazione tra pari) è una forma di valutazione esterna che ha l’obiettivo di supportare le strutture scolastiche e formative nelle iniziative di sviluppo e di assicurazione della qualità. Il modello di Peer Review per la qualità nel settore education è stata messo a punto dalla Commissione Europea per essere adottato su base volontaria dalle istituzioni di Istruzione e Formazione Professionale.

45. Si tratta di un gruppo esterno di esperti, definiti Pari (Peers)che è chiamato a valutare la qualità di alcune aree della struttura scolastica/ formativa, come per esempio la qualità dell’insegnamento / apprendimento, o dell’intera struttura. • Durante il processo valutativo, i Peer conducono visite presso l’istituzione soggetta a valutazione. • Il Manuale italiano della Peer Reviewè stato curato dall’Isfol(cfr. Allullie Tramontano, 2012).

46. Il «modello italiano» di valutazione del sistema di istruzione e di formazione

47. Il nuovo «sistema nazionale di valutazione» (SNV) Il decreto del Presidente della Repubblica del 28 marzo 2013, n. 80 ha istituito il nuovo Sistema di Valutazione Nazionale di valutazione in materia di istruzione e formazione. Vi contribuiscono tre soggetti: INVALSI (Istituto nazionale per la valutazione del sistema di istruzione e formazione), Indire (Istituto nazionale di documentazione, innovazione e ricerca educativa) ed il contingente degli ispettori scolastici.

48. il Regolamento del SNV (2012) • (Art. 6: procedimento di valutazione) • Autovalutazione delle istituzioni • Valutazione esterna • Azioni di miglioramento • Rendicontazione sociale Fonte: MIUR, materiali presentazione USR, 2013

49. Il processo di riferimento • analisi e verifica del proprio servizio sulla base di: • dati resi disponibili dal sistema informativo del Miur • rilevazioni sugli apprendimenti e elaborazioni sul valore aggiunto dell'Invalsi • ulteriori elementi significativi integrati dall’istituto • - elaborazione di un rapporto di autovalutazione • - formulazione di un piano di miglioramento Ripreso da art. 6 del Regolamento sul Sistema nazionale di Valutazione: “procedimento di valutazione”; lettera a) autovalutazione delle istituzioni scolastiche

50. Fonte: VALSIS, Quadro di riferimento teorico valutazione sistemi e scuole, Invalsi, 2010