I progetti di valutazione delle istituzioni scolastiche

1. Palermo, 6 maggio 2014 I progetti di valutazione delle istituzioni scolastiche Isabella Quadrelli - INVALSI

2. Perché la valutazione delle scuole?

3. Perché la valutazione delle scuole in Italia? Raccomandazione del Parlamento europeo e del Consiglio del 12 febbraio 2001 per la valutazione della qualità dell’insegnamento: • Spinte internazionali ed europee • Riforme in ambito scolastico e della pubblica amministrazione • Nuove richieste e aspettative sociali «sviluppare la valutazione esterna allo scopo di fornire un sostegno metodologico all'autovalutazione e fornire un'analisi esterna della scuola che incentivi un processo costante di miglioramento facendo attenzione a non limitarsi al solo controllo amministrativo» «incoraggiare l'autovalutazione da parte degli istituti scolastici come metodo per fare delle scuole un luogo di apprendimento e di perfezionamento, associando con equilibrio autovalutazione e valutazione esterna.»

4. Il Regolamento sul Sistema Nazionale di Valutazione • Finalità generali della valutazione (art. 2 co. 1) • La valutazione dei dirigenti scolastici (art. 2 co. 2) • Le priorità per la valutazione del Sistema di istruzione e formazione (art. 2 co. 3) Ai fini del miglioramento della qualità dell'offerta formativa e degli apprendimenti, l'S.N.V. valuta l'efficienza e l'efficacia del sistema educativo di istruzione e formazione L'S.N.V. fornisce i risultati della valutazione di cui al comma 1 ai direttori generali degli uffici scolastici regionali per la valutazione dei dirigenti scolastici il Ministro, con periodicità almeno triennale, individua le priorità strategiche della valutazione del sistema educativo di istruzione

5. I soggetti del S.N.V.

6. Il procedimento di valutazione Autovalutazione Valutazione esterna Rendicontazione sociale Miglioramento Il Regolamento sul Sistema Nazionale di Valutazioneha sancito la rilevanza del rapporto tra valutazione interna e valutazione esterna, e miglioramento.

7. L’autovalutazione di istituto L’autovalutazionesollecita ciascuna scuola ad interrogarsi sulla qualità del servizio offerto al fine di migliorarlo: la libertà delle scuole di compiere scelte autonome dovrebbe infatti essere sempre connessa alla responsabilità di intraprendere processi di miglioramento e di qualificazione del servizio. • Il Regolamento prevede: • - Forme di sostegno esterno all’autovalutazione. L’autovalutazione è presentata come una riflessione sul proprio servizio a partire dai dati forniti da Miur, Invalsi (risultati prove INVALSI, Valore aggiunto) e da altre evidenze individuate dalle scuole • - L’elaborazione da parte delle scuole di un rapporto di autovalutazione con l’indicazione di obiettivi di miglioramento

8. La valutazione esterna • individuazione da parte dell'Invalsi delle situazioni da sottoporre a verifica, sulla base di indicatori di efficienza ed efficacia previamente definiti • visite dei nuclei di valutazione esterna • ridefinizione da parte delle istituzioni scolastiche dei piani di miglioramento in base agli esiti dell'analisi effettuata dai nuclei

9. Il miglioramento • definizione e attuazione da parte delle istituzioni scolastiche degli interventi migliorativi anche con il supporto dell'Indire o attraverso la collaborazione con università, enti di ricerca, associazioni professionali e culturali.

10. La valutazione dei Dirigenti scolastici • Il percorso valutativo serve anche a evidenziare le aree di miglioramento organizzativo e gestionale delle istituzioni scolastiche direttamente riconducibili al dirigente scolastico, ai fini della valutazione dei risultati della sua azione dirigenziale […]. • I piani di miglioramento, con i risultati conseguiti dalle singole istituzioni scolastiche, sono comunicati al direttore generale del competente Ufficio scolastico regionale, che ne tiene conto ai fini della individuazione degli obiettivi da assegnare al dirigente scolastico in sede di conferimento del successivo incarico e della valutazione di cui al comma 4.

11. L’impianto valutativo proposto dal Regolamento Valutazione meritocratica dell’operato del DS Valutazione formativa • Livelli di valutazione: • Sistema scolastico • Istituzioni scolastiche • Dirigenti scolastici • Apprendimenti degli studenti

12. Alcune prime riflessioni • Quale autonomia viene lasciata alle scuole nella definizione del percorso di autovalutazione? • In che termini si struttura il rapporto tra autovalutazione e valutazione esterna rispetto al percorso di miglioramento? • È stato osservato che il Regolamento non ha esplicitato in maniera chiara il nesso tra valutazione e miglioramento. Il nesso tra autovalutazione/valutazione esterna e miglioramento NON E’ CAUSALE è necessario favorirlo con: interventi di sistema/cornice e soluzioni tecniche di collegamento interne alla scuola, ad esempio dei sistemi di incentivi

13. Le prime sperimentazioni SIVADIS (Sistema di valutazione dei dirigenti scolastici) Sperimentazione triennale (2003-2006) di attuazione dell’art. 25 del d.legs. 165/2001. Basato sulla definizione di un piano d’azione da parte del DS, valutazione da parte di soggetti esterni e concertazione di azioni di miglioramento VALUTAZIONE & MIGLIORAMENTO (prima edizione) avviato nel 2009 nelle Regioni Obiettivo Convergenza. Sperimentazione di protocolli e strumenti per la valutazione esterna delle scuole e di modalità di supporto per il miglioramento VSQ (Valutazione per lo sviluppo della qualità delle scuole) avviato nel 2011. Sperimentazione di protocolli e strumenti per la valutazione delle scuole (tra cui il Valore Aggiunto) e di un sistema di incentivi economici per le scuole migliori

14. VALES E VM – due progetti sperimentali sui percorsi valutativi delle scuole / 1 • Obiettivi comuni: • Validazione di strumenti, procedure e protocolli • Individuazione di figure preposte alla valutazione • VALES: • Sperimentazione di un percorso di valutazione esterna ‘leggero’ (2 gg visita) • Sperimentazione dell’utilizzo di un Rapporto di autovalutazione inteso come strumento di comunicazione interno/esterno • VM: • Sperimentazione di un percorso di valutazione esterna che prevede un contatto ‘diretto’ con tutti gli attori e nel complesso più approfondito (3gg di visita) • Sperimentazione dell’utilizzo di una Scheda strutturata di osservazione in classe dei processi di insegnamento/apprendimento

15. VALES E VM – due progetti sperimentali sui percorsi valutativi delle scuole / 2 ISTITUZIONI SCOLASTICHE COINVOLTE • VALES: • 300 istituzioni scolastiche di I e II ciclo che hanno scelto di aderire al progetto di cui • 200 nelle regioni obiettivo convergenza • 100 al centro nord • VM: • 400 Istituti Comprensivi selezionati mediante una procedura casuale di campionamento sul territorio nazionale • 30 scuole secondarie di II grado che hanno scelto di aderire al progetto nelle regioni obiettivo convergenza TOTALE = 730

16. Valutazione e sviluppo della scuola (VALES) Autovalutazione a ‘monte’ di quella esterna Autovalutazione Analisi organizzativa interna – primo stadio di una valutazione integrata ai fini di miglioramento Processo di autovalutazione Strutturato e supportato dall’esterno Rapporto di autovalutazione Strumento di comunicazione, uguale per tutte le istituzioni scolastiche, fra ‘interno’ ed ‘esterno Verifica la congruità del processo di autovalutazione e del giudizio a cui si è giunti, approfondisce le discrasie e fornisce indicazioni per il miglioramento Valutazione esterna

17. Valutazione e Miglioramento (VM) Autovalutazione a ‘valle’ di quella esterna - Molto approfondita, individua punti di forza e di debolezza del servizio offerto e indica piste di miglioramento Valutazione esterna Rapporto di autovalutazione • Strumento di comunicazione, uguale per tutte • le istituzioni scolastiche, fra ‘interno’ ed ‘esterno Autovalutazione Non strutturata a priori, bensì definita da quella esterna nei contenuti; demandata alla scuola Presa di coscienza dei punti critici da affrontare attraverso un proprio specifico percorso auto-valutativo a partire dalle piste di miglioramento proposte dai valutatori esterni Processo di autovalutazione

18. Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 1 • I quadri di riferimento teorici • Definiscono gli obiettivi e i principi che orientano la valutazione • Individuano gli ambiti ritenuti rilevanti per valutare il funzionamento di una scuola • definiscono ipotesi o relazioni che legano tra loro i processi e i processi ai risultati • Sono punti di riferimento per individuare gli indicatori e i criteri di qualità

19. Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 2 • L’utilizzo di un corpus di criteri comuni per l'autovalutazione e per la valutazione esterna consente: • alle scuole di indirizzare le proprie energie verso aspetti che sono ritenuti importanti anche all'esterno • al sistema di compiere le proprie rilevazioni e analisi in modo più rapido, potendo contare sul percorso già svolto dalla scuola e assumendone gli esiti.

20. Un quadro di riferimento teorico per i percorsi valutativi delle scuole /3

21. Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 4

22. Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 5

23. Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 6 Esempi di definizioni di aree Risultati L’equità degli esiti rimanda alla necessità di assicurare a tutti i propri studenti il raggiungimento di alcuni livelli essenziali di competenza necessari per la partecipazione attiva alla vita sociale e allo sviluppo professionale. L’obiettivo misurabile diventa quindi quello di ridurre l’incidenza numerica e la dimensione del gap formativo degli studenti con livelli di apprendimento sotto una determinata soglia. Poiché l’ottenimento di certi risultati non può essere ricondotto alla esclusiva responsabilità della singola scuola, nel valutare una scuola le misure sugli esiti devono essere affiancate sia dalla considerazione dei processi attivati dall’istituzione scolastica per affrontare tali problemi, sia da una misura dell’entità delle difficoltà che quella scuola si è trovata a fronteggiare (ad es. misure del background familiare o del contesto locale in cui la scuola opera). Equità degli esiti

24. Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 7 Esempi di definizioni di aree Contesto Risorse e competenze presenti nella comunità per la cooperazione, la partecipazione e l’interazione sociale. Istituzioni rilevanti nel territorio (es. per l’integrazione degli stranieri, l’inclusione, la lotta alla dispersione scolastica, l’orientamento, la programmazione dell’offerta formativa). Capitale sociale

25. Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 6 Processi Esempi di definizioni di aree Pratiche educative e Didattiche Selezione dei saperi, scelte curricolari e offerta formativa Individuazione del curricolo fondamentale a livello di istituto e capacità di rispondere alle attese educative e formative provenienti dalla comunità di appartenenza. Definizione di obiettivi e traguardi di apprendimento per le varie classi e anni di corso. Attività opzionali ed elettive che arricchiscono l’offerta curricolare.

26. Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 6 Processi Esempi di definizioni di aree Ambiente organizzativo per l’apprendimento Identità strategica e capacità di direzione della scuola Identificazione e condivisione della missione, dei valori e della visione di sviluppo dell’istituto. Stile di direzione, modalità di gestione della scuola da parte del dirigente e dei suoi collaboratori. Promozione di una comunità professionale che cerca il coinvolgimento e l’impegno pro-attivo del personale.

27. Selezione e formazione dei valutatori • Per la valutazione delle istituzioni scolastiche sono stati selezionati e formati 400 valutatori, riconducibili a due profili professionali: • Profilo metodologico esperto nelle procedure e nell’utilizzo degli strumenti di rilevazione • Profilo pedagogico esperto delle problematiche relative alla didattica e all’organizzazione scolastica In Europa le qualifiche prevalentemente richieste per i valutatori esterni sono legate alla formazione per l’insegnamento o a quella dell' esperienza professionale in campo educativo, associate però a competenze in ambito metodologico/valutativo acquisite attraverso corsi specializzati e/o attraverso il superamento di esami con il rilascio di certificazioni. 27

28. Ruoli e competenze nei team di valutazione • La scelta dei due profili è stata motivata da diverse considerazioni: • assicurare un’istanza di «peerevaluation» • porre le condizioni per creare il bilanciamento di punti di vista interni ed esterni alla scuola • massimizzare le competenze all’interno dei team • Profili distinti ma ruoli fortemente integrati: il protocollo di valutazione prevede una forte integrazione delle competenze pedagogiche e di quelle metodologiche in tutte le fasi della valutazione (dalla raccolta dei dati, alla formulazione dei giudizi, alla redazione del rapporto finale).

29. Una pluralità di fonti di informazione per scuole e Team di valutazione Per le scuole VALES: Rapporto di autovalutazione Questionario scuola INVALSI Dati prove INVALSI Questionari Studenti, Genitori, Insegnanti INVALSI Scuola in Chiaro MIUR AUTOVALUTAZIONE VALUTAZIONE ESTERNA Documenti delle scuole (POF, Programma annuale)

30. Il protocollo di valutazione /1 Prima della visita Protocollo di valutazione

31. Il protocollo di valutazione /2 Protocollo di valutazione

32. Il protocollo di valutazione /3 Dopo la visita Protocollo di valutazione

33. Una pluralità di strumenti Scheda di osservazione in classe (solo per VM) Intervista strutturata al Dirigente Scolastico Interviste individuali e di gruppo a insegnanti, genitori e studenti Valutazione esterna Rubriche di valutazione Interviste con DS e Personale ATA Foto documentazione Analisi della documentazione 33

34. Interviste nel progetto Vales Interviste con: DS Docenti con incarichi di responsabilità (Funzioni strumentali, collaboratori del DS, responsabili di gruppi o aree) Docenti curricolari - DSGA e personale ATA

35. La Rubrica di valutazione La Rubrica di valutazione permette di esprimere un giudizio su un determinato aspetto o area a partire dalla raccolta di dati di tipo sia quantitativo che qualitativo. Si compone dei seguenti elementi: una check list che presenta gli indicatori ritenuti rilevanti per valutare una specifica area una scala di valutazione a quattro livelli: INDADEGUATO, ACCETTABILE, BUONO, ECCELLENTE ogni livello è descritto in maniera analitica e contiene gli elementi o le evidenze empiriche da prendere in considerazione per esprimere un giudizio

36. La restituzione alle scuole e il sostegno al miglioramento • i Team di valutazione hanno elaborato un rapporto di valutazione per ogni istituzione scolastica visitata, che evidenzia i punti di forza e di debolezza del servizio scolastico offerto, e suggerisce piste di miglioramento. • Restituzione delle informazioni personalizzate per scuola • Confronto tra la singola scuola e le altre scuole coinvolte • Individuazione di piste di miglioramento  avvio di un percorso di miglioramento • In Vales: il sostegno al miglioramento è gestito da INDIRE per mezzo di esperti per il miglioramento • In V&M: il sostegno al miglioramento è gestito da INVALSI attraverso linee guida e materiali per le scuole 36

37. Alcune note sulle prime analisi dei RA delle scuole VALES

38. Il percorso di autovalutazione delle scuole VALES Le scuole partecipanti al progetto VALES hanno effettuato un processo di autovalutazione supportate da INVALSI. Gli Strumenti del percorso di autovalutazione sono stati: • Dati ed indicatori provenienti da diverse fonti (Fascicolo Scuola in chiaro, prove INVALSI, Questionario scuola INVALSI, Questionari insegnanti, studenti e genitori messi a disposizioni dell'utenza e degli operatori da INVALSI) • Linee guida per l’autovalutazione • Un format di Rapporto di Autovalutazione (RA): finalizzato a raccogliere, strutturare e sintetizzare le riflessioni effettuate dalle scuole a partire dal quadro teorico di riferimento per i percorsi valutativi delle scuole e a individuare obiettivi di miglioramento del servizio offerto.

39. I primi risultati emersi dall’analisi dei RA delle scuole VALES / 2 Le prime analisi in sintesi mostrano che: • Il livello di adesione delle scuole al percorso di autovalutazione è stato molto elevato. Le percentuali di restituzione dei Rapporti di autovalutazione si attesta intorno al 97% per le scuole VALES. • Il RA è stato compilato integralmente dalla quasi totalità delle scuole considerate. • Per quanto riguarda gli obiettivi di miglioramento, la percentuale di scuole che non individua nemmeno un obiettivo di miglioramento è molto bassa, inferiore all’1%. • La Tabella 2 mostra il giudizio medio (in una scala da 1 a 4) che le scuole si sono attribuite per ciascuna area del quadro di riferimento per i percorsi valutativi delle scuole.

41. I primi risultati emersi dall’analisi dei RA delle scuole VALES / 2 • Generalmente le scuole del secondo ciclo tendono ad attribuirsi punteggi più bassi, specie nella macroarea degli Esiti e nella maggior parte delle aree afferenti l’Ambiente organizzativo per l'apprendimento. • In alcune aree risulta significativa anche la differenza per area geografica. Le scuole del sud tendono ad essere maggiormente rappresentate nei livelli più elevati (Gestione strategica delle risorse, Identità strategica e capacità di direzione della scuola, Attività di autovalutazione, Selezione dei saperi, scelte curricolari e offerta formativa, Sviluppo della relazione educativa). Fanno eccezione le aree Continuità e orientamento e Capacità di governo del territorio e rapporti con le famiglie nelle quali le scuole del nord tendono ad attribuirsi punteggi più elevati. • Ciascuna scuola, oltre ad autoattribuirsi un giudizio su ogni area del quadro di riferimento, doveva inoltre motivare il proprio giudizio partendo da evidenze empiriche. Fra queste, INVALSI, nelle Linee Guida per l'autovalutazione, forniva indicazioni sugli indicatori e i dati da considerare e offriva domande guida per orientarne l'interpretazione. L'analisi qualitativa condotta è stata volta a: • individuare la completezza, ossia il livello di utilizzo da parte della scuola dei dati forniti; • individuare l'accuratezza, ossia il livello di lettura dei dati in relazione ai valori di riferimento, in un'ottica di confronto fra scuole; • individuare la qualità dell'analisi, ossia il livello di approfondimento dell'analisi in termini di individuazione di punti di forza e di debolezza del servizio offerto.

42. Dalle analisi di 3 aree del quadro di riferimento risulta che solo il 10% delle scuole è in grado di utilizzare tutti i dati forniti per l'autovalutazione, operare un confronto e fornire un'interpretazione delle informazioni per individuare punti di forza o di debolezza del servizio offerto. Più della metà delle scuole non è in grado di operare su queste aree alcun confronto, autoattribuendosi dei giudizi in un'ottica completamente autoreferenziale. Più della metà delle scuole non effettua un’interpretazione approfondita dei dati. Infine le prime analisi mostrano anche la difficoltà di ancorare gli obiettivi di miglioramento ai punti di debolezza che emergono dai giudizi autoattribuiti. I primi risultati emersi dall’analisi dei RA delle scuole VALES / 3

43. Le prime indicazioni per SNV / 1 • Necessità di migliorare le competenze delle scuole nella lettura dei dati e delle evidenze in proprio possesso a fini autovalutativi nonché nella definizione operativa di obiettivi di miglioramento • Difficoltà di gestire a livello centrale il supporto e la formazione per le scuole. Necessità di un affiancamento da parte delle strutture territoriali. • I team di valutazione così come pensati integrano competenze pedagogiche con quelle metodologiche; le prime perlopiù sono in capo ad insegnanti e dirigenti scolastici che, di fatto, per svolgere queste azioni di valutazione, devono allontanarsi dalla propria sede di servizio creando non poche difficoltà alle strutture di provenienza. Sarebbe necessario prevedere delle forme di 'comando' per queste persone o di parziale distacco dall'attività prevalente.

44. La valutazione sul campo costa. Quali risorse sono disponibili per la valutazione? Quante scuole si intende coinvolgere annualmente nella valutazione esterna? Quale cadenza temporale si prevede per la valutazione esterna? Necessità di lavorare sulla diffusione della cultura della valutazione (Serve? A cosa serve? A chi serve?) Necessità di testare la valutazione dei Dirigenti scolastici e il suo impatto sul processo valutativo delle istituzioni scolastiche. La valutazione meritocratica del DS può creare distorsioni nell’impianto prevalentemente formativo della valutazione delle scuole? Riflettere sull’opportunità di prevedere meccanismi di incentivazione per il miglioramento. Una motivazione intrinseca è sufficiente? Questioni aperte

45. Grazie per l’attenzione Per informazioni Su vales www.invalsi.it/invalsi/ri/vales/ Per informazioni Su valutazione e miglioramento http://www.invalsi.it/invalsi/ri/audit/ donatella.poliandri@invalsi.it Isabella.quadrelli@uniurb.it