Paolo Sestito Commissario straordinario INVALSI Giornate nfa Torino 1 luglio 2012

1. L’uso delle misure standardizzate degli apprendimenti nella valutazione dell’insegnamento scolastico. Paolo Sestito Commissario straordinario INVALSI Giornate nfa Torino 1 luglio 2012

2. Outline della presentazione • Le prove INVALSI in concreto • Perché valutare (in generale): certificazioni, feedback e graduatorie • Prove INVALSI e certificazione degli studenti • Prove INVALSI e valutazione delle scuole • Oltre le scuole: i singoli docenti?

3. Le prove INVALSI in concreto • Due ambiti (a valenza trasversale) • 5 gradi scolastici: [Riepilogo prove] • Prove universali, restituibili a tutti • Un campione più controllato (-cheating+info) per meglio conoscere il sistema nel suo complesso • In un caso parte (con peso pari a 1/6) dell’esame di Stato • La prospettiva longitudinale (da quest’anno) • Cenni ad aggiustamenti on going: • Gradi da eliminare/inserire • Altri ambiti e gradi, su base campionaria, per meglio conoscere il sistema • Verso le prove adattive e il pc (come semplificazione e velocizzazione ma anche al fine di avere prove + custom tailored)

4. Perché si valuta • Certificare (a vantaggio di terzi) il possesso di determinate conoscenze/competenze • Fornire un feedback (innanzitutto al valutato) • Definire una graduatoria: • Per stimolare meccanismi di quasi-mercato o comunque emulativi (serve incentivo ad essere i “più bravi”) • Per premiare/punire (o selezionare) nel continuo • Idem ma con riferimento a una data soglia (assoluta o relativa) • Caso particolare di queste graduatorie: identificare i casi critici (chi non raggiunge una certa soglia minima) per consentire di intervenire a supporto, imporre cambiamenti ..

5. Prove INVALSI e certificazione studenti • Le prove INVALSI sono troppo dipendenti da un singolo momento (il giorno della prova) e con un focus troppo circoscritto (italiano e matematica, che pure sono considerati non solo in quanto discipline quanto per la loro valenza e natura trasversale) per farne la base unica della certificazione degli studenti • Il rischio di prove troppo high stakes (coaching ed eccesso uniformità) • Ma attenzione che cheating/coaching etc. sono fenomeni insiti in qualsiasi tipologia di prova (standardizzata o diversificata, tradizionale o meno). Attribuire un (sia pur limitato e parziale) valore alle prove INVALSI può anzi aiutare: • Il focus sulle competenze delle prove INVALSI contrasta la “prevedibilità delle prove” (e le distorsioni che ne discendono) meglio di tante prove tradizionali • Le prove INVALSI hanno una funzione d’indirizzo culturale (coerente con gli “orientamenti” ed una impostazione che valorizza le competenze a superamento dei vecchi “programmi scolastici” come assieme di nozioni da trasmettere e acquisire): una leva da valorizzare • La prospettiva delle prove adattive potrà migliorare questo quadro

6. La valutazione delle scuole • A livello di gruppo (la classe, la scuola) molte delle criticità esistenti a livello di singolo studente vengono superate. Nell’aggregato di più studenti è più ragionevole usarle come “segnale” di fenomeni latenti, da decrittare sia per dare un feedback che per definire graduatorie. • Attenzione però: • Il gruppo deve essere grande a sufficienza: piccoli gruppi rischiano di esser dominati da measurement bias [Grafico italiano, Grafico matematica] • Identificare gli estremi è un po’ meno difficile [Tavole punteggi] • Comunque gli utilizzi (feedback/premi/competizione ..) dipendono dalle regole generali del sistema e non possono essere visti in astratto  in particolare, va tenuto conto che oggi non esiste un quasi mercato dei servizi scolastici; ove ci si muovesse in tal senso andrebbero definite varie regole a contorno (sostegno alle famiglie nelle scelte, impedimenti alle scuole nel selezionarsi gli studenti migliori, strumenti per le scuole nel “competere” per gli insegnanti migliori …). Forzare la pubblicizzazione dei risultati delle prove non è la soluzione di tutto (ed avrebbe anzi varie controindicazioni); la “pubblicità ingannevole” va contrastata.

7. La valutazione delle scuole:livello degli apprendimenti o VA? • Focus su livello per identificare chi non raggiunge un target minimo, chi sia in condizioni di criticità estreme • Focus su “poveri di conoscenza” più che sul dato medio complessivo, le due cose non sempre concidendo [Tavola cfr.] • Focus su VA per valutare la scuola e giudicarne i responsabili. Ma con vari problemi aperti: • La prospettiva longitudinale: VSQ e l’uso (anonimo) delle anagrafi • Ma continuerà a servire anche un approccio “sezionale” (eventualmente pseudo-longitudinale) [Tavola regressione] • Nel valutare la scuola (il d.s.) come trattare le covariate non appieno ctrlate dalla scuola (dal d.s.): esempio turnover e in generale qualità docenti • Idem: come trattare variabili che dipendono dal contesto ma anche dalla capacità di attivazione delle scuole: esempio risorse aggiuntive (da famiglie ed ee.ll.)

8. La valutazione delle scuole: autovalutazione e valutazione esterna • Feedback alla scuola (alle sue singole componenti interne) per ragionare su se stessi: • Benchmarking complessivo (livello e VA, dato medio ma anche eccellenze e “poveri di conoscenze” • Ma soprattutto dettaglio: quali competenze? Quali situazioni di disagio (su aspetti che le scuole altrimenti neppure conoscerebbero: ad es. circa la composizione sociale dei propri studenti) • NB1 anche in un “meccanismo di mercato” – in cui l’incentivo a rinnovarsi e migliorarsi venga dalla pressione di mercato – serve poi che la scuola (il d.s.) sappia leggere le proprie criticità • NB2 le prove INVALSI comunque non esauriscono le cose su cui focalizzare la propria autovalutazione: servono altri strumenti di feedback (sondaggi alunni e famiglie, sondaggi e commenti tra pari) ed un’attitudine/disponibilità a ragionare su stessi e superare l’autoreferenzialità (e la solitudine) del singolo docente • NB3 la scuola ha varie componenti: il feedback può/deve innescare una sana dialettica interna

9. La valutazione delle scuole: le prove INVALSI e la valutazione esterna • In tutti i sistemi in cui si procede a periodici esercizi di valutazione esterna delle singole scuole non ci si limita a leggere, centralmente e passivamente, i risultati delle prove standardizzate: • Le prove (in livello, soprattutto il dato sui “poveri di conoscenze”) come indicatore per identificare le situazioni più critiche ove concentrare il supporto e da “visitare” con maggior frequenza • Le prove (in livello ma anche e soprattutto come VA) come primo dato da analizzare a cura di un team valutativo esterno, che però guardi anche altri aspetti soft e di processo del funzionamento della scuola • Le visite valutative esterne: • Peer review (le cui indicazioni possano essere accettate o meno dalla scuola) o anche trigger di una possibile azione di riorganizzazione? Una questione di gradi • Quale il focus dei giudizi espressi e dei “consigli” per migliorare? la scuola o il suo d.s. (eventualmente da cambiare) visto come motore del cambiamento?

10. Oltre le scuole: i singoli docenti? • Premessa: • Singoli docenti e risultati delle classi agli stessi affidate non sono ricollegabili, né da INVALSI né a livello centrale (l’allocazione dei docenti alle classi è processo decentrato, che avviene a livello di singola scuola) • Nel sistema italiano: vi è un più forte legame classe/docente (il docente insegna a tutti gli alunni di una certa classe, non a una sommatoria di persone provenienti da classi diverse) e, nel contempo, un elevato turnover di queste relazioni biunivoche. Stimare un VA di docente (differenziando gli studenti ”trattati” da quel docente rispetto a quelli che, nello stesso contesto, sono “trattati” da altri) sarebbe particolarmente arduo, e quindi meno affidabile, econometricamente.

11. Oltre le scuole: i singoli docenti? • Considerazioni di merito: • Conta il singolo docente o il team? Il rischio di sistemi premiali individuali che ostacolino il funzionamento del team di docenti • Cosa premiare: Performance assoluta o relativa? Dibattito (US) su pay for percentile e uso prove “poco prevedibili” • Quanto sono affidabili le misure di VA a livello di singolo docente? Sapere che vi sono in media grandi differenze tra docenti (anche negli effetti a lunghissimo andare: cfr. Chetty et al, 2011) non significa poter dire con certezza, oggi, che tizio è più bravo di caio dell’x% • Qual è la priorità? differenziare le paghe di tutti (di anno in anno) o intervenire sugli estremi (evitando che arrivi in cattedra anche chi non supera una soglia minima di decenza e premiando (quasi) a fine carriera le eccellenze)? • Nel raccordo col singolo docente non esistono solo i sistema premiali: come per le scuole, vi è spazio per una funzione di feedback al singolo docente: per segnalargli che sta trascurando elementi rilevanti, il disagio di (alcuni) dei suoi allievi etc. un feedback necessariamente locale (dalla comunità professionale di pari, dal d.s. ..), ma azionabile sulla base di strumenti e metodologie comuni

16. Mutamenti nel ranking delle scuole (tra 2010 e 2011)

17. Modello di regressione