La scienza è cultura I criteri di valutazione dei sistemi scolastici Andrea Gavosto

1. La scienza è culturaI criteri di valutazione dei sistemi scolastici Andrea Gavosto Fondazione Giovanni Agnelli andrea.gavosto@fga.it Catanzaro, 25 marzo 2010

2. Indice • Perché la valutazione nella scuola è necessaria • Che cosa si valuta: il concetto di valore aggiunto • Come costruire un sistema di valutazione: i quattro pilastri • Un esperimento condotto sulle scuole piemontesi • Limiti della valutazione

3. La Fondazione Agnelli e la scuola

4. Valutazione  Perché è necessaria? Anche se incompleta, l’autonomia degli istituti scolastici, costituzionalmente garantita, rappresenta il maggior cambiamento avvenuto nella scuola italiana negli ultimi dieci anni. L’altro lato dell’autonomia è la necessità che le scuole rendano conto alle autorità di governo, alle famiglie, agli studenti e ai contribuenti, delle scelte didattiche e organizzative compiute (accountability). Questo comporta la misurazione degli effetti di queste scelte

5. Valutazione  Perché è necessaria? La raccolta di informazioni omogenee e confrontabili sui risultati ottenuti da studenti e scuole consente di stabilire a che punto si trova la singola scuola rispetto al resto del sistema. Famiglie e studenti sono informati sulla qualità degli insegnamenti; le scuole possono avviare le azioni necessarie a migliorare gli esiti. Oggi gli esami di stato non funzionano da orientamento, perché manca la confrontabilità.

6. Valutazione  Il divario nei risultati scolastici fra Nord e Sud è spiegabile dalla mancata percezione del ritardo al Sud NORD LICEO CENTRO RETROTERRA SOCIOCULTURALE NELLA SCUOLA ATTIVITA’ SCIENTIFICHE EXTRACURRICULARI IST. TECNICO RETROTERRA SOCIOCULTURALE INDIVIDUALE 68 61 34 32 28 12 11 7 4 2 Fonte: elaborazione su dati Ocse Pisa 2006 -16 Punti PISA PIACERE NELLO STUDIARE LE SCIENZE INTERESSE APPRENDIMENTO SCIENZE Divari territoriali DONNA Divari di indirizzo NUMERO ORE DI SCIENZE A SCUOLA Caratteristiche individuali

7. Valutazione  Percezione degli studenti della propria competenza in matematica e risultati effettivi in Pisa L’indice di percezione per il totale Italia è pari a 0 (valore che coincide con la media OCSE). A valori positivi più alti corrispondono gli studenti che dichiarano una buona familiarità e buoni esiti in matematica, mentre assumono valori negativi gli studenti per cui questa materia è considerata problematica. Fonte: Foresti, Pennisi, 2007.

8. Valutazione  I test standardizzati disponibili

9. Valutazione  I risultati dei test standardizzati mettono in luce il calo dopo le primarie Nord Est Nord Ovest Centro Sud Media internazionale IV elementare IV elementare III Media III Media Studenti 15enni Studenti 15enni Fonti: TIMMS 2007, PISA 2006

10. Valutazione  I test standardizzati raccontano una storia diversa dagli esiti degli scrutini 10

11. Valutazione  Che cosa si valuta La valutazione va fatta su obiettivi condivisi Ad esempio, combattere la dispersione scolastica e promuovere il successo formativo di ogni studente sono obiettivi di sistema rispetto ai quali le singole scuole secondarie superiori possono e devono essere chiamate a produrre risultati. L’efficacia formativa si rileva all’interno delle scuole (valore aggiunto) ma si proietta anche all’esterno (esiti occupazionali,performance universitarie).

12. Valutazione  Che cosa si valuta: l’effetto di contesto L’apprendimento di uno studente è influenzato non solo dalle sue caratteristiche personali ma anche dall’effetto di contesto o effetto di composizione del gruppo – classe e/o scuola - di cui un alunno fa parte. Esso è prima di tutto un effetto dovuto alla particolare composizione del gruppo ed è dunque, in termini diretti, un effetto dei compagni (peer effect). La composizione del gruppo genera però anche tutta una serie di effetti indiretti. Ad esempio, gli insegnanti si comportano in modo diverso a seconda del gruppo di alunni con cui si trovano ad interagire. Di tale effetto andrebbe tenuto conto nel valutare l’efficacia di una scuola sul progresso dei suoi alunni.

13. Valutazione  Che cosa si valuta: il valore aggiunto • Il problema fondamentale è quello di separarel'effetto della scuola da tutte le altre influenze che agiscono sui livelli di apprendimento degli alunni, per arrivare a stabilire il “valore aggiunto”dell’istruzione impartita da ciascun istituto scolastico. • L’effetto scuola può essere misurato in quattro modi : • Come differenzatra il punteggio medio grezzo di una scuola e quello medio generale di un certo territorio, • Con i progressi medi che gli allievi realizzano in un determinato arco di tempo (guadagni cognitivi), • Come differenza media tra i punteggi osservati ed i punteggi attesi in relazione alle caratteristiche degli allievi (condizione socio-economico-culturale, attitudini, ecc.), • Come il guadagno cognitivo medio netto rispetto a tutti i fattori di contesto che non sono controllati dalla scuola. Fonte: Angela Martini Canale d’Agordo 13 settembre 2008 e Roberto Ricci, lLa misurazione del valore aggiunto nella scuola, Fondazione Agnelli

14. Valutazione  Che cosa si valuta: l’efficacia differenziale Voti medi assoluti Ist. Tec. Industriale – G.B. Pininfarina Liceo Scientifico – G. Vasco Se si guardasse ai soli valori assoluti le distanze tra le due scuole sembrerebbero molto elevate.

15. Valutazione  Che cosa si valuta: l’efficacia differenziale Voti medi “depurati” Guardando all’effettivo valore aggiunto le distanze si accorciano. Non si può imputare alle scuole il ruolo giocato dalle caratteristiche individuali degli studenti e dai fattori di contesto (indirizzo, territorio)

16. Valutazione  La necessità di un sistema stratificato • Le informazioni sulla qualità di una scuola dovrebbero scaturire da 4 punti d’osservazione: • l’autovalutazione - strumento essenziale d’indirizzo per le scuole autonome; • le visite ispettive ministeriali- non più verifica di adempimenti burocratici, ma valutazione complessiva della qualità del servizio scolastico e alla sua rispondenza agli obiettivi di sistema (modello OFSTED); • le prove standardizzate di misurazione degli apprendimen-ti (INVALSI) - il cuore della valutazione, improntate all’individuazione del valore aggiunto prodotto dalla scuole; • il giudizio offerto da soggetti terzi, quali università e mondo del lavoro.

17. + Differenza per regione/materia Valutazione  Per essere efficace la valutazione va legata a incentivi economici o motivazionali + Incremento per funzioni obiettivo + Premio Scuola = Retribuzione Finale E’ meglio premiare la scuola anziché il singolo insegnante perché l’insegnamento è un lavoro d’equipe Retribuzione Base

18. Valutazione  Le opinioni dei docenti Nell’ipotesi di costruzione di un sistema nazionale di valutazione, chi dovrebbe essere valutato secondo la sua opinione? Quota di insegnanti neoassunti che risponde “d’accordo” o “molto d’accordo”

19. Un esempio di valutazione esterna La FGA ha ricostruito le carriere universitarie degli studenti (esami, voti, crediti) per trarre indicazioni sulla qualità delle “basi” acquisite presso le scuole superiori d'origine. I risultati hanno condotto alla pubblicazione di una graduatoria degli istituti scolastici superiori. Un caveat Questo approccio è valido soprattutto nel caso in cui lo sbocco privilegiato dagli studenti di una data scuola sia proprio l’università (licei), mentre lo è meno nel caso di istituti la cui missione formativa verte su aspetti maggiormente professionalizzanti (tecnici, ma soprattutto professionali*). * Esclusi dall’analisi

20. L’esercizio  Cosa c’è dietro le performance degli studenti?

21. L’esercizio  Un esempio di ranking

22. L’esercizio  Un esempio di ranking

23. L’esercizio  Un esempio di ranking

24. L’esercizio  Un esempio di ranking

25. L’esercizio  Un esempio di ranking

26. L’esercizio  Un esempio di ranking

27. L’esercizio  Un esempio di ranking L’informazione è completa solo se si comunicano entrambi i ranking

28. L’esercizio  Risultati principali • Dalle graduatorie emergono molte conferme e alcuni elementi di novità: • Sia in Piemonte che in Emilia Romagna si rileva la buona qualità dell’istruzione tecnica in termini di effetto scuola. • I licei sono avvantaggiati rispetto agli istituti tecnici dal processo di autoselezione degli studenti negli indirizzi formativi. I primi ricevono studenti più brillanti e di estrazione socio-culturale più elevata. • In entrambe le regioni si rileva la presenza di un effetto provincia: gli studenti dei piccoli centri hanno in media performance universitarie migliori, forse a seguito del maggior controllo sociale presente nelle piccole realtà rispetto ai grandi centri urbani, o semplicemente per il carico motivazionale maggiore che spesso caratterizza gli studenti universitari “fuori sede”. • Le scuole non statali hanno in media performance pessime rispetto a quelle statali. Questo è particolarmente evidente in Piemonte, mentre in Emilia Romagna risaltano alcune realtà di assoluto prestigio ed elevata efficacia formativa (scuole comunali).

29. Valutazione  I limiti 1. L’oggetto della misurazione: competenze (problem solving) o conoscenze? Ad es, i test tradizionali non sono adatti a misurare l’effetto dell’uso delle tecnologie a scuola 2. Teaching to the test 3. Nessun sistema di valutazione esterno è in grado di controllare perfettamente l’interazione fra insegnanti, allievi e famiglie

30. Back up

31. L’esercizio  Prime sperimentazioni Nel 2009 è stato fatto il primo tentativo di valutazione delle scuole secondarie superiori Piemontesi. Nel 2010 al Piemonte si è aggiunta l’Emilia Romagna.

32. L’esercizio  Fonte dei dati e atenei considerati • Fonte principale dei dati: Anagrafe Nazionale degli Studenti Universitari (ANS) • Per ogni studente sono disponibili, tra gli altri, dati relativi a: • studi scolastici compiuti (titolo di scuola media superiore conseguito, istituto che lo ha rilasciato, anno solare di conseguimento, votazione all’esame di Stato); • immatricolazione (università, corso di laurea, sede didattica, denominazione corso, impegno a tempo pieno o parziale); • carriera universitaria (totale crediti formativi, crediti acquisiti per stage, crediti riconosciuti validi per il corso, esami, votazione). • Atenei di riferimento: Per ogni regione sono stati considerati solamente i diplomati immatricolati negli atenei della stessa regione. • Piemonte: Unito, Polito, Unipmn. (circa 82% dei diplomati) • Emilia Romagna: Unibo, Unife, Unimore, Unipr. (circa 87% dei diplomati)

33. L’esercizio  Studenti e indicatori di performance Studenti considerati: immatricolati iscritti regolarmente, quelli cioè che hanno proseguito gli studi al livello universitario immediatamente dopo l’ottenimento del diploma, e immatricolati “ritardatari”, coloro che si iscrivono dopo 1 o 2 anni dal conseguimento del diploma. Segmento di carriera considerato: solo il primo anno del corso universitario, poiché negli anni successivi l’esperienza sul campo (learning by doing) assume sempre maggiore importanza e l’effetto della scuola tende a scemare. Indicatori di performance: si è costruito un indicatore sintetico che tiene conto con pari peso del profitto universitario e della velocità negli studi. Profitto: media dei voti conseguiti agli esami universitari ponderata per i crediti formativi di ogni esame. Velocità: rapporto fra i crediti conseguiti dallo studente e crediti dichiarati come impegno annuale.

34. L’esercizio  Periodo e scuole coinvolte Anni accademici di riferimento: tre per il Piemonte (2005/06, 2006/07, 20007/08 ), due per l’Emilia Romagna (2006/07, 20007/08 ) • Soglie di selezione: per esigenze di rappresentatività statistica del dato e affidabilità dell’esercizio abbiamo imposto delle numerosità minime. • Piemonte: almeno 15 allievi iscritti presso gli atenei della regione nei tre anni accademici di riferimento; • Emilia Romagna: almeno 10 allievi iscritti presso gli atenei della regione nei due anni accademici di riferimento. • Chi c’è sotto la soglia? • scuole di piccole dimensioni o con tassi di prosecuzione modesti; • scuole in aree di confine (maggiore probabilità di prosecuzione fuori regione); • scuole con particolari relazioni con atenei extra-regionali o esteri; • scuole per le quali si sono riscontrati problemi di qualità o assenza dei dati all’interno dell’ANS (ad esempio, scuole che hanno cambiato denominazione o sono state accorpate). soglia Scuole Numero studenti in atenei regionali

35. L’esercizio  Altri limiti … • Attenzione! • La banca dati ANS, nata per altri scopi, viene utilizzata solo da due anni per questa tipologia di esercizi di valutazione. Sono inevitabilmente presenti alcune lacune (campi parzialmente compilati, codici errati, ecc), e non in tutti i casi si è potuto intervenire per colmarle o correggere le inesattezze. • Gli accorpamenti di molte scuole in Istituti Superiori con indirizzi diversi non consente di costruire graduatorie separate per le scuole e gli indirizzi che ne fanno parte. Nei calcoli si tiene comunque conto della composizione per indirizzi delle scuole, la diversa natura dei percorsi formativi e le diverse caratteristiche individuali degli studenti iscritti nei vari indirizzi.

36. L’esercizio  L’effetto scelte universitarie A parità di abilità, preparazione e impegno, di certo contano le scelte universitarie degli individui possono falsare i risultati. Frequentare un corso di studio umanistico presso un ateneo periferico e/o di recente istituzione vuol dire avere una carriera universitaria più agevole rispetto al frequentare una facoltà scientifica (hard science) presso un ateneo metropolitano di tradizione? Se è così, bisogna evitare che una scuola che abbia più diplomati nel primo corso di laurea che nel secondo risulti avvantaggiata nel giudizio. I confronti tra studenti vanno effettuati per gruppi omogenei rispetto alle scelte universitarie compiute. Il profitto e la velocità di ognuno sono stati confrontati non con quelli medi di tutta la popolazione studentesca considerata, bensì con quelli medi degli studenti che frequentano lo stesso ateneo e la stessa area disciplinare.

37. L’esercizio  L’effetto studenti • Le scuole non ricevono e non educano studenti dello stesso tipo. • Per confrontare correttamente il lavoro svolto da due scuole, occorre farlo a parità di caratteristiche degli studenti in ingresso. • I dati dell’ANS ci hanno permesso di tener conto per ogni studente di: • sesso: è noto che le ragazze ottengono mediamente risultati migliori negli studi (anche se non in tutte le discipline); • talento scolastico: ricevere studenti più dotati facilita il compito educativo delle scuole. Dunque, controlliamo per il voto di maturità standardizzato rispetto all’indirizzo di studio e alla media di scuola; • ritardo nella prosecuzione degli studi al livello universitario: chi non prosegue immediatamente ha delle caratteristiche particolari (studente del tecnico, forse ha tentato un ingresso nel mercato del lavoro, ecc.) che possono influire sulla performance.

38. L’esercizio  Effetto contesto territoriale Le specificità territoriali del luogo di provenienza degli studenti e di localizzazione dell’istituto scolastico possono a vario titolo influire sulle performance universitarie degli individui. La provincia è diversa dalla città, e province e città sono tra loro molto eterogenee per le condizioni economiche e l’offerta formativa disponibile, ma anche per i modelli culturali prevalenti e per il controllo sociale. Questi fattori possono condizionare la scelta di proseguire o meno gli studi e quella di come proseguire (studenti “fuorisede”). Per queste ragioni abbiamo isolato l’effetto territoriale nell’analisi, individuando le celle geografiche a partire dai Sistemi Locali del Lavoro definiti dall’ISTAT che dovrebbero catturare il bacino d’utenza potenziale delle singole scuole.

39. L’esercizio  Effetto tipo di scuola (indirizzo) La forte stratificazione socio-culturale della scuola secondaria superiore italiana determina vantaggi o svantaggi per i singoli istituti a seconda dell’indirizzo formativo di appartenenza. L’estrazione socio-culturale di chi frequenta un liceo classico è molto diversa da quella di chi frequenta un istituto tecnico. Allo stesso modo, i talenti scolastici si distribuiscono in modo non casuale tra i diversi percorsi di studio. Dunque, le popolazioni studentesche tendono ad essere molto omogenee all’interno dei singoli indirizzi formativi e molto diverse tra indirizzi (cfr. Rapporto FGA 2010). Inoltre, in assenza di meccanismi di carriera e di incentivi, anche gli insegnanti “migliori” tendono a concentrarsi in alcuni indirizzi formativi (cfr. Rapporto FGA 2009). Gli effetti positivi o negativi derivanti da questi fenomeni non sono attribuibili alla singola scuola che invece ne beneficia o ne risente. Pertanto, bisogna isolarli nell’analisi.

40. L’esercizio  Effetto scuola Solo tenendo conto dell’influenza esercitata sui risultati universitari da altri fattori non direttamente controllabili dalle scuola stesse (effetto studenti, effetto contesto territoriale, effetto tipo di scuola), e di cui dunque non possono essere considerate responsabili, si può pervenire al vero “effetto scuola”. EFFETTO SCUOLA Predisposizione agli studi universitari che deriva dall’aver frequentato una determinata istituzione scolastica

41. L’esercizio  Come presentare i risultati? Si possono ordinare le scuole per il contributo effettivo alla preparazione agli studi universitari, al netto delle altre componenti, in una graduatoria in base all’effetto scuola. Questo ranking offrirebbe informazioni utili ad esempio agli operatori scolastici e ai responsabili della politica scolastica che saprebbero in quale scuola si fa di più con i mezzi a disposizione. Ma per studenti e famiglie che vogliono scegliere un istituto al passaggio dalle medie alle superiori è importante sapere anche se sono presenti degli effetti di contesto in grado di migliorare gli apprendimenti e le performance individuali. Si può allora stilare anche una graduatoria in base ai risultati finali dove le scuole sono ordinate in base ai risultati raggiunti per l’operare simultaneo di tutte le componenti (tranne gli effetti distorsivi delle scelte universitarie).