Valutare: da necessità a virtù

1. Valutare: da necessità a virtù Relazione presentata al seminario nazionale di studi “ Valutare bene conviene…” … per migliorare la qualità della scuola e degli apprendimenti. Idee, strumenti e proposte Organizzato dal CIDI ad Ascoli Piceno, 6 - 8 novembre 2003 Norberto Bottani, direttore SRED (Service de la recherche en éducation) Dipartimento dell’istruzione pubblica Cantone di Ginevra Norberto.Bottani@etat.ge.ch

2. Valutare è una necessità • Della ricerca ( per conoscere ed informare) • Della politica (per rendere conto, per controllare, per razionalizzare gli investimenti, per governare e pilotare la scuola) • Delle innovazioni (per sperimentarle, per generalizzarle, per abbandonarle) • Delle scuole (per correggersi, per spiegare quel che fanno, per sapere se conseguono gli obiettivi che si danno) • Per compararsi: confrontarsi con il meglio, misurarsi con il meglio che si fa( ovviamente questo parametro funziona solo se ci sono le premesse…) Ascoli

3. Di quale valutazione si parla?(alcune distinzioni essenziali) • Chi la svolge? (il soggetto della valutazione) • Gli studenti • I docenti • Le agenzie private di certificazione • Le autorità scolastiche • Cosa si valuta? (l’oggetto della valutazione) • Gli studenti ( il profitto, le competenze) • Le classi, le scuole ( le prestazioni, i risultati) • I docenti ( il rendimento) • Il contesto scolastico; l’amministrazione della scuola • Il sistema scolastico nel suo complesso • Qui si tratterà soprattutto di valutazione dei sistemi scolastici in genere Ascoli

4. Cos’è la valutazione di sistema? Di che si tratta? • Un esame ragionato dei risultati e del funzionamento di un sistema ( anche una scuola, un istituto, sono un sistema) • Per esprimere un giudizio sul suo conto ( è buono, pessimo, discreto, accettabile, tollerabile, efficiente, efficace, ecc.) • Che serva per prendere decisioni sul suo sviluppo Ascoli

5. Un esame ragionato dei risultati • Una valutazione diversa da quella del buon senso • Una valutazione basata su prove affidabili, certe • Un giudizio fondato con argomenti che si possono comprovare e/o confutare • Una valutazione che non è solo tecnica, che non si limita unicamente alla verifica della conformità a norme prestabilite o del rispetto di regole procedurali • Un confronto di opinioni razionali Ascoli

6. Una valutazione dei risultati • La posta in giuoco sono i risultati • Non si tratta della valutazione svolta dagli ispettori i quali non hanno bisogno dei risultati perché ritengono di sapere come è una buona scuola • La valutazione in base ai risultati è meno presuntuosa, più modesta della valutazione degli ispettori • Per reperire i risultati bisogna operare una duplice operazione: • Identificare le pratiche d’insegnamento • Ricostituire il contesto • La valutazione dei risultati è una misura dell’effetto scuola, ossia di ciò di cui l’agente ( la scuola) è direttamente responsabile (teoria dell’organizzazione). Per svolgere un’operazione del genere si devono neutralizzare le cause esterne che concorrono a determinare il profitto scolastico. Ascoli

7. Esprimere un apprezzamento • Si tratta di giudicare la bontà o meno di un sistema scolastico: quali sono i criteri di giudizio? Quali sono le funzioni esercitate da un sistema scolastico? • Qui entra in funzione la scienza del confronto e della classificazione: si confronta e si classifica per situarsi in un reticolo ortogonale di punti di riferimento Ascoli

8. I punti di riferimento: funzioni possibili dei sistemi scolastici (secondo Scheerens) • Strumentalità: nel modello “cibernetico contesto-processo-risultati” concentrarsi sul processo: quale è quello che permette di conseguire i migliori risultati tra i molteplici processi possibili? Perché una procedura è migliore di un’altra?) • Produttività: quale è il servizio(il prodotto) che si rende al pubblico? Quale scolarità si offre?(esempio: la speranza di scolarizzazione). Misura l’attività del sistema ( è l’uso più corrente e comune degli indicatori) • Adattabilità: misurare la flessibilità e la malleabilità del sistema per sapere se è capace di adattarsi ad un ambiente in evoluzione, cangiante; la capacità d’innovazione e di rinnovamento o d’aggiornamento del sistema . Misurare gli effetti: cambia qualcosa o cambia nulla? • Equità:l’insegnamento è distribuito in modo equo, giusto? • Efficienza: qui si inserisce il fattore costi • Listino della borsa: gli indicatori si leggono in modo isolato l’uno dall’altro, a se stante Ascoli

9. Prendere decisioni • La valutazione in sé e per sé non è sufficiente. Non si valuta solo per valutare, ma per sapere se c’è qualcosa da cambiare, da migliorare ( e c’è sempre qualcosa da migliorare; si può sempre migliorare) • Per correggere si deve sapere quel che si vuole conseguire; avere un’idea in testa: cosa fare? • Per correggere, occorre anche avere voglia di cambiare, essere incitati a cambiare • Questo è il problema dell’ efficacia, ossia della correlazione tra i risultati e gli obiettivi Ascoli

10. Valutare è una virtù • Occorre sapere valutare bene • Del buon uso della valutazione • Del pessimo uso della valutazione • La virtù sta nel modo in cui si usa la buona valutazione Ascoli

11. Esempio: l’uso dei dai del PISA 2000 per valutare il sistema francese (Meuret, D.:Pourquoi les jeunes Français ont-ils à 15 ans des compétences inférieures à celles de jeunes d’autres pays? Revue Française de Pédagogie, N.142, gennaio-marzo 2003,89-104)) Fattori d’efficacia dei sistemi scolastici: • Le caratteristiche organizzative del sistema • Ruolo e influenza delle famiglie • Clima, disciplina che prevalgono in classe e che denotano l’impegno degli studenti • L’efficacia dell’insegnamento in classe; le pratiche dei docenti Ascoli

12. Le caratteristiche organizzative(Wössmann,L. (2000),Schooling Ressources, Educational Institutions and Student performance:the international evidence. Kiel Working paper n. 983. Kiel Institute for World Economics. Il profitto degli studenti è migliore ( in matematica e scienze) quando: • il contenuto delle prove e i programmi sono stabiliti a livello centrale • la gestione del personale ( il reclutamento) è decisa a livello di istituto • la scelta dei libri di testo è lasciata agli insegnanti (Elaborazioni multilivello sui dati TIMSS 1995) Ascoli

13. Caratteristiche organizzative nel PISA (questionario presidi) • Variabile EXAMAT (gli esami sono centralizzati?) • Variabile PROGRNAT (i programmi sono decisi al livello nazionale?) • Variabile PERSETAB (le scuole sono autonome nella gestione del personale?) • Variabile MANUEENS (i docenti possono scegliere i libri di testo?) Ascoli

14. L’ambiente familiare La qualità del clima educativo in casa ( aspettative, pressioni sui figli, attenzione prestata ai compiti e al lavoro scolastico, il sostegno dato in casa) opera in modo positivo sugli apprendimenti ed il profitto scolastico. Variabili prese in conto: • Discussioni frequenti con i figli su questioni culturali • Intensità del sostegno scolastico fornito in casa ai figli • Quantità di risorse educative presenti in casa Ascoli

15. Il clima in classe • Qualità della disciplina in classe secondo gli studenti: • Non si perde tempo in classe • I professori si fanno rispettare • Le lezioni cominciano in orario • Gli studenti fanno attenzione a quel che dice il professore • Qualità della disciplina nella scuola secondo il preside: • Gli studenti mancano di rispetto verso i professori • Gli studenti perturbano le lezioni • Gli studenti bevono o fumano sostanze illecite • Gli studenti marinano la scuola Ascoli

16. Efficacia dell’insegnamento in classe • Pressioni esercitate sugli studenti per imparare e riuscire ad ottenere il meglio da loro: • Durante le lezioni non ci sono attimi di pausa • Un lavoro mal fatto non è accettato dai professori • Bisogna lavorare sodo per riuscire • Sostegno dato dai professori: • I professori ci tengono a fare in modo che tutti i loro studenti riescano • Si può parlare ai docenti dopo le lezioni • I professori non importunano gli studenti quando i risultati non sono buoni • I professori aiutano gli studenti a dare il meglio di sé • I professori aiutano gli studenti a svolgere i compiti assegnati • Qualità delle relazioni tra studenti e professori: • Gli studenti hanno l’impressione di essere trattati in modo giusto • Gli studenti hanno l’impressione che i professori li ascoltino quando hanno qualcosa da dire o vogliono dire qualcosa Ascoli

17. Confronto tra la Francia e i paesi più efficaci • Il profitto inferiore degli studenti francesi dipende non dalle variabili organizzative, non da differenze significative nel comportamento degli studenti, non da un grado inferiore d’interesse delle famiglie, ma dal lavoro degli insegnanti che esigono meno dai loro allievi, li aiutano meno a progredire, si preoccupano meno del benessere dei loro studenti, li ascoltano meno e li trattano in modo meno equo di quanto facciano gli insegnanti dei paesi con risultati migliori • L’atteggiamento dei docenti francesi verso i loro studenti è la variabile che spiega meglio lo scarto esistente tra il profitto degli studenti francesi e quello degli studenti dei paesi con risultati migliori (la cultura pedagogica dei docenti sarebbe dunque la variabile discriminante) Ascoli

18. Valutazioni virtuose • Il modello di Michael Scriven ( la valutazione sommativa) • Il modello CIPP ( context-input-process-product) di Dan Stufflebeam • Il modello della valutazione responsabilizzante di Bob Stake (l’approccio costruttivista-piagetiano, l’etica della partecipazione e la responsabilizzazione) • Il modello di valutazione democratica di Ernest House (inclusione di tutti gli attori, verifica delle conclusioni con tutti i partecipanti) Ascoli

19. Conclusione A valutare si impara: • La valutazione non è una tecnica da applicare pedissequamente • Non è un’arte • La valutazione di un sistema ( nazionale, regionale, provinciale, comunale, di una scuola, di una classe) è un esercizio complicato, difficile • I rischi ( reali) non bastano per opporsi alla valutazione e rifiutarla • Bisogna fare i conti con la valutazione Ascoli