Restituzione

1. Restituzione Daniele Pitturelli Pavia – 24 aprile 2007

2. Ferrari (2004, p. 62), per quanto riguarda la valutazione di un contesto educativo, sottolinea l’importanza dell’intersoggettività del percorso e chiarisce che l’analisi si svolge su tre piani che si intersecano tra loro: i punti di vista tra i diversi valutatori, l’idea di qualità che è presente nello strumento proposto e in coloro che lo utilizzano

3. Da questa riflessione nasce, a livello metodologico, la centralità della fase di restituzione degli esiti di un processo valutativo, elemento fondamentale per la riuscita di un’indagine.

4. Uno degli scopi principali di una ricerca in un contesto educativo è, infatti, riuscire a modificare la situazione di partenza, creando le condizioni per introdurre significativi cambiamenti e per attivare processi di innovazione (Beeby, 1977; Wolf, 1987).

5. Il momento della restituzione non si limita a una verifica dei punteggi assegnati tramite lo strumento, ma consiste nel mettere in relazione differenti punti di vista e nel favorire una discussione in grado di far emergere le motivazioni e le ragioni più profonde del proprio valutare, alla ricerca dei significati espliciti e impliciti del nostro modo di intendere la realtà.

6. a) le relazioni tra le scelte degli individui e le esigenze proprie dell’istituzione; b) la tensione, all’interno di un contesto formativo, tra ‘essere’ e ‘dover essere’ , tra un’immagine di scuola ideale e la scuola reale, così come si definisce nel suo agire e farsi concreto; c) la ricerca delle motivazioni che spingono gli attori coinvolti ad operare determinate scelte che avvengono sulla base di complessi processi di mediazione, di negoziazione e di condivisione. • All’interno della fase di restituzione che, come si è visto, è punto di arrivo e di partenza di un processo valutativo, coesistono e si intrecciano temi complessi quali:

7. Dewey e il percorso transattivo(Dewey 1929-1951) Assunto di base: Conoscenza è transazione, un processo a spirale senza fine che coinvolge tutti gli attori nella presa di decisioni.

8. Il percorso transazionale(Dewey 1929-1951) • Coinvolgimento dei diversi attori sociali nel processo di crescita e di confronto • Riorientamento delle scelte e delle decisioni circa l’organizzazione di un dato contesto • Negoziazione tra diversi saperi di differenti soggetti che giocano ruoli non omogenei sulla scena

9. Valutazione di quarta generazione(Guba e Lincoln, 1989) “Una forma di valutazione in cui le dichiarazioni, le preoccupazioni e le questioni degli stakeholders fungono da fuochi organizzativi” (Guba e Lincoln, 1989) • Richiamo a un paradigma costruttivistico che orienta l’azione del valutare a partire dagli stakeholders coinvolti nel processo.

10. Valutazione di quarta generazione(Guba e Lincoln, 1989) Assunto di base: Nel processo valutativo tutti gli attori sono chiamati a co-costruire conoscenza e sapere circa un dato fenomeno che si definisce e ri-definisce nel confronto.

11. Processo valutativo(Guba e Lincoln, 1989) • Identificare con precisione gli stakeholders • Far emergere i diversi punti di vista dei diversi attori/gruppi circa l’oggetto della valutazione • Creare un contesto di dialogo/interazione • Valorizzare i diversi punti di vista • Negoziare circa gli aspetti poco condivisi • Raccogliere e fornire informazioni utili al processo di negoziazione • Stimolare la discussione circa gli esiti della valutazione • Trovare accordi e soluzioni condivise • Valutazione come percorso a spirale aperta/ Continua negoziazione di significato

12. Le relazioni presentate alle scuole: schemi interpretativi. • Durante la fase di restituzione è utile fornire alcuni schemi interpretativi ai gruppi che hanno partecipato alla valutazione. • Gli incontri, di volta in volta verbalizzati, offrono una preziosa serie di informazioni. Si tratta, anzitutto, di dati “qualitativi” che emergono dalle relazioni elaborate per le scuole.

13. Le relazioni, elaborate sulla base di uno schema comune, sono comprensive anche dei dati di natura “quantitativa” che si analizzano al fine di discutere le questioni relative all’affidabilità dello strumento, ma che non escludono ulteriori riflessioni di tipo comparativo.

14. A ciascun istituto può essere restituita una relazione dettagliata con l’analisi delle misure di tendenza centrale e una serie di grafici in linea capaci di visualizzare l’andamento, così come si è indicato nelle tabelle che seguono e che concernono gli indicatori per la valutazione e dei criteri interpretativi.

16. Punti di forza e punti di debolezza di una scuola Ai valutatori può essere fornita inoltre una tabella utile per individuare i punti di forza e i punti di debolezza di una scuola, sulla falsariga di altre ricerche di valutazione formativa compiute dal gruppo pavese (Gusmini , 2004, pp. 223-253)

18. Un esempio di restituzione. • La restituzione comporta una relazione dettagliata circa gli esiti della valutazione condotta dagli insegnanti e tutte le scuole che hanno partecipato hanno ricevuto un documento costruito secondo il seguente schema. • Si riporta, a titolo di esempio di un lavoro svolto in un gruppo di scuole, lo schema di una relazione dopo l’uso dello strumento SASI-S (II).

19. La prima parte della relazione: uno sguardo d’insieme A) Il verbale del I incontro, elaborato in forma sintetica, riporta le principali informazioni che sono state comunicate nel corso della riunione: la presentazione dello strumento, le procedure per l’operazione di testing (attribuzione del punteggio, raccolta dei fogli di risposta, restituzione dei risultati).

20. B) La lettura dei dati: la relazione, fornisce una prima chiave interpretativa sulla base di alcune indicazioni tratte dal lavoro di ricerca di Gusmini (2004, pp. 223-253). Si sottolineano, in particolare, i punti di forza e i punti di debolezza della scuola. C) La composizione e il comportamento valutatorio del gruppo: si indica il numero delle persone che hanno valutato la scuola, specificando la qualifica e il ruolo che giocano all’interno dell’organizzazione e si segnalano gli item non valutati. È un primo momento di riflessione circa l’uso dello strumento e di verifica della sua applicabilità.

21. D) L’analisi dei dati relativi alla valutazione della scuola: mette in luce il punteggio medio espresso dal gruppo e sottolinea l’omogeneità o la difformità di valutazione al suo interno. I punteggi medi del gruppo per ciascuna area sono riportati, secondo un ordine decrescente, in una tabella. I grafici in linea, come si può vedere nel grafico seguente, permettono il confronto tra il punteggio medio degli item e la deviazione standard.

22. Esempio: analisi dei dati relativi alla valutazione operata dal gruppo di insegnanti del Liceo XXX • punteggio medio espresso dal gruppo = 3.1. • Esiste una marcata differenziazione all’interno del gruppo dei valutatori • il punteggio medio dei singoli valutatori: [Val1, (4.2); Val2, (2.4); Val3, (2.6); Val4, (3); Val.5, (2.7); Val.6 (2.6); Val.7 (4.1)] • 4 valutatori assegnano un punteggio medio al di sotto della situazione 3, mentre 3 valutatori attribuiscono un punteggio abbastanza elevato che varia da 3 a 4.2.

23. Un altro dato interessante riguarda i punteggi medi espressi dal gruppo dei valutatori per ciascuna area dello strumento. • Le aree dello strumento che ottengono i punteggi medi più elevati sono: 9. Il sostegno (3.7) e 10. Rapporti con il territorio (3.7), seguono l’area 8. I rapporti con gli alunni con 3.6 e l’area 4. La progettualità (3.4). • Le aree 1. Organizzazione e gestione della scuola (3.2), 3. La valutazione (3.1) e 2. La professionalità docente (3) ottengono un punteggio uguale o poco superiore al 3. • Le aree che ottengono i punteggi medi meno elevati sono: 7. I rapporti con le famiglie (2.8), 6. Le relazioni interne (2.6) e 5. La struttura e le risorse (2,4).

25. F) Particolare attenzione viene prestata all’analisi della deviazione standard. Gli item con la deviazione standard più elevata indicano una difformità di giudizio tra i soggetti che osservano la stessa realtà. E) Si passano in rassegna gli item con i punteggi medi più alti, punti di forza, gli item con i punteggi medi meno elevati, punti critici o di debolezza della scuola.

26. un’analisi superficiale delle situazioni indicate dall’item, • la scarsa chiarezza di alcuni termini, • l’ambiguità del lessico o delle situazioni presentate, • le informazioni limitate che un singolo valutatore può avere circa l’argomento trattato, • l’adesione non piena alla filosofia di qualità proposta dai diversi item dello strumento (Bondioli, 2004, p. 288). Le cause dell’emergere di una valutazione discrepante all’interno del gruppo, in questo caso, possono dipendere da molti fattori quali:

27. Questo comune guardare alla stessa realtà può dipendere da molti fattori quali la partecipazione coerente e convinta alle scelte operate, le informazioni e le conoscenze condivise circa l’argomento, l’adesione ai criteri di qualità intrinseci nello strumento. Gli item con la deviazione standard meno elevata: sottolineano una omogeneità di giudizioall’interno del gruppo dei valutatori.

28. è facile da individuare e permette di evidenziare con immediatezza il punteggio raggiunto dalla maggior parte dei valutatori. • La presenza di item con più mode (bimodali o trimodali), a volte collocate agli estremi del punteggio previsto, permette di riflettere sulla discrepanza di giudizio all’interno del gruppo. G) Si discutono gli item con i valori di moda più e meno elevati: la moda rappresenta un indice di posizione che permette di stabilire il valore che appare più frequentemente fra i risultati della prova;

29. La seconda parte della relazione: analisi delle aree e delle carenze. La seconda parte della relazione prosegue con un’analisi approfondita delle aree sottoposte a valutazione e un commento relativo alle carenze individuate dai valutatori.

30. Attraverso le tabelle e i grafici si mettono in evidenza i punti di forza e i punti di debolezza della scuola, si possono presentare i risultati più significativi e fare, utilizzando le chiavi interpretative, le opportune considerazioni circa il comportamento valutatorio e i valori di media registrati. • Tali osservazioni forniscono una base di discussione per altri incontri che il gruppo può svolgere successivamente allo scopo di prendere decisioni, operare cambiamenti, introdurre innovazioni.

31. Una serie di grafici in linea, sul modello del grafico qui riportato, visualizza l’andamento della valutazione nelle dieci aree dello strumento e permette di stabilire confronti tra la valutazione della scuola e la deviazione standard.

33. La terza parte della relazione: dalla valutazione dello strumento alle proposte di riflessione I risultati della valutazione criteriale sono esposti in una relazione che segue le indicazioni fornite in precedenza e che mette in luce gli aspetti più significativi. Anche per quanto riguarda la valutazione criteriale, come si può vedere dalla tabella, si tiene conto degli stessi indicatori utilizzati per la valutazione della scuola.

35. Ai valutatori può essere fornita questa tabella utile per individuare la capacità degli item di riscontrare la qualità del servizio del contesto scolastico.

37. Si è quindi proceduto, come consigliato dagli autori del QUAFES e dell’ASEI (Darder, Mestres, 1994-2000), mettendo a confronto la valutazione del servizio e la valutazione criteriale • Ai valutatori sono state date delle indicazioni utili, così come riportato nella tabella seguente. • Cfr. il lavoro di Darder e Mestres per lo strumento ASEI, in Gusmini, 2004, nota 6, p. 248.

38. Si è fornita, inoltre, una visualizzazione grafica che pone a confronto la valutazione del servizio e la valutazione criteriale.

40. Situazione A + +: esiste coerenza perché il punteggio attribuito al servizio è alto, così come quello assegnato agli item • Situazione B + -: il punteggio attribuito al servizio è alto, la valutazione criteriale è bassa; occorre che i valutatori riflettano circa i valori attribuiti agli item e nei confronti degli assunti di base sottesi alla costruzione degli item. Una maggiore sensibilizzazione, un’opera di motivazione del gruppo dei valutatori può modificare l’atteggiamento e limitare le difficoltà in un piano d’intervento migliorativo del servizio.

41. Situazione C - +: il punteggio attribuito al servizio è basso, mentre la valutazione criteriale è alta. Si può pensare che esista una certa predisposizione dei valutatori al cambiamento e all’innovazione e che si possa predisporre in modo condiviso un piano di miglioramento. • Situazione D - -: il punteggio attribuito al servizio è basso, così come la valutazione criteriale. Sembra necessaria una riflessione più approfondita e una strategia di sensibilizzazione e di formazione dei valutatori circa i contenuti trattati. La modifica del proprio atteggiamento nei confronti degli aspetti considerati è la premessa per poter programmare iniziative di miglioramento.

42. La valutazione delle singole scuole: la media delle aree

43. * La scuola (Cod.id.3) non ha valutato l’area 7. I rapporti con le famiglie perché gli studenti sono per la maggior parte stranieri (circa 80%), in genere adulti, senza la famiglia in loco. * Le scuole 2, 3, 5, 6, 8, 10 non hanno valutato, come concordato, l’area 9. Il sostegno perché non ci sono mai state esperienze a riguardo. * In grassetto sono evidenziati i punteggi medi più elevati e quelli meno elevati

44. Valutazione Scuole/Aree e punteggi più elevati • il gruppo di valutatori della scuola 13 assegna il punteggio medio più elevato a 5 aree dello strumento: 1. Organizzazione e gestione della scuola (4.7), 2. La professionalità docente (4.3), 4. La progettualità (4.5), 7. I rapporti con le famiglie (4.2), 9. Il sostegno (4.8). • Seguono le scuole 8 e12 che attribuiscono il punteggio più elevato rispettivamente alle aree 8. I rapporti con gli alunni e 10. Rapporti con il territorio (4.4) e alle aree 3. La valutazione (4.4) e 6. Le relazioni interne(4.5). • La scuola 2, infine, assegna il punteggio più alto all’area 5. La struttura e le risorse (4.4).

45. Valutazione Scuole/Aree e punteggi più elevati • Due scuole assegnano, invece, il punteggio medio più basso a tre aree. • La scuola 6 indica le aree 2. La professionalità docente (2.1), 6. Le relazioni interne (2.5), 7. I rapporti con le famiglie (2.1), • mentre la scuola 9 segnala le aree 1. Organizzazione e gestione della scuola (2.6), 8. I rapporti con gli alunni (2.7), 9. Il sostegno (3.4); seguono quattro scuole con un’area.

46. La valutazione delle scuole: la media generale delle aree 1-5

47. La valutazione delle scuole: la media generale delle aree 6-10

48. I punteggi medi espressi dalle scuole per ciascuna area dello strumento

49. Valutazione Scuole/Aree e punteggi meno elevati • L’area 5. La struttura e le risorse ottiene il punteggio medio più basso (2.8), in questo caso bisogna considerare che esistono fattori esterni, dipendenti dagli enti locali che si occupano della manutenzione e dell’organizzazione degli spazi degli edifici scolastici. • L’area 9 Il sostegno, valutata da 9 realtà scolastiche, ottiene il punteggio medio più alto (4), ciò significa che le scuole interessate non solo prestano molta attenzione circa gli aspetti e le dimensioni legate all’inserimento e alla partecipazione di soggetti portatori di handicap, ma hanno investito molto in formazione e aggiornamento del personale specializzato, strutture e servizi di rete e di accompagnamento delle situazioni e dei singoli casi. • Le dispersioni risultano abbastanza basse e oscillano tra 0.4 e 0.7, segno di un comportamento valutatorio omogeneo da parte del gruppo di insegnanti delle scuole prese in esame.

50. Comportamento valutatorio Dall’analisi dei punteggi medi emergono: • i punti di forza e i punti di debolezza della scuola in rapporto alle diverse aree dello strumento. • L’atteggiamento del gruppo (coeso, unito, punti di vista molto differenziati, ecc.)