Milano, 13 – 14 febbraio 2008

1. Monitoraggio e valutazioneATTENTI A QUEI DUE! Milano, 13 – 14 febbraio 2008

2. “The termevaluationcarries so much baggage that one is in danger of dealing not so much with methodology than with incantation”(Ray Pawson and Nick Tilley, Realistic Evaluation, 1997, p. 2) “Il termine valutazione è carico di un tale fardello di significati che si corre il rischio di avere a che fare più con un incantesimo che con una metodologia”

3. Carol Weiss nel 1972 già notava che “valutazione è un termine elastico che può essere esteso a comprenderemoltepliciattività digiudizio”

4. “Valutazione” è diventata una calamita semantica, capace di attrarre significati del tutto eterogenei e di offrire agli interlocutori le suggestioni più diverse

5. Ipertrofia terminologica “Nei documenti metodologici comunitari vengono utilizzati termini quali output, che assume il significato di realizzazione, ossia di ciò che è stato ottenuto in termini di trasformazione diretta dell’inputprevisto nel programma; l’outcome è stato sostituito dal termine result,risultato, utilizzato in ambito comunitario per riferirsi ai soli effetti diretti e immediati dell’azione sui destinatari (quindi in un’accezione un poco più ristretta rispetto a quella di outcome), mentre gli effetti a breve-medio termine e indiretti sui destinatari vengono denominati impattispecifici. Impatti globalisono infine, sempre nel lessico comunitario, gli effetti del programma su popolazioni che non erano destinatarie dirette dello stesso. A questo punto il termine esitopuò essere utilizzato per riferirsi genericamente agli effetti di una politica.” (Mauro Palumbo, “Valutazione di processo e d’impatto: l’uso degli indicatori tra meccanismi ed effetti”)

6. Esiti, risultati, outcome, output, realizzazioni, impatti specifici, impatti globali, effetti diretti e immediati, effetti a breve-medio termine,effetti indiretti, effetti su popolazioni non destinatarie Basterebbero due termini: realizzazioni ed effetti

7. Megalomania cognitiva “È ora di precisare meglio cosa cerca la valutazione; qual è il suo prodotto. In estrema sintesi, la valutazione esprime un giudizio sull’efficacia e l’efficienza delle realizzazioni, dei risultati e degli impatti di politiche, programmi e progetti, di servizi e di organizzazioni, con riferimento sia ai processi che agli esiti.” (Claudio Bezzi, “Cos’è la valutazione”, Franco Angeli, 2007, pagina 41)

8. Proponiamo una definizione minimalista Valutare: esprimere giudizi empiricamente fondati sul successo di un’azione diretta a uno scopo

9. In primo luogo, i giudizi devono essereempiricamente fondati basati cioè suosservazionidella realtà e non su idee precostituite (pre-giudizi)

10. In secondo luogo,il successodell’azione da valutare coincide con la sua capacità di realizzarequanto si proponeva e di produrre gli effetti desiderati

11. La motivazione per la valutazione di una azione sta nell’incertezza che essa sia effettivamente in grado di produrre gli effetti desiderati

12. Una parentesi suglieffetti L’effetto è (nell’accezione rigorosa): Ladifferenzatra ciò che si osserva dopo la realizzazione dell’interventoe ciò che si sarebbe osservatoin assenzadell’intervento

13. È quindi una questione di attribuzione causale “Osservo dei cambiamenti. Quanta parte di questi è attribuibile al mio intervento?”

14. Esiste un complessoapparato di tecnicheche sono nate per questo e solo quando le si utilizza si può parlare correttamente di analisi di effetti quindi a. Nei casi in cui l’attribuzione causale è scontata, non ci poniamo il problema edescriviamoil cambiamento b. Nei casi in cui l’attribuzione causale NON è scontata o utilizziamo l’apparato metodologico di cui sopra (e allora possiamo parlare di analisi di effetti o di impatto), oppure descriviamo il cambiamento osservato

15. La valutazione nel nostro caso assolve ad almeno trefunzioni che sono determinate da: -Ladomandache ci stiamo ponendo - Ilmotivoper cui ce la stiamo ponendo

16. Le funzioni sono 1. Apprendimento sucosa funziona 2. Rendicontazione delle realizzazioni 3. Diffusione dellaconoscenza

17. 1. Apprendimento sucosa funzionaRiCReAzione – Riflessione Critica sulla Realizzazione dell’Azione Domanda: Cosa non sta funzionando? Perché? Motivo: Migliorare l’azione

18. 2. Rendicontazione delle realizzazioniRen.de.Re Domanda: Cosa abbiamo realizzato? (eventualmente …fino ad ora) Motivo: Rendere conto a consiglio di classe, dirigente scolastico, finanziatori (es. Fondazione Cariplo) Promuovere all’esterno le iniziative realizzate (es. inserire informazioni nel POF)

19. 3.Condivisione dellaconoscenza Domanda: Cosa abbiamo imparato nel realizzare l’azione? Motivo: Far crescere la comunità di pratica, utilizzare l’esperienza per la fase di diffusione del progetto LAIV

20. La valutazione non è una scienza esatta e non è nemmeno un’arte magica.Lacredibilità dei giudizicui perviene dipendono dalla capacità di: 1. Individuare correttamente le fonti di informazione 2. Costruire adeguati strumenti di raccolta delle informazioni 3. Argomentare in maniera plausibile i risultati ottenuti

21. Fine…prima parte