Valutazione basata sulla teoria e valutazione di impatto

1. Valutazione basata sulla teoria e valutazione di impatto Nicoletta Stame Università di Roma “Sapienza”

2. Il rapporto tra teoria e metodo in valutazione - 1 Prevalenza del metodo (anni ‘60-’80) • si presume che il programma sia razionale: obiettivi-mezzi-risultati, che sia già di per sé “una teoria del cambiamento” • occorre solo scoprire se il programma ha avuto successo, e per questo occorre un metodo • il metodo sperimentale scopre se c’è stato cambiamento (ma non spiega perché)

3. Il rapporto tra teoria e metodo in valutazione - 2 Prevalenza della teoria (anni ‘90 in poi): • non sappiamo perché i programmi dovrebbero produrre quei risultati (incertezza sui programmi) • i programmi sono attuati in modi diversi nei vari contesti (incertezza sulla implementazione) Aprire la scatola nera: cercare la spiegazione

4. La valutazione basata sulla teoria La teoria è una “sequenza di ipotesi che mostrano come gli input del programma (personale, risorse, attività) si trasformano attraverso una serie di fasi intermedie nei risultati desiderati (miglioramenti per le persone, per le organizzazioni o per le comunità)” (Weiss)

5. Teoria dell’implementazione la teoria dell’implementazione si concentra su come viene condotto il programma (secondo quanto programmato ?)

6. Teoria del programma La teoria del programma ha a che fare con i meccanismi che intervengono tra l’erogazione del servizio previsto dal programma e il verificarsi dei risultati di interesse. Si concentra sulla risposta dei partecipanti al servizio previsto dal programma. Il meccanismo del cambiamento non è costituito dalle attività del programma in sé quanto dalla risposta che le attività generano

7. Quali teorie • quelle della letteratura (meta-analisi) • quella dei documenti ufficiali del programma (quando c’è) • quelle degli stakeholders: farsi narrare le storie L’esempio del programma di visite domiciliari da parte degli insegnanti

8. La teoria come guida nella definizione del disegno di valutazione • il quadro logico: effetti diretti e indiretti, variabili intervenienti • i passaggi vanno misurati per vedere se la teoria tiene o dove i programmi vanno fuori binario

9. la spiegazione • poter dimostrare che un passaggio ha portato ad un altro • verificando le teorie che si sono individuate • escludendo le teorie rivali

10. Una variante: la valutazione realista • Pawson e Tilley : Valutare significa capire “cosa funziona meglio dove, per chi, in quali circostanze e perché” • La combinazione CMO contesto + meccanismo = outcome

11. Cosa sono le teorie • Non sono leggi sociali, ma semi-regolarità, teorie di medio raggio, che vanno continuamente testate e ridefinite (ad es. Merton e i gruppi di appartenenza) • spiegazioni che forniscono una causalità genetica (come e perché qualcosa si trasforma in qualcos’altro, processi: ad es. empowerment, rassicurazione), e non causalità sequenziale (c’è stata causa perché dopo il l’intervento si è prodotto l’effetto).

12. Cosa sono i programmi • sistemi sociali • Stratificazione, embeddedness • Interazione tra individuo e istituzione • opportunità che un attore situato in un contesto può cogliere (scelta vincolata)

13. Contesto • il complesso precedente di regole sociali, relazioni e sistemi culturali che esistono in quei luoghi o istituzioni • come reagiscono tali regole alle nuove idee o risorse introdotte dal programma? Agevolano o fanno da ostacolo?

14. Meccanismi • rendono conto di come i processi costituiscono il programma • mostrano che i risultati derivano dalle scelte degli stakeholders l’esempio della teoria dei gruppi di riferimento

15. Risultato: Il programma funziona se Gli attori • scelgono di farli funzionare (scelta vincolata) • si trovano nelle condizioni di contesto appropriate (condizionalità) • si trovano nel momento buono e gli interventi non si sono ancora routinizzati (contingenza)

16. Il metodo di ricerca • Non esiste un metodo preferito • L’intervista realista • La sintesi realista

17. Il rapporto tra teoria e metodo in valutazione. 3 Nuova prevalenza del metodo? Anni 2000- - la debolezza del metodo: selection bias - La gerarchia dei metodi: gold standard: - gli esperimenti randomizzati - i quasi-esperimenti

18. La valutazione di impatto Due definizioni di impatto: - Una definizione ampia (DAC/OECD): Effetti di lungo periodo positivi e negativi, primari e secondari, prodotti da un intervento di sviluppo, direttamente o indirettamente, intenzionalmente o meno - Una definizione limitata (White: 3IE -International Initiative for Impact Evaluation):La differenza nell’indicatore di interesse (Y) tra la situazione con intervento (Y1) e la situazione senza intervento (Y2)

19. Due modi di concepire la politica • Def. DAC : la politica è un insieme di azioni e un sistema di relazioni, volte ad affrontare un problema • Processo (implementazione) e risultato • Effetti attesi e inattesi • Def. 3IE : la politica è un “trattamento” • Implementazione come “protocollo” • Effetto netto

20. Quali approcci per la valutazione di impatto? 1 Dipende da: • Le caratteristiche dei programmi: • Semplici, complicati, complessi • Diretti, indiretti • Immediati o a lungo termine

21. Quali approcci per la valutazione di impatto? 2 Dipende da: Le domande di valutazione: • Causalità: L’intervento ha fatto la differenza? • Spiegazione: come e perché si è prodotto quel risultato? • Quali conseguenze ha il risultato per i diversi stakeholders?

22. Quali approcci per la valutazione di impatto? 3 Una pluralità di approcci: • Esperimenti randomizzati • Quasi-esperimenti • Valutazione basata sulla teoria • Studi di caso • Valutazione partecipata

23. Bibliografia • Campbell, D. , “Riforme come esperimenti”, in N. Stame, a curadi, Classicidellavalutazione, Angeli, Milano, 2007 • Pawson R. e Tilley, N., “Un’introduzione alla valutazione scientifica realista”, in Classici della valutazione, a cura di N. Stame, Franco Angeli, 2007 • Rogers, P. “Usingprogramtheoriestoevaluatecomplicated and complexaspectsofintervention”, in Evaluation, vol. 14, n. 1, 2008 • Stame, N. , “What doesn’t Work? Three Failures, Many Answers”, in Evaluation, vol. 16, n. 4, 2010 • Weiss, C., “La valutazione basata sulla teoria: passato, presente e futuro”, in Classici della valutazione, a cura di N. Stame, Franco Angeli, 2007 • White , H. “A contributiontocurrentdebates in impact evaluation”, in Evaluation, vol. 16, n. 2, 2010