SONO SOLDI BEN SPESI?

1. Perché e come valutare l’efficacia delle politiche pubbliche Alberto Martini e Ugo Trivellato SONO SOLDI BEN SPESI? 23 novembre 2011 Camera dei Deputati – Palazzo San Macuto

2. La Commissione del CSS Il libro poggia sui lavori della Commissione del CSS sulla valutazione degli effetti delle politiche pubbliche Fabrizio Barca Manin CarabbaAndrea Mancini Enrico Rettore Sergio Ristuccia Antonio Schizzerotto Paolo Sestito Paolo Silvestri Ignazio Visco Alberto Zuliani

3. La domanda del titolo «Sono soldi ben spesi?» è domanda doverosa rispetto a ogni utilizzo di risorse pubbliche. Ma che significa? Dipende da quel che intendiamo per “bene”. • - Correttamente: rispettando regole e vincoli di legge. • Senza sprechi: contenendo i costi. • Per una giusta causa: a favore di chi ha più bisogno. • …………………… Qui per “bene”intendiamoin modo efficace, dove efficacia capacità di una politica pubblica di produrre effetti, quelli desiderati (ma anche quelli inattesi).

4. Per quali politiche pubbliche? Politica pubblica interventorivolto aun ben definito insieme di destinatari con lo scopo di indurre un cambiamento in condizioni o comportamentiritenuti problematici. Non tutta l’azione pubblica risponde a queste caratteristiche, ma una parte rilevante sì. - Sono ben spesi i finanziamenti alle imprese per R&S? - I fondi per le politiche del lavoro e di conciliazione? - Per gli interventi di sperimentazione didattica? - Per le politiche di coesione (place-based)? …

5. Il messaggio del libro, in poche righe Usare gli strumenti delle scienze sociali per produrre solida evidenza empirica sugli effetti delle politiche – sulla loro efficacia o meno, sulla variabilità degli effetti, sui meccanismi tramite i quali si generano gli effetti –, allo scopo di migliorare le politiche, in definitiva di aumentarne i benefici/ridurne i costi per la società. Due sono gli snodi: - quali sono gli strumenti analitici appropriati? - quali sono le “condizioni al contorno”, del discorso e del processo decisionale pubblico, perché li si usi?

6. (I) La sfida cognitiva Occorre affrontare una questione di ordine generale, di natura cognitiva: l’attribuzione causale. “Nei primi anni ‘60 il nostro medico di famiglia a Blackpool si chiamava dottor Piggott. […] Se avevi il morbillo, o la varicella, o la bronchite, ti prescriveva una medicina e guarivi. Se guarivi grazie alla medicina era un’altra storia, ma la sequenza degli eventi era sempre la stessa.” Tim Parks, Insegnaci la quiete, 2010.

7. L’analisi controfattuale In generale, l’effetto non è la differenza tra dopo e prima. Il detto latino post hoc ergo propter hocè in generale falso. L’effetto di un intervento è la differenza tra quanto si osserva in presenza dell’intervento e quanto si sarebbe osservato in sua assenza (questo risultato ipotetico è detto controfattuale). L’obiettivo della valutazione degli effetti è ricostruire in maniera credibile il controfattuale.

8. (II) La sfida politico-culturale Si pone poi una questione specifica dei singoli contesti, di natura culturale: i decisori–e i portatori di interessi collettivi e la società – hanno la volontà di apprendere se e come funzionano le politiche pubbliche? • Vari fattori concorrono a determinare un processo decisionale democratico evidencebased: • civicness; • classi dirigenti lungimiranti, con la “veduta lunga”; • assetto istituzionale improntato a “controlli e contrappesi”; • interazioni virtuose fra molteplici “attori”. • Occorre una reale domanda sociale di valutazione.

10. L’emergere di una domanda sociale di valutazione/apprendimento Un paio di dilemmi delle “democrazie delle masse”: - risolvere i problemi o fare (illusoriamente) contenti gli elettori? - imparare a risolvere i problemi o (fingere di) presumere di sapere come si fa? Per procedere, servono decisori e “attori” che intendono apprendere come risolvere i problemi e che, per ciò, usano dati adeguati emetodi appropriati.

11. Attenzione! Porsi la domanda giusta Che cosa si vuole? - Capire quali sono gli effetti di una politica? - O rendicontare ciò che si è realizzato e speso? È importante tenere distinte le due domande: sono entrambe legittime, ma hanno obiettivi diversi. • Rendere conto dell’intervento realizzato: per l’obbligo • di “rispondere” a un altro livello di governo o ente di controllo o per legittimarsi. • Apprendere per replicare l’intervento in futuro o aumentarne la scala o mirarlo meglio (o abbandonarlo).

12. Valutare per apprendere: due conseguenze • Vale la pena valutare una politica quanto più • è replicabile, vi è l’intenzione di replicarla, vi è la possibilità che l’evidenza prodotta dalla valutazione sia utilizzata. • La valutazione è tanto più utile quanto più ha una natura prospettica, cioè è disegnata e realizzata assieme alla politica: • - vantaggi per il monitoraggio e la raccolta dei dati; • - funzione disciplinatrice sul processo di policy.

13. Dati gli obiettivi … • Valutare per apprendere • Valutare prospetticamente • Fare inferenza causale robusta • L’esperimentoè la soluzione ideale (o quasi). • Non solo: è una cartina di tornasole per la volontà di apprendere dalla valutazione. • Tuttavia: è molto difficile da realizzare e incontra limiti nell’applicazione.

14. Quando l’esperimento non è possibile ... Non siamo in un cul de sac. • Gli ultimi quarant’anni hanno visto una forte • crescita dei metodi non-sperimentali, • che cercano di “mimare” l’esperimento. • Il valutatore non può “manipolare” l’esposizione alla politica. • Osservaciò che succede e si propone di ricondursi alla condizione ceteris paribus.

15. Tre storie emblematiche dall’estero • L’uso degli esperimenti randomizzati nel sistema dell’istruzione statunitense. • Le “riforme Hartz”tedeschesulla regolazione delle politiche del lavoro e del welfare. • Una recente innovazione – un social experiment–nelle politiche di avviamento al lavoro in Francia.

16. Veniamo alla situazione italiana

17. Tirando le fila (… speriamo provvisorie) • Il confronto con le esperienze straniere, anche quelle di paesi a noi vicini per istituzioni e cultura, • Germania e Francia, comincia a farsi impietoso. • Forte ritardodell’Italia nelle pratiche di disegno, monitoraggio e valutazione degli effetti di politiche. • Tendenza del divario a crescere, quindi rischio di una pericolosa deriva.

18. Cause prossime, o meglio sintomi • C’è una sorta di presunzione di efficacia: • tendenza dei decisori a presumere che tra il disegno normativo dell’intervento e la sua realizzazione vi è una corrispondenza ovvia, quasi obbligata. • Deleteria disattenzione per (i) implementazionee (ii) reazioni comportamentali. • Manca una genuina domanda di valutazione: • nessuno degli attori rilevanti pone sul tappeto con sufficiente forza la questione dell’efficacia e induce ad affrontarla con ricorso rigoroso all’evidenza disponibile.

19. Alla difficile ricerca delle cause profonde • Gli aspetti dell’ “italianità”: carenze e inerzie (tra i molti Patriarca, 2010, e Altan, 1999). • Un abbozzo di tre sentieri di spiegazione, che interagiscono e hanno una forte persistenza: • prevalenza del pensiero idealistico/costruttivisticosu quello realistico/empirico; • basso capitale sociale, inteso come civicness e “buona cultura” (Putnam, 1993; Guisoet al., 2008); • istituzioni non ben disegnate e non ben funzionanti, e loro legami con “cultura” e “moralità” (Tabellini, 2008)

20. Non possiamo ignorare né i condizionamenti né le lezioni In questo contesto, gli spazi per la valutazione degli effettidi politiche pubbliche, con un intento di apprendimento in vista del loro miglioramento, si riducono fino a rischiare di annullarsi. I caratteri del policy making italiano vanno lucidamente tenuti in conto, per evitare illusioni e fughe in avanti. Un insegnamento, in particolare: va abbandonata la via normativa alla valutazione, con la superfetazione di procedure e organismi (AIR, VIR, CIVIT, OIV, …): è stata battuta a lungo, con vistosi insuccessi.

21. Cambiare è possibile Ma le “condizioni al contorno” non sono immutabili, non segnano un destino ineluttabile. L’esperienza di altri paesi, e in alcuni fasi storiche del nostro, insegna che cambiare è possibile. L’orizzonte: verso l’evidence-based policy. La strategia: invece di “legiferare la valutazione”, proviamolae sul serio.

22. Nove raccomandazioni, per aprire il dibattito L’obiettivo: creare condizioni che favoriscano la doman da e l’utilizzazione dei risultati della valutazione come input del dibattito pubblico e del processo decisionale. Il percorso: definire terreni e metriche condivise, nelle quali il confronto di valori e interessi si dispieghi poggiando sull’evidenza empirica. • Le raccomandazioni: contributo per avviare il dibattito: • condizioni dal lato dell’offerta; • meccanismi utili per innescare la domanda; • processo di interazione fra i due fronti e i vari “attori”.

23. Sulle condizioni dal lato dell’offerta (I) (1) Migliorare la qualità e l’accessibilità dei dati necessari per la valutazione La valutazione si nutre di dati micro. Anche in Italia ce ne sono sempre di più. Ma non sono né integrati né accessibili ai valutatori • Qualità e integrazione di dati, amministrativi e da surveys. • (b) Definizione di regole aperte di accessodei valutatori ai microdati.

24. Sulle condizioni dal lato dell’offerta (II) (2) Assicurare replicabilità agli studi di valutazione e favorire la conoscenza cumulativa La valutazione degli effetti non è come la rendicontazio ne, che muore lì. L’apprendimento è cumulativo o non è. “Evaluations build on cumulative knowledge” (J. Heckman) La replicabilità seleziona gli studiosi capaci e onesti.

25. Sui meccanismi per la domanda (I) (6) Sfruttare controlli e contrappesi • I caratteri negativi del policy makingpossono trovare un correttivo nel fatto che un potere deve “rispondere”a un altro dei risultati ottenuti. • Mandato alle assemblee legislative di valutare gli effet ti delle politiche, largamente definite dagli esecutivi. • “Clausole valutative” penetranti nelle leggi e “missioni di valutazione”decise e condotte dalle assemblee. • Strutture tecniche di supporto alle assemblee legisl.

26. Sui meccanismi per la domanda (II) (8) Imparare a compiere scelte saggecon risorse calanti • La sfida: spendere meglio per spendere meno. • La valutazione degli effetti può contribuire ad affrontare la sfida in maniera circoscritta ma significativa: • individuando che cosa non serve davvero e va tagliato; • rivelando per chi la politica funziona: targeting.

27. Sulle interazioni fra “attori sociali” (9) Favorire interazioni virtuose fra politici, media, opinione pubblica e valutatori • Tra le possibili strade: • ci sono temi cruciali nel merito, e percepiti come tali dalla opinione pubblica:  val la pena investire in buon policy-making e valutazione; • (se) si riaffaccia il Quarto Potere: il ruolo dei media; • pressione di “attori”: forze sociali, advocacygroups, “chierici” che “non vengono meno al loro ministero”.

28. Per concludere (I): dire la verità al potere “I vestiti nuovi dell’imperatore” (H.C. Andersen) Un esempio: contribuire a che si smetta di scrivere bandi di valutazione insensati.

29. Per concludere (II): lungimiranza e realismo “Passions within reason” (R.H. Frank) “Lo sforzo per promuovere la valutazione d’impatto come uno degli assi metodologici portanti [… di una] politica deve essere allo stesso tempo lungimirante e misurato: lungimirante, perché deve creare lo slancio tecnico, amministrativo e politico affinché il metodo sia introdotto come una fonte importante di informazione; misurato, perché questa capacità tecnica richiede tempo, senza alcuna aspettativa di aver trovato la bacchetta magica in grado di fornire risposte incontrovertibili su quali componenti della politica funzionino e dove.” “Rapporto Barca”, 2009.