La valutazione della ricerca scientifica: lezioni europee?

1. La valutazione della ricerca scientifica: lezioni europee? Alberto Silvani Università degli Studi di Milano Unimitt, Centro per l’Innovazione e il Trasferimento Tecnologico (alberto.silvani@unimi.it) A.Silvani - UniMITT- 16.10.06

2. L’intervento di oggi • Incrociare tre testimonianze: • Il libro bianco, come riflessione critica sullo stato dell’arte, focalizzandosi sulle (presunte ?) lezioni europee • L’attualità e l’interesse al tema, testimoniato dagli esiti dell’assessment del CIVR e dal Decreto Legge della Finanziaria (art. 36) • La valutazione della ricerca nel contesto valutativo italiano: una riflessione sui dieci anni della RIV e lo special issue (n. 34) A.Silvani - UniMITT- 16.10.06

3. Una problematica ed un caso La valutazione della ricerca: alcune caratteristiche specifiche: • I rischi e i limiti nell’ex-ante, dovuti alla pluralità delle opzioni, che ostacolano le analisi di efficacia nell’ex-post; • La debolezza concettuale ed empirica di ogni rapporto diretto di causalità, che esclude sia l’analisi controfattuale (es. impatto) sia la misurazione di addizionalità ed efficienza (diretti contributi attribuibili esplicitamente all’oggetto specifico della valutazione); • Peculiarità, e limiti, della peer review, (pro: utilizzo di un ‘collegio invisibile’, contro: difficile integrazione di elementi di valutazione non basati sulla qualità scientifica dei proponenti (piuttosto che della proposta), visione conservativa, difficoltà a parametrare le qualità in forma comparativa) A.Silvani - UniMITT- 16.10.06

4. La valutazione in Commissione Europea (1/2) • Aspetti regolamentari • Aspetti istituzionali, organizzativi e procedurali • Aspetti finanziari e contabili • Aspetti contenutistici A.Silvani - UniMITT- 16.10.06

5. La valutazione in Commissione Europea (2/2) Nuovi elementi: - la dimensione ex-ante - l’estensione a tutte le attività (non solo “la spesa”) - il legame con la programmazione ed il management - l’analisi di impatto ex-ante - la ricerca di coerenza tra i diversi interventi - un investimento sulla formazione - la logica degli standard minimi - imparare concretamente dalle esperienze A.Silvani - UniMITT- 16.10.06

6. La ricerca nella dimensione europea • Lisbona e la sua implementazione • Lo spazio comune di ricerca • I parametri quantitativi • Lo strumento del programma Quadro • La sua progettazione, gestione e monitoraggio • Il contributo della ricerca alle altre politiche • La revisione di strategia A.Silvani - UniMITT- 16.10.06

7. La valutazione della ricerca nella dimensione europea • A livello di politiche e programmi • Valutazione ed impatto ex-ante (recentemente introdotte) • Monitoraggio periodico • Valutazione ex-post periodica • A livello di progetti • Selezione ex-ante con procedure codificate • Giudizio di congruità finale A.Silvani - UniMITT- 16.10.06

8. L’esperienza del FYA • Disciplinata da una decisione dieci anni fa • Prescritta dal testo del PQ • Tre esperienze maturate nel decennio • Basata su panel di esperti • Modificata sulla base delle esperienze • Definita sulla base di un mandato • Flessibile nell’esecuzione • Proceduralmente incardinata nella proposta di nuovo PQ A.Silvani - UniMITT- 16.10.06

9. Problemi di valutazione del PQ… • Complessità e vastità dell’oggetto • Sovrapposizione nel tempo di obiettivi, attività e strumenti • Limiti di risorse (asimmetria conoscitiva, tempi, risorse economiche) • Difficoltà ad entrare nel merito • Nessi di causalità • Scarsa capacità di analisi d’impatto A.Silvani - UniMITT- 16.10.06

10. Il FYA 1999-2003 (1/2) Un’esperienza positiva: • In coerenza (anticipazione) con il disegno di riforma • Per i risultati ottenuti (rapporto finale) • Per lo spostamento verso una valutazione più finalizzata e sistematica • Per l’utilizzo degli studi come supporto informativo e per l’introduzione di expertise valutativo A.Silvani - UniMITT- 16.10.06

11. Il FYA 1999-2003 (2/2) E qualche ombra…. • Scarsa “fasatura” delle attività • Insufficiente utilizzo delle capacità di monitoraggio “amministrativo” dei processi esaminati • Ritualità nelle risposte alle raccomandazioni • Effetti diversificati sui diversi stakeholder • Debolezza della strumentazione e delle metodiche utilizzate A.Silvani - UniMITT- 16.10.06

12. Quali lezioni per l’esperienza italiana…. • Intrecciare politiche e programmi (senza confonderne ambiti e ruoli…) • Bilanciare selezione e monitoraggio • Dotarsi di una batteria di strumenti • Metodiche e non solo metodi… • Comprendere in un unico schema competenze tematiche e competenze valutative • La valutazione vive non solo durante gli esercizi valutativi…. A.Silvani - UniMITT- 16.10.06

13. Il recente Decreto Legge • Istituzione Anvur • Obiettivi: • Razionalizzare il sistema della valutazione • Aumentare efficienza ed efficacia dei programmi • Attività: • Valutazione esterna della qualità delle attività • Indirizzo, coordinamento e vigilanza della valutazione • Valutazione efficienza ed efficacia dei programmi A.Silvani - UniMITT- 16.10.06

14. Anvur perché… • I risultati dell’attività di valutazione divengono criterio di riferimento per l’allocazione dei finanziamenti = incardinare strutturalmente la valutazione nel processo decisionale • Superare la parzialità degli organismi esistenti (Civr, Cnvsu, …) A.Silvani - UniMITT- 16.10.06

15. Il rapporto CIVR • Positività dell’esperienza • Conferma della percezione comune • Qualche perplessità su: • Il ruolo dell’autoselezione dei prodotti da valutare • La ri-valutazione per peer review di prodotti già valutati • La non considerazione delle risorse tra gli input • La non considerazione della varietà di obiettivi delle diverse istituzioni esaminate • La pesatura del rating interno rispetto alla performance complessiva A.Silvani - UniMITT- 16.10.06

16. Lo special issue • Contributi da una ventina di autori • Toccati aspetti quali: • I settori: i fondi strutturali, ma non solo, la valutazione economica, le politiche pubbliche, l’università, lo sviluppo locale, i patti territoriali, i servizi pubblici, …. • I metodi, l’analisi controfattuale, la formazione • Il processo valutativo dentro le istituzioni, le fasi, gli approdi istituzionali A.Silvani - UniMITT- 16.10.06

17. Tra i temi “trasversali” emersi… • Il rapporto tra strumenti (e pratiche) e riforma della P.A. • Valutazione “istituzionale” e adempimenti valutativi (“insourcing”, learning vs accountability, ecc.) • Ex ante, ex post e monitoraggio valutativo • Indicatori e standard • Professionalità, formazione ed etica dei valutatori • “Stato di salute” e prospettive future della valutazione in Italia A.Silvani - UniMITT- 16.10.06

18. La valutazione universitaria • Difficoltà a considerare l’università nel suo insieme • Chi sono gli interlocutori? • L’eccellenza è l’unico parametro? • Debolezza sui metodi d’analisi • Quale unità di rilevazione? • Perché si valuta? A.Silvani - UniMITT- 16.10.06