Valutazione Triennale della Ricerca (VTR) 2001-2003: L’esperienza del Panel 13

1. Valutazione Triennale della Ricerca (VTR) 2001-2003: L’esperienza del Panel 13 Franco Peracchi Università di Roma “Tor Vergata”

2. Scopi • Suggerire regole e procedure di riferimento per la valutazione nazionale della ricerca. • Stabilire un collegamento tra risultati della valutazione e allocazione delle risorse. • Avviare procedure sistematiche di raffronto tra le strutture di ricerca. • Favorire la diffusione dei risultati della ricerca. • Assicurare la massima trasparenza del processo di valutazione.

3. Caratteristiche principali • Si svolge su base triennale. • Ha lo scopo di valutare la performancescientifica delle strutture di ricerca (Università, enti pubblici di ricerca, ecc.) e dei progetti speciali finanziati dal MIUR nei 3 anni precedenti. • La performance scientifica delle strutture di ricerca è misurata dalla “qualità” dei loro prodotti di ricerca. • L’organizzazione generale e il calendario dell’esercizio sono fissati dal MIUR. • La partecipazione è volontaria (ma tutte le Università pubbliche hanno partecipato). • La selezione dei prodotti di ricerca viene effettuata dalle strutture. • La valutazione dei prodotti di ricerca si svolge attraverso un sistema dipeer-review.

4. Il CIVR • Il processo di valutazione è stato condotto dalCIVR (Comitato di Indirizzo per la Valutazione della Ricerca) tramite un insieme di Panel di area. • Il CIVR dispone di personale tecnico e bilancio propri, e può usare esperti esterni, anche stranieri. • La spina dorsale del CIVR è il sistema informatico,disegnato e implementato dal CINECA, il quale fornisce versioni PDF di quasi tutti i prodotti (non circolano copie fisiche dei prodotti). • Nella sua composizione attuale, il CIVR ha iniziato la sua attività nel maggio 2003. • Il CIVR consiste di 7 esperti, nominati dal Governo, ed eleggono un Presidente al loro interno.

5. Membri del CIVR • Mario Bressan (Chimica Generale, D’Annunzio) • Michele Coccia (Letteratura Latina, Sapienza) • Franco Cuccurullo (Medicina Interna, D’Annunzio, Presidente) • Enrico Garaci (Microbiologia, Tor Vergata) • Fiorella Kostoris Padoa Schioppa (Economia Politica, Sapienza) • Carlo Rizzuto (Fisica, Genova) • Renato Ugo (Chimica Inorganica, Milano)

6. Compiti del CIVR • Formulare le linee guida dell’esercizio di valutazione, e specialmente i criteri per la valutazione dei prodotti. • Organizzare il processo di valutazione. • Scegliere i componenti dei 14 panel di area e dei 5 panel per aree speciali, che hanno il compito di condurre l’esercizio di valutazione. • Produrre un rapporto finale che contiene una graduatoria delle strutture per ciascuna area basata sulla valutazione data ai prodotti di ricerca presentati da ciascuna struttura.

7. Aree e aree speciali • Scienze matematiche e informatiche • Scienze fisiche • Scienze chimiche • Scienze della terra • Scienze biologiche • Scienze mediche • Scienze agrarie e veterinarie • Ingegneria civile ed architettura • Ingegneria industriale e dell’informazione • Scienze dell’antichità, filologico-letterarie e storico-artistiche • Scienze storiche, filosofiche, psicologiche e pedagogiche • Scienze giuridiche • Scienze economiche e statistiche • Scienze politiche e sociali 15 a Scienze e tecnologie per una società dell'informazione e della comunicazione 15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti 15 c Scienze e tecnologie dei nano/microsistemi 15 d Scienze e tecnologie aerospaziali 15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili 15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

8. Selezione dei prodotti • Per ciascuna area scientifica, le strutture hanno selezionato un insieme di prodotti di ricerca (libri, capitoli di libro, articoli su rivista, brevetti, ecc.), prodotti durante il triennio 2001-03. • A ciascun prodotto prescelto, le strutture hanno assegnato anche una categoria ISI. • Il numero totale di prodotti selezionati da una struttura doveva essere uguale al 50% del numero medio di ricercatori equivalenti a tempo pieno (ETR) nel periodo 2001-03. • Non era obbligatorio presentare prodotti in ogni area. Le aree prive di prodotti sono state giudicate inattive. • Queste due regole hanno consentito qualche trade-off tra aree. • Non è chiaro come le strutture hanno selezionato i prodotti. Alcune strutture chiaramente non hanno capito o hanno male interpretato i criteri resi noti dal CIVR.

9. Criteri di valutazione dei prodotti • Qualità: “Posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale”. • Rilevanza: “Valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità”. • Originalità/Innovazione: “Contributo a nuove acquisizioni o all'avanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità”. • Internazionalizzazione: “Posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni”.

10. Classificazione dei prodotti In base ai giudizi indipendenti di almeno 2 esperti esterni e alla propria valutazione, i panel di area classificano ciascuno dei prodotti ricevuti in una delle seguenti 4 classi: • Eccellente (20% superiore della scala di valore condivisa dalla comunità scientifica internazionale). • Buono (60-80%). • Accettabile (40-60%). • Limitato (40% inferiore).

11. Componenti del Panel 13 (12, di cui 8 da Università italiane e 4 da istituzioni straniere) • Pierre Dehez (UCL, Belgio) • Jean-Paul Fitoussi (OFCE, Francia) • Francesco Giavazzi (Bocconi) • Daniel Gros (CEPS, Belgio) • Marco Lippi (Sapienza) • Luigi Pasinetti (Cattolica) • Daniel Peña (Carlos III, Spagna) • Alessandro Penati (Cattolica) • Franco Peracchi (Tor Vergata, Presidente) • Alessandro Petretto (Firenze) • Alessandro Riccaboni (Siena) • Guido Tabellini (Bocconi)

12. Prodotti presentati dalle strutture

13. Prodotti valutati dal Panel 13 971 prodotti distinti (cioè al netto dei prodotti presentati da più strutture) da 4 categorie della classificazione ISI: • 574 (59%) da IS0058 (Economia), • 201 (21%) da IS0142 (Matematica), • 183 (19%) da IS0132 (Management), • 13 (1%) da IS0328 (Sociologia e Antropologia).

14. Tipologie di prodotto nel Panel 13 • 526 (54%) articoli in riviste con fattore di impatto (IF), • 187 (19%) libri, • 156 (16%) articoli in riviste senza IF, • 102 (11%) capitoli di libro, • nessun prodotto di altra tipologia (brevetto, ecc.).

15. Tipologie di prodotto Distribuzione per area

16. Lingua dei prodotti nel Panel 13 • 770 (79%) in Inglese, • 193 (20%) in Italiano, • 5 in Francese, • 3 in altre lingue.

17. Lingua dei prodotti Distribuzione per area

18. Attività del Panel 13 • L’esercizio di valutazione della ricerca è iniziato alla fine di Gennaio 2005. • Dopo l’elezione del Presidente e una prima tornata di discussioni preliminari, si è deciso di strutturare il Panel in tre sottogruppi: Economia, Business/Finanza e Statistica/Econometria. • L’assegnazione dei prodotti ai Panelistiè stata fatta dal Presidente, tenuto conto dell’area di specializzazione e dei suggerimenti di ciascun Panelist.

19. Sottogruppi del Panel 13 • Economia (463 prodotti): Dehez (76), Fitoussi (43), Gros (92), Pasinetti (73), Petretto (87), Tabellini (92). • Business/Finanza (249 prodotti): Giavazzi (75), Penati (83), Riccaboni (101). • Statistica/Econometria (259 prodotti): Lippi (84), Peña (85), Peracchi (90).

20. Distribuzione dei prodotti per categoria ISI e sottogruppo CIVR

21. Distribuzione dei prodotti per categoria ISI e tipologia (% di lavori in italiano in parentesi)

22. Le 9 riviste più frequenti per categoria ISI • Economics [82 articoli su 415 (19.8%)]: Journal of Banking and Finance (12), European Economic Review (11), Scottish Journal of Political Economy (10), Journal of Economic Dynamics and Control (9), Applied Economics (9), Research Policy (8), Journal of Public Economics (8), Journal of Economic Behavior and Organization (8), Journal of Economic Theory (7). • Management [20 articoli su 72 (27.8%)]: Organization Science (3), Research Policy (3), Management Science (2), Journal of Management Studies (2), Journal of Banking and Finance (2), Oxford Review of Economic Policy (2), R & D Management (2), Small Business Economics (2), Revue Française du Marketing (2). • Mathematics [53 articoli su 188 (28.2%)]: Biometrika (10), Computational Statistics and Data Analysis (10), European Journal of Operational Research (9), Annals of Statistics (4), Scandinavian Journal of Statistics (4), Insurance Mathematics and Economics (4), Environmetrics (4), Statistics and Probability Letters (4), Journal of Statistical Planning and Inference (4).

23. Assegnazione dei prodotti agli esperti esterni • L’assegnazione di un prodotto ad esperti esterni (almeno due) è stata fatta dal Panelist incaricato. • C’è stato disaccordo tra i Panelist circa l’ interpretazione e il peso da dare ai criteri CIVR per la valutazione dei prodotti. • Ogni Panelist ha seguito criteri propri nell’assegnare i prodotti agli esperti esterni e ha dato loro indicazioni non sempre coincidenti. • Di conseguenza, esperti differenti potrebbero avere usato standard differenti nel valutare i prodotti. • Per circa 2/3 dei prodotti, la valutazione esterna è stata completata tra aprile e giugno (3 mesi). Per il restante 1/3, il processo di valutazione esterna si è concluso solo alla fine di novembre (8 mesi).

24. Affiliazione degli esperti esterni dell’Area 13

25. Esperti esterni per area

26. Analisi divergenze giudizi

27. Giudizi finali • Basandosi sui giudizi degli esperti esterni, i Panelist incaricati hanno proposto la loro proposta di giudizio agli altri componenti del sottogruppo. • Il consenso è stato raggiunto quando una maggioranza dei componenti del sottogruppo si è detta d’accordo sul giudizio proposto. • Alla fine del processo, si è raggiunto il consenso a livello di sottogruppo (in alcuni casi dopo 1 o 2 iterazioni) per 967 dei 971 prodotti (99.6%). • Per 830 di questi 967 prodotti (l’85.8%), il consenso è stato unanime. • Per il sottogruppo Business, ilconsenso non è stato unanime in 6 casi, per il sottogruppo Economia in 123 casi (26.7% dei prodotti dove si è raggiunto il consenso), per il sottogruppo Statistica in 1 caso. • Per 4 prodotti (3 di Economia, 1 di Statistica), il giudizio finale è stato raggiunto attraverso votazione a maggioranza all’interno del panel.

28. Giudizi finali Distribuzione per area

29. Distribuzione dei giudizi finali del Panel 13 per categoria ISI

30. Evidenza statistica • Gli articoli in riviste con IF tendono a ricevere le valutazioni più alte, mentre i capitoli di libro quelle più basse. • Per gli articoli publicati in riviste con IF, la probabilità di ricevere un giudizio di “Eccellente” o “Buono” cresce con l’IF della rivista. • Gran parte delle differenze nella distribuzione dei giudizi tra i Panelist scompare una volta che si controlla per le differenze nella tipologia e nella lingua dei prodotti ricevuti. • Queste relazioni sono statisticamente fortemente significative. • La loro interpretazione non però affatto ovvia. Per esempio: È la reputazione della rivista dove un prodotto è stato pubblicato che aiuta a creare il giudizio dato a un prodotto, oppure è il giudizio dato a un prodotto checonferma la reputazione della rivista?

31. Regressioni per categoria ISI(variabile dipendente: punteggio CIVR = 1*E + .8*B + .6*A + .2*L) *** livello di significatività osservato (p-value) < .01 ** 0.1 ≤ p-value < .05 * 0.5 ≤ p-value < .10

32. Conclusioni • Il CIVR è stato un grande successo, riuscendo a processare in breve tempo (circa 10 mesi) un gran numero di prodotti (quasi 18.000). • Il sistema informatico che rappresenta la spina dorsale del CIVR ha funzionato in modo molto efficiente e senza intoppi. • L’esercizio potrebbe essere svolto ogni anno e la graduatoria delle strutture potrebbe basarsi su una media mobile triennale. • In questo modo, una nuova valutazione sarebbe necessaria solo per circa un terzo dei prodotti valutati dal VTR 2001-2003. • Le strutture potrebbero aggiustare la loro politica e i loro incentivi con maggiore gradualità.