Gruppo di Lavoro per la Valutazione della Ricerca

1. Gruppo di Lavoro per la Valutazione della Ricerca Chiefari, Diemoz, Dosselli, Vercesi

2. Definizioni e presupposti • Pubblicazione delle “Linee Guida per la Valutazione della Ricerca” da parte del CIVR (MIUR) • La valutazione della ricerca è un processo fondato sull’analisi critica di dati e informazioni, che conduce ad un giudizio di merito. L’obiettività del processo presuppone • Criteri e metodologie predefiniti • Valutatori esterni alla struttura e non coinvolti nel processo da valutare • L’esercizio completo si tiene con cadenza triennale • Il Ministero stabilisce l’organizzazione generale e la destinazione di adeguate strutture di supporto • Valutazione della Ricerca non come processo burocratico, ma preziosa opportunità per mettere a fuoco aspetti nevralgici della performance delle strutture • Qualità e rilevanza della produzione scientifica, nuove frontiere • Originalità, innovazione, internazionalizzazione • Capacità di gestire risorse, dare risposte a grandi temi sociali • Indicazioni per pianificazione strategica degli interventi per la ricerca Chiefari,Diemoz,Dosselli,Vercesi

3. Valutazione Triennale della Ricerca • Decreto del MIUR n. 2206, registrato alla Corte dei Conti il 12 marzo 2004 • Disciplina il processo di valutazione dei risultati della ricerca, che riguarda le seguenti strutture • Università (statali, non statali legalmente riconosciute) • Enti di ricerca, ENEA e ASI • altri soggetti pubblici e privati che svolgono attività di ricerca, su esplicita richiesta… • L'attuazione e la gestione del processo sono affidate al Comitato di Indirizzo per la Valutazione della Ricerca (CIVR) • L’esercizio di valutazione coinvolge il personale di ricerca delle Strutture (a tempo indeterminato e a tempo determinato), che ha come esito principale della propria attività la pubblicazione di prodotti di ricerca • Ai fini del presente decreto per personale di ricerca si intende • professori e ricercatori delle Università (con peso 0,5 ETP) • ricercatori degli Enti di ricerca (con peso 1 ETP) • personale di ricerca dipendente dagli altri soggetti pubblici e privati (con peso variabile, rapportato all’impegno contrattuale finalizzato alla ricerca) http://www.civr.it/news/decreto_miur2206RIC.pdf Chiefari,Diemoz,Dosselli,Vercesi

4. Bando di partecipazione • Primo esercizio di Valutazione Triennale della Ricerca (VTR) • L’esercizio è rivolto alla valutazione della performance scientifica delle ”Strutture” di ricerca di cui al decreto • L’esercizio 2001-2003 verrà articolato sulle 14 Aree disciplinari indicate dal Comitato Universitario Nazionale (CUN) e su 6 Aree speciali • Per ogni Area viene costituito presso il CIVR un unico Comitato (Panel) di Area, con esperti di alto livello, anche stranieri, scelti sulla base della specializzazione, capacità ed esperienza • La valutazione viene effettuata sulla base di elementi conoscitivi forniti dalle Strutture interessate alla valutazione, che sono di tre tipi • prodotti scientifici selezionati dalle Strutture stesse tra quelli ritenuti i migliori e più significativi, atti a dimostrarne la qualità e consistenza scientifica • dati sulle dimensioni complessive della Struttura, in termini di risorse disponibili e acquisite e sul loro impiego nella ricerca • un rapporto triennale da parte del proprio Nucleo o Comitato di Valutazione (NUV/CIV) o, in sua assenza, da parte dei responsabili della Struttura stessa http://www.civr.it/news/bando35(16.3.04).pdf Chiefari,Diemoz,Dosselli,Vercesi

5. Scaletta temporale • L’elenco dei prodotti selezionati da parte delle Strutture (punto 1), pari al 50% del numero medio di ETP nel triennio e validati dai NUV/CIV dovranno essere trasmessi per via telematica (CINECA) ai Panel entro il 30 giugno 2004 • Per la CSN1 corrispondono a circa 200 prodotti • I dati e le informazioni di cui al punto 2), nonchè i rapporti dei NUV/CIV, di cui al punto 3), dovranno essere trasmessi al CIVR entro il 31 dicembre 2004 • Varie informazioni riguardanti la performance della ricerca, elementi di valutazione dell’impatto socio-economico, mobilità,… • Il Rapporto dei Panel, che deve pervenire al CIVR entro il 30 giugno 2005, è un rapporto collegiale articolato in tre parti distinte • Valutazione dei singoli prodotti (consensus report) • Riesame critico dei giudizi di merito degli esperti esterni, ricondotti ad un momento di sintesi, articolato in quattro livelli (eccellente; buono; accettabile; limitato). • Ranking list delle Strutture • Attribuisce le Strutture a fasce di merito predefinite dal CIVR • Relazione finale • Punti di forza e di debolezza dell’Area a livello complessivo in relazione ai vari aspetti presi in esame (merito scientifico, produttività, impatto del settore scientifico nel confronto internazionale), suggerendo, ove possibile, specifici interventi, che permettano di migliorare le opportunità e gli aspetti ritenuti critici • Al CIVR compete la stesura della relazione finale dell’esercizio 2001-2003 del VTR, da consegnare al Ministro entro il 31 marzo 2006, che comprende: • il giudizio di merito per ogni singola Struttura • la valutazione di merito complessivo del sistema nazionale della ricerca, sia per Area che globale, che emerge dalla integrazione degli elementi di analisi a disposizione del CIVR Chiefari,Diemoz,Dosselli,Vercesi

6. Criteri di Valutazione Chiefari,Diemoz,Dosselli,Vercesi

7. Numerologia Selezionati a partire dalle priorità date dai Responsabili Nazionali.Utilizzati criteri legati all’IF, notorietà, etc Chiefari,Diemoz,Dosselli,Vercesi

8. Statistiche Chiefari,Diemoz,Dosselli,Vercesi

9. Prodotti selezionati della Ricerca • Due tipologie di prodotti • Pubblicazioni: caratteristici della nostra produttività scientifica • Progetti: rappresentativi delle grandi realizzazioni sperimentali e dei contatti con il mondo industriale • Ogni prodotto sarà presentato solamente tramite una scheda, contenuta in un massimo di 3500 caratteri, che deve riportare • riferimenti bibliografici • area e disciplina di riferimento • un riassunto (abstract) • Comprensibile ad un “fisico quadratico medio” (non c’è Panel dedicato all’INFN) • l’affiliazione degli autori • ogni notizia utile a definire il collocamento internazionale • l’eventuale carattere interdisciplinare e la notorietà del prodotto, nonché l'autorevolezza della rivista / editore / manifestazione / ecc., con cui è stato reso pubblico, inclusi, se applicabili e rilevanti, gli indici bibliometrici (ad esempio, impact factor, citation analysis e recensioni • 5 parole chiave scelte dall’apposito menu della procedura informatizzata del CINECA Chiefari,Diemoz,Dosselli,Vercesi

10. Confronto con altri Enti • Dati da relazione CIVR e database ISI, anno 2000 • CIVR: numero risultante dalla relazione annuale 2000-2001 • ISI: numero ottenuto dal database con ricerca per Ente • Tot: numero totale di lavori dichiarato dagli Enti (anche non su rivista) • ISI All: numero totale (non solo article) di lavori risultanti su ISI Chiefari,Diemoz,Dosselli,Vercesi

11. Next steps • Ogni esperimento ha fornito al GLV un rappresentante che seguirà il lavoro di preparazione dei prodotti • Assegnazione delle schede ai responsabili della stesura • Monitor della compilazione secondo le regole che ci siamo dati • Entro il 5 maggio dobbiamo avere il 20% delle schede pronte • Riunione del GLV per risolvere ultime ambiguità e definire la “numerologia” finale • Inclusione dei prodotti dei Laboratori Nazionali • Massima attenzione a non includere prodotti di valore limitato che possono far scivolare la valutazione del CIVR • 1 Luglio: riunione con il CIV (Montgomery et al.) che prenderà in esame la validazione dei prodotti e la preparazione del rapporto finale • Massima collaborazione necessaria per garantire la perfetta riuscita dell’esercizio Chiefari,Diemoz,Dosselli,Vercesi