18 febbraio 2004 UNIVERSITÀ DELLA CALABRIA

1. 18 febbraio 2004UNIVERSITÀ DELLA CALABRIA Franco Cuccurullo VALUTAZIONE DELLA RICERCA

2. Scopie specificità • Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca. • Migliorare il collegamento istituzionale tra risultati della valutazione, selezione dei programmi e allocazione delle risorse. • Avviare procedure sistematiche di raffronto tra organismi di ricerca nazionali ed internazionali. • Favorire la diffusione dei risultati della ricerca.

3. Assegnazione delle risorse • In sede di assegnazione delle risorse pubbliche finalizzate alle attività di ricerca, il MIUR considererà in via prioritaria le Strutture che hanno partecipato all’esercizio di valutazione.

4. Sistema di Valutazione • L'esercizio è triennale e valuta la performance scientifica di strutture e progetti speciali, finanziati dal MIUR nel triennio precedente. • Organismi di Valutazione • CIVR • Panel di Area e di Progetto • Comitati/Nuclei di Valutazione (CNV) • Oggetti di Valutazione • Strutture di ricerca • Progetti speciali

5. Dati Prodotti Governo Strutture di ricerca Comunità scientifica Giudizi Strutture di ricerca Progetti speciali

6. CIVR • È composto da 7 esperti nominati dal Governo; • organizza l’intero processo di valutazione; • definisce i criteri per la composizione dei Panel e ne sceglie i componenti; • produce la Relazione finale per singola struttura o progetto speciale; • propone modalità di collegamento tra risultati della valutazione e attribuzione delle risorse.

7. Procedura informatizzata • La trasmissione di tutti i dati è interamente informatizzata e gestita dal CINECA. • La procedura informatizzata permette un costante monitoraggio top-down da parte del CIVR.

8. Panel di Area e di Progetto • Sono composti da 5-9 esperti appartenenti alla comunità scientifica. • Si avvalgono di esperti esterni, anche stranieri, con il compito di esprimere giudizio di merito: • sui Prodotti selezionati dalle Strutture; • sui Progetti speciali. • Integrati da eventuali sub-Panel, redigono il rapporto finale e la ranking list: • di area, a cura dei Panel di area; • di progetto, a cura dei Panel di progetto.

9. Aree di valutazione • Corrispondono alle 14 aree scientifico-disciplinari del CUN, integrate da aree speciali, indicate dal CIVR all'inizio di ogni esercizio triennale. • Le aree speciali sono scelte in considerazione del prioritario valore aggiunto per il Paese e della loro coerenza con gli obiettivi previsti dal PNR e dai programmi comunitari.

10. Aree CUN • Scienze matematiche e informatiche • Scienze fisiche • Scienze chimiche • Scienze della Terra • Scienze biologiche • Scienze mediche • Scienze agrarie e veterinarie • Ingegneria civile ed Architettura • Ingegneria industriale e informatica • Scienze dell’Antichità, filologico-letterarie e storico-artistiche • Scienze storiche, filosofiche, psicologiche e pedagogiche • Scienze giuridiche • Scienze economiche e statistiche • Scienze politiche e sociali

11. Aree speciali del CIVR • Scienze e tecnologie per una società dell'informazione e della comunicazione • Scienze e tecnologie per la qualità e la sicurezza degli alimenti • Scienze e tecnologie dei nano/microsistemi • Scienze e tecnologie aerospaziali • Scienze e tecnologie per lo sviluppo e la governance sostenibili: aspetti economici, sociali ed ambientali • Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

12. Strutture • Università • Enti di ricerca controllati dal MIUR • Industrie (D. Lgs. 297/99)

13. Adempimenti delle strutture • Trasmettono al CIVR i dati conoscitivi validati dai CNV. • Trasmettono ai Panel di Area i prodotti selezionati validati dai CNV. • Trasmettono al CIVR i Rapporti dei CNV.

14. Dati e informazioni • Quadro sinottico delle risorse umane, con la media nel triennio dei ricercatori (in ETP) presenti nella struttura e in ciascuna Area. • Dati sulle risorse finanziarie e sulla gestione. • Documentazione su brevetti, spin off e partnership, anche in termini di risorse impegnate e impatto occupazionale.

15. ETP • Professori e ricercatori delle Università, con peso 0,5 ETP; • ricercatori degli Enti pubblici di ricerca, con peso 1 ETP; • personale di ricerca dipendente da altri soggetti pubblici e privati, con peso variabile, rapportato all’impegno contrattuale finalizzato alla ricerca

16. Risorse umane 01 - Ricercatori (ETP) 02 - Ricercatori (ETP) in mobilità all’estero 03 - Ricercatori (ETP) stranieri a contratto 04 - Personale tecnico-amministrativo complessivo 05 - Dottorandi e assegnisti 06 - Autori complessivi dei prodotti selezionati 07 - Autori appartenenti alla struttura

17. Risorse finanziarie 08 - Entrate complessive 09 - Trasferimento statale ordinario 10 - Finanziamento e cofinanziamento dei progetti

18. Brevetti 11 - Brevetti depositati 12 - Brevetti attivi 13 - Entrate derivanti da brevetti 14 - Spese di gestione dei brevetti

19. Prodotti selezionati della ricerca • Le strutture trasmettono ai Panel di area l’elenco dei prodotti selezionati. • Il numero dei prodotti è il 50% del numero medio dei ricercatori (ETP) della struttura. • L’area di elezione dipende dalla collocazione del prodotto e non da quella degli autori. • Per ciascun prodotto viene trasmessa una scheda illustrativa. • Non è obbligatorio presentare prodotti in ogni area. • Le aree prive di prodotti sono giudicate inattive.

20. Tipologie dei prodotti • Libri e loro capitoli • Articoli su riviste • Brevetti • Progetti, composizioni, disegni e design • Performance, mostre ed esposizioni • Manufatti e opere d'arte

21. Prodotti non selezionabili • Attività puramente editoriali • Testi o software di esclusivo interesse didattico • Abstract di conferenze • Prove e analisi di routine • Rapporti tecnici interni

22. Selezione dei prodotti NUV ▼ input prodotti per i Panel DIP ▼ input prodotti per i CAR CAT ▼ satura potenziale di Ateneo CAR ▼ seleziona prodotti • Attivazione CAR ▼ • Attivazione • CAT Fase I Fase II Fase III Fase IV Fase V

23. Giudizio di merito sui prodotti (1/2) • Ogni prodotto è valutato da almeno due esperti, per i seguenti criteri: • qualità • rilevanza • originalità/innovazione • internazionalizzazione e/o potenziale competitivo internazionale. • Per ciascun criterio gli esperti formulano un giudizio descrittivo.

24. Giudizio di merito sui prodotti (2/2) • Il giudizio su ciascun prodotto è unico e complessivo, con attribuzione a quattro livelli di merito: • eccellente • buono • accettabile • limitato

25. Livelli di merito dei prodotti • Eccellente: il prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale. • Buono:il prodotto si colloca nel segmento 60-80%. • Accettabile: il prodotto si colloca nel segmento 40-60%. • Limitato: il prodotto si colloca nel 40% inferiore.

26. Rapporto dei Panel di Area • Consensus Report: riconduce i giudizi singoli degli esperti ad un momento di sintesi (eccellente, buono, accettabile, limitato). • Ranking listdi Area: attribuisce le strutture alle fasce di merito predefinite dal CIVR. • Relazione finale: • individua punti di forza e di debolezza dell’area; • prevede un’apposita sezione per i brevetti.

27. Fasce di merito A - Almeno il 50% è eccellente e i rimanenti buoni. B - Almeno il 30% è eccellente e i rimanenti buoni. C - Almeno il 50% è eccellente o buono e i rimanenti accettabili. D - Almeno il 30% è eccellente o buono e meno del 50% è di valore limitato. E - Almeno il 20% è eccellente o buono e meno del 50% è di valore limitato. F - Meno del 20% è eccellente o buono e meno del 50% è di valore limitato. NV- Oltre il 50% dei prodotti è di valore limitato.

28. Rapporto dei CNV • Valutazione della performance scientifica • Impatto socio economico • Congruità e competenza delle risorse umane • Mobilità internazionale • Adeguatezza di dotazioni strumentali e servizi • Capacità di attrarre e gestire risorse • Principali punti di forza e di debolezza • Collegamento tra valutazione e processi decisionali • Raccomandazioni e conclusioni

29. Criteri e indicatori adottati dal CIVR (1/4) Criteri Indicatori Qualità; rilevanza; originalità/innovazione;internazionalizzazione e/o potenziale competitivo internazionale Giudizi di merito dei Panel sui prodotti selezionati

30. Criteri e indicatori adottati dal CIVR (2/4) Criteri Indicatori Mobilità internazionale Ricercatori in mobilità all'estero + Ricercatori stranieri a contratto / Ricercatori totali Produttività Autori dei prodotti selezionati appartenenti alla struttura / Autori complessivi dei prodotti selezionati

31. Criteri e indicatori adottati dal CIVR (3/4) Criteri Indicatori • Impatto socio- • economico: • Imprenditorialità • Formazione 1 a) Giudizi di merito su brevetti 1 b) Giudizi di merito su spin off e partnership 2) Borsisti, dottorandi, assegnisti / Ricercatori totali

32. Criteri e indicatori adottati dal CIVR (4/4) Criteri Indicatori Attrazione delle risorse Entrate complessive - Trasferimento statale ordinario / Entrate complessive Gestione delle risorse Ricercatori / Personale complessivo Finanziamento e cofinanziamento di progetti / Ricercatori totali

33. Relazione finale del CIVR • Si fonda sull’analisi dei: • Rapporti dei CIV / NUV; • Rapporti dei Panel di Area; • dati e informazioni trasmessi direttamente dalle Strutture • Si conclude con un giudizio articolato per singola Struttura.

34. Date di riferimento • Inizio Esercizio 2001-2003 1/1/’04 • Trasmissione dati Strutture 30/6/’04 • Consegna al CIVR Rapporti Panel 30/6/’05 • Consegna al Ministro Relazione CIVR 31/12/’06 • Inizio Esercizio 2004-2006 1/1/’07