CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________

1. VTR 2001- 2003 CIVRComitato di Indirizzo per la Valutazione della Ricerca________________________________ Incontro CRUI - 11 aprile 2006, ore 14.45Panel 15eScienze e tecnologie per lo sviluppo e la governance sostenibili: aspetti economici, sociali, energetici ed ambientaliPaolo Clemente

2. Ordine del giorno • analisi della procedura di selezione dei prodotti scientifici presentati • analisi della procedura di “calibrazione” dei giudizi degli esperti • analisi delle ricadute dei risultati CIVR sulle strutture di ricerca dell’ateneo • suggerimenti per una più efficace attività di valutazione

3. Scopie specificità del VTR • Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca. • Migliorare il collegamento istituzionale tra risultati della valutazione e allocazione delle risorse. • Avviare procedure sistematiche di raffronto. • Favorire la diffusione dei risultati della ricerca. • Assicurare trasparenza al processo.

4. Il processo Governo Strutture di ricerca Comunità scientifica Giudizi • Dati & informazioni • Relazione NUV/CIV Prodotti Strutture di ricerca

5. Strutturepartecipanti

6. 15 a Scienze e tecnologie per una società dell'informazione e della comunicazione 15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti 15 c Scienze e tecnologie dei nano/microsistemi 15 d Scienze e tecnologie aerospaziali 15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili 15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali Aree 1 Scienze matematiche e informatiche 2 Scienze fisiche 3 Scienze chimiche 4 Scienze della terra 5 Scienze biologiche 6 Scienze mediche 7 Scienze agrarie e veterinarie 8 Ingegneria civile ed architettura 9 Ingegneria industriale e dell’informazione 10 Scienze dell’antichità, filologico-letterarie e storico-artistiche 11 Scienze storiche, filosofiche, psicologiche e pedagogiche 12 Scienze giuridiche 13 Scienze economiche e statistiche 14 Scienze politiche e sociali

7. Prodotti selezionabili • Libri • Capitoli di libri • Articoli su riviste • Brevetti e risultati di valorizzazione applicativa • Progetti, composizioni, disegni e design • Performance, mostre ed esposizioni • Manufatti e opere d'arte

8. Prodotti non selezionabili • Attività puramente editoriali • Testi o software di esclusivo interesse didattico • Abstract di conferenze • Prove e analisi di routine • Rapporti tecnici interni

9. Selezione dei prodotti (1) • Le strutture hanno selezionato in autonomia i prodotti da trasmettere ai Panel • Il numero complessivo di prodotti selezionati è stato fissato nel 50% del numero medio annuo dei ricercatori della Struttura (calcolato sul triennio), espressi in ETP • Non era obbligatorio presentare prodotti in ogni area o settore disciplinare della stessa • Le aree prive di prodotti sono state giudicate inattive. • L’area selezionata dipendeva dalla collocazione del prodotto e non da quella degli autori • Per ciascun prodotto è stata trasmessa una scheda illustrativa, con l’allegato in pdf della pubblicazione • In assenza di allegato, è stata richiesta alle Strutture copia cartacea

10. Selezione dei prodotti (2) • La singola Struttura poteva presentare ciascun prodotto selezionato in una sola Area • Strutture diverse potevano selezionare prodotti identici e presentarli anche in Aree diverse • Ciascun prodotto selezionato, anche se presentato in Aree diverse, è stato sottoposto ad un unico iter valutativo, che ha coinvolto tutti i Panel interessati

11. Giudizio di merito sui prodotti • Ogni prodotto è stato valutato da almeno due esperti esterni, per i seguenti criteri: • qualità • rilevanza • originalità/innovazione • internazionalizzazione • impatto economico-occupazionale, anche potenziale (per i risultati di valorizzazione applicativa) • Per ciascun criterio gli esperti hanno formulato un giudizio di merito descrittivo

12. Criteri (1) • Qualità: posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale. Il giudizio di merito è affidato ad esperti esterni indipendenti, che operano nel settore o in settori affini a quello di appartenenza del prodotto (peer review) • Rilevanza: valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità • Originalità/innovazione: contributo a nuove acquisizioni o all’avanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità

13. Criteri (2) • Internazionalizzazione: posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni. Integra il giudizio di qualità • Impatto economico-occupazionale: effetti sociali, economici e culturali, diretti e indiretti del prodotto.

14. Esperti esterni • Nel processo di valutazione, i Panel si sono avvalsi di esperti esterni, anche stranieri, scelti collegialmente dai Panel stessi • agli esperti esterni è stato affidato il compito di esprimere giudizi di merito sui prodotti selezionati dalle Strutture • agli esperti è stato garantito l’anonimato dei giudizi

15. Livelli di merito dei prodotti (1) • Ciascun esperto ha espresso su ogni prodotto un giudizio unico e complessivo, con attribuzione a quattro livelli di merito (in coerenza con il giudizio descrittivo): • Eccellente • Buono • Accettabile • Limitato

16. Livelli di merito dei prodotti (2) • Eccellente: la qualità del prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale. • Buono:il prodotto si colloca nel segmento 60-80%. • Accettabile:il prodotto si colloca nel segmento 40-60%. • Limitato: il prodotto si colloca nel 40% inferiore.

17. Grado di proprietà dei prodotti • È espresso dal rapporto tra: N. autori affiliati alla Struttura / N. complessivo autori • Sono state considerate anche le affiliazioni multiple. • È stato determinato sia sul numero totale dei prodotti presentati dalla Struttura, sia sui soli prodotti giudicati eccellenti.

18. Componenti del Panel 15e • CLEMENTE Paolo (Presidente) • CONVERSI Alessandra • D'ARGENIO Bruno • DEHEZ Pierre • KING Russell • PERLINI Alice • STEDUTO Pasquale

19. Sottogruppi del Panel 15e • Un unico sottogruppo, coincidente con l’intero Panel.

20. Prodotti valutati nell’area

21. Prodotti valutati nell’area

22. Esperti esterni coinvolti

23. Prodotti valutati (1)

24. Prodotti valutati (2) Distribuzione per tipologia nelle diverse Aree

25. Tipologia dei prodotti (1)

26. Tipologia dei prodotti (2)

27. Riviste ricorrenti

28. Tipologia e qualità dei prodotti

29. Distribuzione per Lingua Tutte le Aree

30. Distribuzione per Lingua Nelle diverse Aree

31. 1. Matematica 2. Fisica 3. Chimica 4. Geologia 5. Biologia 6. Medicina 7. Sc Agrarie - 8. Ing Civile - Arch 9. Ing Industriale - 10. Sc Filol-Lett Stor-Art 11. Sc Stor Filos Psic 12. Sc Giuridiche 13. Economia - 14. Sc Politiche - Sociali 15a ICT 15b. Qualità Alimenti 15c. Nano e Micro Tec 15d. Sc Aerospaziali 15e. Sviluppo 15f. Beni Culturali Grado medio di Proprietà

32. Media ( ♦ ) e intervallo di variazione ( ) Grado di proprietà dei prodotti

33. Prodotti presentati da: Una sola struttura Più strutture Distribuzione dei giudizi (1) 17.329 prodotti di tutte le Aree

34. Distribuzione dei giudizi (2) Andamento complessivo per area

35. Distribuzione dei giudizi (3)

36. Distribuzione dei giudizi (4)

37. Analisi divergenze giudizi

38. Media ( ♦ ) e intervallo di variazione ( ) Impact Factor dei prodotti

39. Impact Factor dei prodotti (2)

40. La Valutazione delle Aree (1)

41. La Valutazione delle Aree (2) RATING Esprime il giudizio medio sui prodotti presentati da ogni singola Struttura nelle diverse Aree. Si ottiene dividendo la somma dei giudizi pesati attribuiti ai singoli prodotti (prodotti pesati) per il numero totale di prodotti presentati.

42. La Valutazione delle Aree (3) Sul sito http://vtr2006.cineca.it sono riportati per ogni singola Area:

43. La Valutazione delle Aree (4)

44. La Valutazione delle Aree (4)

45. La Valutazione delle Aree (4)

46. La Valutazione delle Aree (4) Rating

47. La Valutazione delle Aree (5) Aquatic sciences 3 paper su rivista e un libro sono i prodotti di questa categoria, tutti giudicati di buon livello, con contributi originali e un’ottima collocazione editoriale.

48. La Valutazione delle Aree (5) Art & Architecture I prodotti di questa categoria sono quasi tutti libri o capitoli di libri scritti in italiano. La qualità è complessivamente accettabile. Alcuni prodotti si sono distinti per rilevanza delle tematiche affrontate e per il buon grado di diffusione, peraltro limitato dalla lingua.

49. La Valutazione delle Aree (5) Chemical engineering La maggior parte dei prodotti di ingegneria chimica sono articoli su rivista, tutti in inglese. La qualità è generalmente buona. Le tematiche affrontate sono di interesse internazionale e i risultati contribuiscono in maniera rilevante all’avanzamento delle conoscenze nel campo. Buono il grado di originalità e innovazione.

50. La Valutazione delle Aree (5) Chemistry I prodotti di questa categoria sono tutti articoli di buona qualità, con punte di eccellenza, pubblicati su riviste internazionali. I temi trattati sono di interesse e l’internazionalizzazione è elevata.