Valutazione e riconoscimento della ricerca scientifica: cosa prevede la L. 1/2009?

1. Valutazione e riconoscimento della ricerca scientifica: cosa prevede la L. 1/2009? Daniela Parolaro Facoltà di Scienze MMFFNN - Varese

2. Art. 3-ter Valutazione dell'attività di ricerca 1. Gli scatti biennali di cui agli articoli 36 e 38 del decreto del Presidente della Repubblica 11 luglio 1980, n. 382, destinati a maturare a partire dal 1° gennaio 2011, sono disposti previo accertamento da parte della autorità accademica della effettuazione nel biennio precedente di pubblicazione scientifiche. 2. I criteri identificanti il carattere scientifico delle pubblicazioni sono stabiliti con apposito decreto del Ministero dell'istruzione, dell'università e della ricerca, su proposta del Consiglio universitario nazionale e sentito il Comitato di indirizzo per la valutazione della ricerca. 3. La mancata effettuazione di pubblicazioni scientifiche nel biennio precedente comporta la diminuzione della metà dello scatto biennale. 4. I professori di I e II fascia e i ricercatori che nel precedente triennio non abbiano effettuato pubblicazioni scientifiche individuate secondo i criteri di cui al comma 2 sono esclusi dalla partecipazione alle commissioni di valutazione comparativa per il reclutamento rispettivamente di professori di I e II fascia e di ricercatori

3. INDICATORI DI ATTIVITA’ SCIENTIFICA E DI RICERCA”La prospettiva è determinare standard minimi di qualità necessari per un ottimale svolgimento delle procedure concorsuali. Tali indicatori saranno utilizzabili anche per determinare il grado di qualificazione dei proponenti dei Progetti di ricerca di interesse nazionale.

4. Ritenuto • che gli indicatori proposti sono intesi esclusivamente al fine di determinare livelli minimi normalmente accettabili per l’ammissione alle diverse fasce della docenza;- che tali livelli minimi non possono essere utilizzati per determinare in modo automatico l’esclusione o l’ammissione di un candidato ad una valutazione comparativa;- che gli indicatori forniscono una rappresentazione inevitabilmente sommaria dell’attività scientifica dei candidati e che le commissioni giudicatrici, cui esclusivamente compete la responsabilità di stabilire la graduatoria finale, devono comunque formulare un giudizio qualitativo su tale attività scientifica;- che gli indicatori proposti nulla debbono togliere all’autonomia degli Atenei nella libertà di strutturare i bandi di concorso secondo le necessità espresse dagli Organi collegiali degli Atenei stessi • che comunque i valori minimi proposti per gli indicatori ai fini dell’accesso alle fasce di docenza sono punti di riferimento qualificanti per le commissioni e per l’autovalutazione dei candidati;- che in caso di non osservanza di tali valori minimi le commissioni debbono motivare le ragioni della loro scelta

5. RITENUTO INOLTRE - che gli indicatori scientifici per l’accesso alle valutazioni concorsuali, dal reclutamento alla progressione di carriera, e gli indicatori di qualità per la valutazione dei proponenti dei progetti di ricerca di interesse nazionale, benché collegati, non siano totalmente coincidenti;- che questi indicatori non necessariamente coincidono con i “parametri” per le procedure di valutazione comparativa per il reclutamento dei ricercatori e sono distinti dai “ criteri indicanti il carattere scientifico delle pubblicazioni” ai fini della valutazione dell’attività di ricerca dei docenti,che il CUN dovrà individuare in base al D.L. n. 180 in fase di conversione in legge dal Parlamento;- che i valori proposti per gli indicatori, in quanto minimi, non possono considerarsi sufficienti ai fini del reclutamento per “chiamata diretta” e che in questo caso le proposte degli Atenei devono basarsi su più ampi requisiti di elevata qualità scientifica, didattica e curriculare;- che deve essere tenuto in considerazione il principio di equità e non discriminazione di genere per cui, in caso di maternità o congedo parentale, la continuità temporale della produzione scientifica e la quantità-densità di pubblicazioni deve essere adeguatamente rimodulata, specie in quelle Aree incui si richiede l’allontanamento dai laboratori per tutta la durata della gravidanza edell’allattamento.

6. CONSIDERATO - che per la complessità dei saperi e per la specificità delle discipline e delle tradizioni delle diverse comunità scientifiche non è possibile utilizzare gli stessi indicatori per tutte le Aree e in qualche caso neppure per tutti i SSD in esse compresi; - che tutti gli indicatori debbono essere aggiornati periodicamente dal CUN; - che gli indicatori devono essere semplici, trasparenti, facilmente applicabili e congrui per le diverse Aree o gruppi di SSD il CUN consultate le Comunità Scientifiche di riferimento ha elaborato per ciascuna Area o laddove necessario per gruppi di SSD i seguenti indicatori dell’attività scientifica e i relativi valori minimi da utilizzare esclusivamente per l’accesso ai diversi livelli concorsuali

10. Indicatori e valori minimi: commento • C’è sostanziale uniformità tra le Aree nell’attribuzione di un ruolo preponderante al numero delle pubblicazioni (e delle monografie nelle Aree delle Scienze umane), con valori minimi di Area quasi sempre vicini alla media generale (a seconda della fascia 5/10/15 pubblicazioni ovvero 1/2/3 monografie). • • Un importante indicatore è la continuità di produzione, misurata dalla richiesta (media) di 1 pubblicazione per anno negli ultimi 5/7/10 anni. • • Sono ancora sporadici i riferimenti all’impatto della produzione sulla comunità scientifica (nazionale e internazionale), misurati (quando presenti) dall’IF oppure dal numero delle citazioni. • • Per le Aree più internazionalizzate è fatto spesso riferimento alla richiesta che le pubblicazioni compaiano su riviste con referee e quando possibile su riviste ISI. • • Rimane comunque aperto il problema di individuare i criteri che identificano il carattere scientifico delle pubblicazioni (un compito recentemente attribuito al C.U.N. dalla legge 1/2009).

11. E’ aperta la discussione sulla possibilità di utilizzare in modo più o meno sistematico gli indicatori bibliometrici come strumento di valutazione dell’attività scientifica individuale (e collettiva)

12. E’ davvero cosi’ difficile valutare in modo oggettivo il lavoro di un ricercatore ? occorre che la qualità del valutatore sia  alta, altrimenti le sue valutazioni  non sono attendibili una chiara terzietà del valutatore, vale a dire mancanza di conflitti di interessi che possano influenzarne il giudizio Ma quali sono gli indicatori che maggiormente rappresentano il valore di un ricercatore? INDICATORI BIBLIOMETRICI Impact factor Citation Index Indice H

13. The impact factor for a journal is calculated based on a three-year period, and can be considered to be the average number of times published papers are cited up to two years after publication. For example, the impact factor 2009 for a journal would be calculated as follows: A = the number of times articles published in 2008-9 were cited in indexed journals during 2010 B = the number of articles, reviews, proceedings or notes published in 2008-9 impact factor 2010 = A/B (note that the impact factor 2009 will be actually published in 2010, because it could not be calculated until all of the 2010 publications had been received. Impact factor 2010 will be published in 2011) La prima (innocente) manipolazione è operata dal ricercatore (o gruppi di ricercatori) che prima di decidere dove pubblicare un articolo consulta la lista delle riviste ordinate per IF. Certamente, una volta accettato l’IF come indice di qualità l’accorto ricercatore cercherà di pubblicare i lavori sulle riviste che hanno il massimo IF, tra quelle che potrebbero accettare i suoi lavori. La seconda possibile manipolazione è quella di abbondare nelle citazioni, avendo particolare cura di citare i lavori più recenti della rivista nella quale si vuole pubblicare

14. Infine c’è la grande possibilità di manipolazione nelle mani di chi utilizza l’IF per valutazioni individuali. Il passaggio da un indice associato a riviste ad una valutazione,, anch’essa numerica, associata ad un individuo è tutt’altro che pacificamente codificato. Né può esserlo dal momento che non è chiaro in che modo l’IF di una rivista sia associato alla qualità di un articolo che vi è pubblicato Ad ogni articolo il punteggio della’IF della rivista Ha senso fare la somma dei punteggi? O la media dei punteggi ? O la media relativamente ai lavori che hanno un punteggio minimo?

15. Effetti negativi dellIF L’aumento indiscriminato delle riviste e delle pubblicazioni scientifiche ed in particolare delle riviste più costose di proprietà di editori commerciali e la crisi finanziaria delle biblioteche scientifiche, esiziale per i paesi dell’Europa dell’Est ed i paesi in via di sviluppo. L’impoverimento e l’esclusione dai circuiti internazionali di distribuzione delle riviste scientifiche legate ad istituzioni culturali e non pubblicate da editori commerciali. L’aumento del numero delle citazioni non giustificate né dal riconoscimento di una priorità, né dall’esigenza di rendere più chiaro il testo (un aumento che rende tra l’altro molto difficile utilizzare lo SCI per i fini per i quali era stato creato). L’aumento di riviste specialistiche gestite da piccole comunità internazionali dedite alle reciproche citazioni, e poco interessate a confrontarsi con il resto della comunità scientifica.

16. L’aumento della pressione sui singoli ricercatori e sulle strutture scientifiche a pubblicare, anche in assenza di risultati scientifici significativi, al solo scopo di aumentare il proprio punteggio basato sullo IF. La perdita di vista del significato di una pubblicazione scientifica come mezzo per comunicare ad altri ricercatori i propri risultati e non solo come strumento per aumentare il proprio "punteggio". Il capovolgimento dei valori di buon senso nella scelta del mezzo di comunicazione dei propri risultati che dovrebbero essere diffusi negli ambiti dove possono essere più utili . L’acquisizione di un repertorio bibliografico costosissimo (lo SCI) e in molti casi inutile, in tutte le strutture di ricerche, al solo scopo di consentire a tutti una strategia di massimizzazione dello IF. L’asservimento delle scelte scientifiche e culturali delle comunità degli scienziati agli interessi venali delle grandi aziende editoriali e dell’ISI

17. Citation index: Misura la bontà di una pubblicazione dal numero delle volte che è stata citata in altri lavori pubblicati su riviste censite. Difficile da calcolare soprattutto per gli articoli di recente pubblicazione

18. indice h, combina la quantità degli articoli pubblicati con la loro qualità, determinando il numero N tra gli articoli pubblicati che  hanno almeno N citazioni ciascuno.  A scientist has index h if h of [their] Np papers have at least h citations each, and the other (Np - h) papers have at most h citations each. In other words, a scholar with an index of h has published h papers each of which has been cited by others at least h times.[3] Thus, the h-index reflects both the number of publications and the number of citations per publication.. The index works properly only for comparing scientists working in the same field; citation conventions differ widely among different fields

19. L’indice è definito in questo modo: “Un ricercatore con un indice pari a h ha pubblicato h lavori ricevendo almeno h citazioni ciascuno”. Per calcolare h si considerano tutte le pubblicazioni di un autore e le si ordinano sulla base delle citazioni ricevute. L’indice h è il numero d’ordine del lavoro (primo, secondo, terzo, e così via) pari al numero delle citazioni ottenute da quel lavoro. Ad esempio, supponiamo che un autore abbia scritto 10 lavori, il primo dei quali è stato citato 12 volte, il secondo 8 volte, il terzo 3 volte e i rimanenti non hanno ricevuto nessuna citazione. L’indice è pari a 3, cioè 3 lavori sono stati citati almeno 3 volte

20. indicatori bibliometrici e l’indice H • rilevanza e sul potere predittivo dell’indice H, introdotto da Hirsch nel 2005, che ha rapidamente trovato una notevole diffusione in diverse comunità scientifiche. • • L’indice H combina sinteticamente una misura di pura produttività (data dal numero delle pubblicazioni) con una di impatto scientifico (data dal numero delle citazioni) premiando in modo bilanciato entrambi gli aspetti dell’attività scientifica. • • Tuttavia il valore assoluto di H si dimostra dipendere in modo significativo dall’Area di ricerca, e anche dal settore particolare, a causa delle differenti dimensioni delle comunità scientifiche, delle modalità di organizzazione della ricerca, e anche dei differenti “stili” adottati nella compilazione delle bibliografie

21. Regola 1 : determinare di un settore di ricerca/studio sufficentemente piccolo da rendere ragionevoli i confronti tra diversi ricercatori operanti all’ interno di quel settore. Non ha molto senso confrontare i valori medi dell’ indice-h ottenuto ad esempio in una popolazione di scienziati che lavorano nei campi della matematica e della fisica.. Regola 2: è fondamentale fissare un database e rimanere all’ interno dello stesso database per effettuare confronti ragionevoli. Google Scholar è un data base gratuito, autoaggiornatesi, incompleto: copre meglio alcuni settori piuttosto che altri ma include anche le scienze umanistiche: copre soprattutto pubblicazioni in lingua inglese e non copre altrettanto bene i libri. ISI Web of Knowledge è un data base molto completo: non è gratuito: copre bene le materie scientifiche, meno quelle umanistiche. Una volta determinato quale data base usare occorre operare all’ interno di quello. Non c’è dubbio che l’ indice-h determinato con Google Scholar è diverso da quello determinato con ISI Web of Knowledge anche se una semplice analisi mostra che i due indici sono fortemente correlati. Regola 3 : la determinazione dell’ indice-h dipende dalla durata temporale all’interno della quale l’analisi è stata effettuata. Se si fissa un intervallo determinato (es. gli ultimi dieci anni) si introducono dei bias nei confronti di coloro che hanno lavorato maggiormente 15 o 20 anni fa. Viceversa fissando l’intervallo piu’ lungo possibile (es. gli ultimi 30 anni) si tendono a valutare maggiormente i lavori di persone che hanno lavorato nel passato e ora sono inattivi. Per questo motivo, analisi piu’ raffinate chiamano in causa diversi indici, che tengono conto anche della produttività annuale e della produttività in funzione di periodi piu’ o meno recenti. Ci sono varie programmi per determinare gli indici bibliometrici.

22. Michael_Nielsen points out that "...the h-index contains little information beyond the total number of citations, and is not properly regarded as a new measure of impact at all". There are a number of situations in which h may provide misleading information about a scientist's output:[8] The h-index is bounded by the total number of publications. This means that scientists with a short career are at an inherent disadvantage, regardless of the importance of their discoveries. For example, Évariste Galois' h-index is 2, and will remain so forever. Had Albert Einstein died in early 1906, his h-index would be stuck at 4 or 5, despite his being widely acknowledged as one of the most important physicists, even considering only his publications to that date. The h-index does not consider the context of citations. For example, citations in a paper are often made simply to flesh-out an introduction, otherwise having no other significance to the work. h also does not resolve other contextual instances: citations made in a negative context and citations made to fraudulent or retracted work. (This is true for other metrics using citations, not just for the h-index.)

23. The h-index does not account for confounding factors. These include the practice of "gratuitous authorship", which is still common in some research cultures, the so-called Matthew effect, and the favorable citation bias associated with review articles. The h-index is a natural number and thus lacks discriminatory power. Ruane and Tol therefore propose a rational h-index that interpolates between h and h+1.[11] . The h-index is affected by limitations in citation data bases. Some automated searching processes find citations to papers going back many years, while others find only recent papers or citations. This issue is less important for those whose publication record started after automated indexing began around 1990. Citation data bases contain some citations that are not quite correct and therefore will not properly match to the correct paper or author.

24. The h-index does not account for the number of authors of a paper. If the impact of a paper is the number of citations it receives, it might be logical to divide that impact by the number of authors involved. (Some authors will have contributed more than others, but in the absence of information on contributions, the simplest assumption is to divide credit equally.) Not taking into account the number of authors could allow gaming the h-index and other similar indices: for example, two equally capable researchers could agree to share authorship on all their papers, thus increasing each of their h-indices.

25. Molte strategie sono state proposte per affrontare queste critiche. • • Si può ovviare alle differenti caratteristiche delle comunità di ricerca grazie all’osservazione (Radicchi et al. 2008) che la distribuzione delle citazioni, se rapportata al numero medio di citazioni tipico di ciascuna specifica disciplina (o sottodisciplina), segue un andamento universale descritto da una curva di tipo log normale. • E’ anche possibile tener conto delle (talvolta grandi) differenze nel numero dei collaboratori che caratterizzano le differenti modalità di produzione scientifica, anche se la pura divisione per il numero N dei collaboratori appare impropria, e sarebbe invece necessario dividere per una potenza frazionaria di N, determinata empiricamente sulla base della dipendenza media da N dell’impatto delle pubblicazioni (misurabile attraverso la dipendenza da N del numero medio delle citazioni).

26. • Uno studio recente (Jensen et al. 2008) ha tuttavia mostrato (nel caso del CNRS francese), una significativa dipendenza dall’età dell’indice H normalizzato (ossia diviso per il numero di anni di carriera), che sfavorirebbe i giovani ricercatori, mentre la correlazione tra l’indice H e gli avanzamenti di carriera risulta non superiore al 50%. • Malgrado ciò H resta l’indicatore con il maggior potere predittivo, seguito dal numero totale delle pubblicazioni, mentre il numero delle citazioni (sia totale che medio per articolo) ha scarsissimo potere predittivo. • E’ bene ricordare anche un recente editoriale di Nature che esamina l’esperienza inglese del RAE (basato su peer review) e le proposte per il REF (successore del RAE), in cui gli indicatori bibliometrici dovrebbero giocare un ruolo importante. La conclusione ancora una volta sottolinea l’imprescindibilità del ruolo degli esperti valutatori

27. indice H dei fisici italiani • E’ stato avviato uno studio volto a esplorare in modo sistematico la produzione scientifica della comunità dei fisici (universitari) italiani (circa 3000 individui) mediante gli indicatori bibliometrici. • I risultati sono ancora molto preliminari, ma alcune dipendenze e alcune correlazioni risultano abbastanza significative. • La distribuzione di H è molto ben rappresentata da una distribuzione di tipo Gamma, fortemente asimmetrica rispetto al valore medio (H medio 14, H più probabile 6,5), e caratterizzata da una decrescita esponenziale della probabilità per alti valori di H (con coefficiente di decrescita 0,14). -

28. • La distribuzione di H è molto ben rappresentata da una distribuzione di tipo Gamma, fortemente asimmetrica rispetto al valore medio (H medio 14, H più probabile 6,5), e caratterizzata da una decrescita esponenziale della probabilità per alti valori di H (con coefficiente di decrescita 0,14).

29. La dipendenza dall’anno di nascita mostra una crescita costante per ordinari e associati (legata alla scarsa indicizzazione della produzione più remota e alla crescita nel tempo del numero medio di citazioni), mentre l’indice H dei ricercatori più giovani è decrescente, come d’altronde prevedibile a causa del limitato periodo di attività

30. L’indice H medio al reclutamento dei ricercatori è prossimo a 10, mentre il valore medio al reclutamento degli associati è superiore a H=15, e quello degli ordinari è prossimo a H=20.

31. La valutazione delle istituzioni scientifiche • Tutte le obiezioni che fondatamentalmente vengono sollevate nei confronti degli indicatori bibliometrici acquistano un peso molto più ridotto quando si affronta il tema della valutazione aggregata e comparativa delle istituzioni di ricerca. • Un’evidenza particolarmente significativa di tale affermazione è data dall’analisi effettuata da Cesareni (2007), che ha misurato l’indice H (collettivo) delle istituzioni di ricerca valutate dal CIVR per il periodo 2001-2003 e ha confrontato il risultato di tale misura con i punteggi attribuiti dal CIVR. La correlazione tra le due valutazioni è risultata essere 0,96. • Ovviamente la rapidità e l’economicità delle valutazioni basate su indicatori bibliometrici sono incomparabilmente maggiori, e quindi la valutazione mediante indici è da raccomandarsi per un monitoraggio frequente e sistematico che non influisca sui giudizi individuali

33. Valutazione CIVR Università Insubria scienze matematiche e informatiche, il punteggio è 0.90 in un range compreso tra 0.40 e 1.00 rispetto ad una media pari a 0.81 (3° su 27); scienze fisiche il punteggio è 0.95 in un range compreso tra 0.60 e 1.00 rispetto ad una media pari a 0.89 (7° su 27); scienze chimiche, il punteggio è 0.94 in un range compreso tra 0.20 e 1.00 rispetto ad una media pari a 0.81(4° su 26); scienze della terra, il punteggio è 0.80 in un range compreso tra 0.55 e 1.00 rispetto ad una media pari a 0.84(16° su 26); scienze biologiche, il punteggio è 0.84in un range compreso tra 0.64 e 0.93 rispetto ad una media pari a 0.82 (7° su 18); scienze mediche, il punteggio è 0.71 in un range compreso tra 0.62 e 0.86 rispetto ad una media pari a 0.76 (7° su 9); scienze storiche, filosofiche, psicologiche e pedagogiche, il punteggio è 1.00 in un range compreso tra 0.40 e 1.00 rispetto ad una media pari a 0.81(4° su 28); scienze giuridiche, il punteggio è 0.66 in un range compreso tra 0.61 e 0.85 rispetto ad una media pari a 0.76 (19° su 20); scienze economiche e statistiche, il punteggio è 0.77 in un range compreso tra 0.20 e 0.94 rispetto ad una media pari a 0.59 (7° su 23).

34. Legge 9 gennaio 2009, n. 1 "Conversione in legge, con modificazioni, del decreto-legge 10 novembre 2008, n. 180, recante disposizioni urgenti per il diritto allo studio, la valorizzazione del merito e la qualità del sistema universitario e della ricerca" Art. 2. Misure per la qualità del sistema universitario 1. A decorrere dall'anno 2009, al fine di promuovere e sostenere l'incremento qualitativo delle attività delle università statali e di migliorare l'efficacia e l'efficienza nell'utilizzo delle risorse, una quota non inferiore al 7 per cento del fondo di finanziamento ordinario [...], con progressivi incrementi negli anni successivi, e' ripartita prendendo in considerazione: a) la qualità dell'offerta formativa e i risultati dei processi formativi; b) la qualità della ricerca scientifica; c) la qualità, l'efficacia e l'efficienza delle sedi didattiche. 2. Le modalità di ripartizione delle risorse di cui al comma l sono definite con decreto del Ministro dell'istruzione, dell'università e della ricerca [...].

38. Ricerca su indece h area economica professori ordinari (www.lavoce.info) 696 ordinari delle discipline economiche L’indice h calcolato si riferisce a tutti i lavori censiti da Google Scholar ed eseguiti da tutti gli ordinari di economia; i lavori sono classificati esclusivamente sulla base del numero e della frequenza delle citazioni e non, come nel Civr, sulla base della “qualità, rilevanza e originalità” della ricerca

39. Tabella 2: Distribuzione dell’indice h per  ateneo

41. Spese per ricerca Univ. Insubria 2007

42. Avviare una valutazione delle strutture dell’Insubria mediante indice h Paragonare nelle diverse aree di ricerca la posizione dell’Insubria rispetto agli altri Atenei statali. Instaurare un sistema di revisori esterni che anche utilizzando gli indici biliometrici, forniscano un’accurata valutazione della qualità della ricerca

43. Indicatori di attività scientifica: premessa • Il C.U.N. avverte l’esigenza e condivide l’importanza di giungere alla definizione di indicatori di attività scientifica e all’individuazione di criteri condivisi e trasparenti di valutazione, ma ritiene opportuno premettere alcune considerazioni: • La promozione della qualità non può prescindere da un’autonomia responsabile degli Atenei nella valorizzazione del merito. • Altrettanto imprescindibile è la definizione di un quadro normativo certo e stabile entro il quale la valutazione concorra in modo importante all’attribuzione delle risorse e allo sviluppo delle carriere. • Gli indicatori forniscono una rappresentazione inevitabilmente sommaria e quantitativa dell’attività scientifica, e la formulazione di un giudizio qualitativo, soprattutto se riferito a singoli, richiede comunque la competenza di un collegio giudicante (referees, peer review) • Gli indicatori devono essere semplici, distinti per Aree disciplinari e condivisi dalle rispettive Comunità Scientifiche.