Place de la bibliométrie dans l’évaluation des établissements et des programmes de recherche Colloque Académie des scien

1. Place de la bibliométrie dans l’évaluation des établissements et des programmes de rechercheColloque Académie des sciences, 15 mai 2007 Bernard MEUNIER CNRS (1973-2006) et PALUMED (depuis février 2006)

2. Classement de Shanghai: horreur ou réalité ? • Qui aurait imaginer en 1970 que des chinois allaient se mettre au début des années 2000 à faire un classement des universités ! • Pas de surprise du côté des universités américaines, le classement chinois est en accord avec celui connu des américains (Harvard en n° 1, ensuite Stanford, Berkeley, MIT, Caltech, Columbia.....). • Pas de surprise en Grande-Bretagne : Cambridge est 2ième et Oxford 10ième. • ETH de Zürich est en 27ième position. • La première université française est en 45ième position (Paris-VI), suivi de Paris-XI (64ième), l’ULP de Strasbourg est 96ième et Normale Sup’ est 99ième (seulement 4 institutions françaises dans les 100 premières en 2006). • Le classement des universités françaises n’étant pas reluisant, • le milieu universitaire français rejette le classement de Shanghai...

3. D’où vient ce classement ? • De l’institut «Higher Education» de l’Université Jiao Tong de Shanghai (fondée en 1896).

4. Quel est le but recherché ? • Cet institut participe à la mise en place d’universités de classe mondiale en Chine. Pour cela, le gouvernement chinois a demandé d’établir un classement. Traduction (libre) de la dernière phrase : Le gouvernement chinois prend des mesures spéciales pour mettre en place des universités de classe mondiale.

5. Comment répondre au classement de Shanghai ? (1) • Certainement pas par le mépris(« par tradition la recherche française est excellente ! »). C’est à travers ces classements internationaux que la recherche française est perçue. • Nous devons éviter de nous replier sur nous mêmes au nom d’une nouvelle « exception à la française ». • Il suffit de regrouper les universités en grand blocs !Mauvaise réponse, le classement de Shanghai tient compte des effectifs …. • Plusieurs pays fournissent maintenant le chiffre de leur effectif d’enseignants-chercheurs à l’Université Jiao Tong.

6. Comment répondre au classement de Shanghai ? (2) • Nos multiples adresses de laboratoires et instituts sont une source de déclassement. A qui la faute ? Certainement pas aux autres ! • Pour un bon article sur nos adresses : voir N. Haeffner et al.,Nature, 438, 559 (2005). Utilisation du point-virgule ! • 80% des articles de l’INSERM dans le « Top 1% » des articles les plus cités sont perdus par analyse automatique, contre 0% pour l’Université d’Oxford. A qui la faute ?Notre incapacité à avoir des adresses simples nous conduit au record mondial du taux d’erreur ! • Recommandation :simplifier nos adresses et utiliser les notes en bas de page pour mettre tous les sigles et acronymes abscons !

7. La recherche française utilise-t-elle les outils bibliométriques ? • Oui, mais le plus souvent de la plus mauvaise manière possible : voir par exemple le rapport annuel de l’OST (Observatoire des Sciences et des Techniques). • Volonté de faire des moyennes insipides qui conduisent à un rapport annuel qui n’a aucun impact national ou international. • Pas de classement, rien qui puisse fâcher, juste des suites de chiffres sur le nombre total de publications, …….etc. • Les députés et sénateurs (ceux qui votent le budget recherche de la Nation) ne lisent pas les rapports de l’OST (par contre, ils lisent les journaux et connaissent le classement de Shanghai). • Recommandation : mettre en place des pratiques de bibliométrie de niveau international capables de conduire à des classements (revoir le fonctionnement de l’OST ?, que va faire l’AERES ?).

8. Quels sont les bons outils bibliométriques ? (1) • Mise en place des « bonnes pratiques ». • Transparence des études bibliométriques. • Evaluation des chercheurs. • Evaluation des équipes. • Evaluation des instituts. • Evaluation des disciplines. • Evaluation des organismes et universités. • Quelques propositions.

9. Quels sont les bons outils bibliométriques ? (2) • Mise en place des « bonnes pratiques ». • i) La bibliométrie demande un minimum de travail sérieux, ce n’est pas une succession de « clics ». Il faut avoir accès aux données brutes des bases pour ne pas perdre d’informations. • (gestion des adresses compliquées, des homonymies, …). • ii) Mise aux points d’outils et d’indicateurs adaptés. • iii) Mettre des éléments internationaux de comparaison. Eviter l’accumulation de tableaux sans aucun contenu discriminant. • iv) Ne pas oublier qu’il s’agit d’aide à la décision (la bibliométrie • n’est pas un outil de décision). • Transparence des études bibliométriques. • Il est essentiel de rendre public toutes les études de bibliométrie. • La communauté scientifique doit pouvoir réagir (corrections d’erreurs et sensibilisation).

10. Quels sont les bons outils bibliométriques ? (3) • - Evaluation des chercheurs. • Eviter d’utiliser la bibliométrie pour les jeunes chercheurs (pas avant 10 ans de carrière). Il faut choisir librement les sujets de recherche et pas ceux qui donnent des citations. • Utilisation du « point H » pour les seniors. Point H = nombre d’articles avec un nombre de citations ≥ H. Proposition de J. E. Hirsch (Department of Physics, UCSD) publiée dans PNAS, 102, 16569-72 (2005). Depuis janvier 2007, le point H est directement donné par le « Web of Science ». Difficile d’y échapper ! • Recommandation : 2 points H, H10 (les 10 dernières années) ou H25 (les 25 dernières années).

11. Quels sont les bons outils bibliométriques ? (4) • - Evaluation des équipes. • Faire le point H moyen de l’équipe (utilisé à l’Inserm). • Nombre d’articles (ou % d’articles) publiés dans le Top 10% de la spécialité. • - Evaluation des instituts. • Liste des points H des seniors : la comparaison des bouquets de points H est très significative (utilisé pour les RTRA). • Nombre d’articles (ou % d’articles) publiés dans le Top 1% (ou Top 3%) de la spécialité.

12. Quels sont les bons outils bibliométriques ? (5) • - Evaluation des disciplines. • Taux de citations par articles avec des comparateurs internationaux (il est important de travailler sur les données brutes pour de pas oublier des publications françaises). • Exemple : classement par nation pour lamaladie d’Alzheimer (1992-2002). • Rang Nation tot. citations tot. articles citat./art. rang/cit-art • USA 179363 9009 19,91 3 • England 26118 1589 16,44 6 • Canada 21928 969 22,63 1 • Germany 18966 1260 15,05 9 • Japan 18699 1264 14,79 10 • France 11442 753 15,20 8 Au classement citations/article, la Belgique est n°2, l’Ecosse n°4, la Suède n°5 et les Pays-Bas n°7.

13. Quels sont les bons outils bibliométriques ? (6) • - Evaluation des organismes et universités. • Utilisation de plusieurs indicateurs avec des comparateurs internationaux pour valider et permettre des comparaisons justifiées. • Le nombre total de publications ou de citations ne sont pas de bons indicateurs. Utilisation des taux de citations par articles comme pour les disciplines. La qualité doit primer sur la quantité. • - Comparaison Inserm/MRC/NIH (Les Echos du 4 avril 2007) Institutiontaux de citations par article (1996-2006) NIH (USA) 28,9 MRC (Grande-Bretagne) 29,8 Inserm 18,8 Ne pas faire des comparaisons entre Cochin et l’Inserm …

14. Le « Web of Science » doit être accessible à tous les chercheurs et enseignants-chercheurs en France. • Il est important d’agir dans la transparence. • Le « Web of Science » est accessible, dans des versions plus ou moins étendues, dans certaines universités françaises ou organismes. • De nombreux pays ont opté pour un abonnement national permettant à tous les chercheurs d’avoir accès à la même version : c’est le cas du Brésil depuis 1990, de l’Espagne et du Portugal depuis 2002-2003. • La France est toujours en discussion depuis 3 ans avec ISI-Thomson ! Il est urgent de conclure un accord et de permettre à tous d’accéder à cette base de données. De plus, le « Web of Science » est un outil de bibliographie très efficace pour suivre l’évolution des nouveaux sujets. • PS. Merci à Nicole Haeffner-Cavaillon et à Marc Ledoux pour de fructueuses discussions.