Outils pour l’évaluation de la recherche scientifique

1. Outils pour l’évaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

2. Processus d’évaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses B. Bénichoux - 25 juin 2010

3. Processus d’évaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses B. Bénichoux - 25 juin 2010

4. Vous avez dit « évaluation » ? • Pour quoi ? • Validation du travail scientifique • Place de la recherche française • Rôle des universités • Par qui, pour qui ? • LOLF, l’AERES • Les organismes de recherche, les universités • Le grand public B. Bénichoux - 25 juin 2010

5. De quoi ? • Des chercheurs, • Des publications, • Des établissements • Comment ? • Les experts • Les indicateurs bibliométriques B. Bénichoux - 25 juin 2010

6. La LOLF • Loi Organique relative aux Lois de Finances • Nouveau cadre de gestion de l’administration • Janvier 2006 • Introduction d’objectifs et d’indicateurs de performance B. Bénichoux - 25 juin 2010

7. B. Bénichoux - 25 juin 2010

8. L’AERES • Evaluation des établissements d’enseignement supérieur et des organismes de recherche « … sur la base de critères objectifs » • Établissements • Activités de recherche • Formations • Procédures d’évaluation B. Bénichoux - 25 juin 2010

9. L’AERES Pertinence recherches, Qualité des résultats Impact international, Prise de risque Qualité et quantité des publications Thèses encadrées Logiciels, brevets Diffusion de la connaissance, Obtention de contrats Notoriété, attractivité du laboratoire Relations internationales, Invitations, Prix ou distinctions, Contrats nationaux, Organisation de congrès, Comités éditoriaux, Instances d’évaluation, Post-doctorants. • Experts • 4 niveaux de notation… • … sur 4 critères • Qualité scientifique • Rayonnement • Stratégie , vie du laboratoire • Appréciation du projet • Et une note globale • Chercheurs et enseignants-chercheurs • Nombre de publications • Autres indicateurs Vitalité de l’unité, Animation scintifique Incitation aux échanges Politique recrutement ouverte, Enseignement supérieur, Insertion dans l’environnement. Cohérence, Potentiel humain, Affectation de moyens, Politique prévisionnelle B. Bénichoux - 25 juin 2010

10. Organismes de recherche • Décret de 1983 • Instances • Principe de collégialité • Disciplinaire • Organisation • Rythme biennal ou quadriennal B. Bénichoux - 25 juin 2010

11. Documents demandés • Chercheurs du CNRS : • compte-rendu annuel d’activités • rapport d’activité détaillé tous les deux ans • objectifs de recherche, tous les 4 ans • mise à jour de la liste des publications tous les deux ans • Au niveau collectif : • Informations administratives • Informations scientifiques B. Bénichoux - 25 juin 2010

12. Activité scientifique Objectifs et intérêt du projet Rayonnement Diversité Activités d’animation et de valorisation Direction de recherches Enseignement Production scientifique  indicateurs bibliométriques et autres Collectif Idem + organisation interne Critères B. Bénichoux - 25 juin 2010

13. Conséquences • Pour le chercheur • Recommandations écrites • Primes • Promotion • Pour le collectif • Recommandations … • … si évaluation négative  diminution des moyens, non renouvellement, fusion B. Bénichoux - 25 juin 2010

14. En général … • Activités de recherche : Résultats, collaborations, publications (nb, qualité, impact), innovation des thèmes et procédures de recherche • Activités de valorisation : brevets, contrats • Activités de gestion : animation d’équipe, direction de projets, réponses à appels d’offre • Diffusion de la culture scientifique : Enseignement, direction thèses, expertises • Mobilité thématique et géographique B. Bénichoux - 25 juin 2010

15. Processus d’évaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses B. Bénichoux - 25 juin 2010

16. Qualité de l’enseignement supérieur • Un mouvement international… • Processus de Bologne • UNESCO, OCDE, Banque Mondiale  Guide de bonnes pratiques, Lignes directrices… • … avec des répercussions nationales B. Bénichoux - 25 juin 2010

17. Une multitude de classements • Classements internationaux • Shanghaï • THES (Times Higher Education Supplement) • Les autres • Généraux : Newsweek, Ecole des Mines de Paris • Par discipline : Shanghaï, THE, management • Objets particuliers : webometrics • Classements régionaux • CHE (Allemagne), CWTS (Leiden) • Classement européen • Classements nationaux • US News and World Report • Maclean’s (Canada), La Repubblic (Italie), Excelencia (Spain)… B. Bénichoux - 25 juin 2010

18. Shanghaï • 2003, Thomson • Critères • Anciens étudiants ayant reçu un prix Nobel ou la médaille Fields 10% • Membre de l’équipe universitaire ayant reçu… 20% • Nombre de chercheurs parmi les plus cités 20% • Articles publiés dans Nature ou Sciences 20% • Articles indexés dans WoS 20% • Résultats rapportés à la taille de l’institution 10% B. Bénichoux - 25 juin 2010

19. B. Bénichoux - 25 juin 2010

20. 1° : Harvard 2° : Stanford 3° : Berkeley 4° : Cambridge, UK 5° : MIT 40° : Paris 6 P.et M. Curie B. Bénichoux - 25 juin 2010

21. Shanghaï - critiques • Hétérogénéité des indicateurs • Périodes différentes • SHS n’ont pas le critère N&S • Biais des données de base : affiliations, langue, couverture, DT • Nobel • Critères redondants • Parution annuelle B. Bénichoux - 25 juin 2010

22. THES-QS • Depuis 2004, Times Higher Education Suppl., Quacquarelli Symonds • Grand public. Comparaison internationale des universités  mobilité des étudiants • Indicateurs • Qualité de la recherche : peer review 40%, nombre de citations 20% • Qualité de l’enseignement : ratio étudiants/enseignants (20%), recrutement 10% • Ouverture internationale : enseignants (5%) et étudiants (5%) étrangers B. Bénichoux - 25 juin 2010

23. B. Bénichoux - 25 juin 2010

24. 1° : Harvard, US 2° : Cambridge, UK 3° : Yale, US 4° : Univ College London 5° : Imperial College London 28° : Ecole Nationale Supérieure B. Bénichoux - 25 juin 2010

25. THES - critiques • Collecte des données • Prédominance de la langue anglaise • Universités mondiales… sauf pays en développement ! • Améliorations constantes • Normalisation des scores • WOS  Scopus (couverture plus large…) B. Bénichoux - 25 juin 2010

26. Paris Tech - Mines • Classement professionnel • Anciens étudiants qui occupent poste n°1 dans une des 500 plus grandes entreprises internationales B. Bénichoux - 25 juin 2010

27. 1° : Tokyo 2° : Harvard 3° : Stanford 4° : Waseda, Japon 5° : Séoul B. Bénichoux - 25 juin 2010

28. Webometrics • Mesure de l’activité scientifique sur le web  visibilité • Soutient l’open access, les PVD • Classe 4000 universités et 1000 organismes de recherche • Public visé : autorités universitaires, membres décideurs • Résultats : • Bons pour les établissements de recherche • Moins bons pour les universités B. Bénichoux - 25 juin 2010

29. Webometrics, critères • « World Ranking » • S (size) : nombre de pages 20% • V (visibility) : liens entrants 50% • R (rich files) : diversité des formats de fichiers 15% • Sc (Scholar) : référencement GS 15% B. Bénichoux - 25 juin 2010

30. B. Bénichoux - 25 juin 2010

31. 1° : MIT 2° : Harvard 3° : Stanford 4° : Berkeley 5° : Cornell 129° : Université Paris 6 Pierre et Marie Curie B. Bénichoux - 25 juin 2010

32. Leiden rankings • 1000 universités européennes qui ont plus de 700 publications/an dans le WOS • Indicateurs du CWTS • Résultats différents en fonction des critères B. Bénichoux - 25 juin 2010

33. Universités européennes B. Bénichoux - 25 juin 2010

34. Et il y en a d’autres… • SCImago institutions rankings • The Carnegie classification of institutions of higher education, Stanford • Performance ranking of scientific papers for world universities, Taïwan • US News and World reports • Echelle de Vincennes • Classement par dominance • …. B. Bénichoux - 25 juin 2010

35. SCImago institutions rankings B. Bénichoux - 25 juin 2010

36. B. Bénichoux - 25 juin 2010

37. On y pense…. • Valérie Pécresse • Commission Européenne  classement • Pluridemnesionnel • Indépendant • Transparent • D’ampleur mondiale • CHERPA • Contextes • Institutions comparables • Classements par disciplines B. Bénichoux - 25 juin 2010

38. Processus d’évaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses B. Bénichoux - 25 juin 2010

39. Bibliométrie • Bibliométrie : « Application de méthodes mathématiques et statistiques aux livres et autres moyens de communication » Pritchard (1969) • Postulat : la recherche scientifique est la production de connaissance, la littérature scientifique en est la matière constitutive B. Bénichoux - 25 juin 2010

40. Bibliométrie • Résultats • Indicateurs • Comptage des publications  Quantité • Comptage des citations  Performance • Comptage des co-citations  Connexion entre les chercheurs ou les domaines de recherche • Objectifs • Cognitifs • Opérationnels B. Bénichoux - 25 juin 2010

41. Création des indicateurs • Création d’un corpus d’analyse • Reformatage • Sélection des données • Traitements • À partir de sources existantes ou non • Utilisation des indicateurs existants ou création d’indicateurs « home made » B. Bénichoux - 25 juin 2010

42. Sources • Couverture • Taille du corpus • Identification auteurs et affiliations • Erreurs de typographie, longueur des articles, nombre de coauteurs, de références citées…. • Définition des disciplines B. Bénichoux - 25 juin 2010

43. Citations • « impact » • « reward/rhetorical » • Des parasites… • auto-citations • non cités • « over citation » Impact n’est pas corrélé avec la qualité, mais avec la visibilité B. Bénichoux - 25 juin 2010

44. Pourquoi cite-t-on ? • Citations négatives • Consensus social • Prestige • Diffusion • Conventions de citations • Linguistique En quoi tous ces facteurs sont-ils liés à la qualité de l’article ? B. Bénichoux - 25 juin 2010

45. Soyons prudents ! • Illusion de la métrique • Erreurs de mesure • Manipulation • Technique monopolistique • Vision partielle B. Bénichoux - 25 juin 2010

46. Pour beaucoup … « any number beats no number » M. Zitt : «  si la scientométrie est un miroir de la science en action, alors la responsabilité des scientométriciens est de polir ce miroir et de prévenir des illusions d’optique » B. Bénichoux - 25 juin 2010

47. Les indicateurs sont souvent“misunderstood, misinterpreted, misused ” • Aucun indicateur ne devrait être utilisé seul • Les indicateurs doivent être utilisés par des personnes compétentes • La réalité est trop complexe pour être mesurée en nombres et statistiques B. Bénichoux - 25 juin 2010

48. Processus d’évaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses B. Bénichoux - 25 juin 2010

49. Les indicateurs Facteur d’impact, SJR, Eigen factor score, Y factor, Journal cost-effectiveness, facteurs d’usage, SNIP, … Nb d’articles ou brevets Nb de citations nb cit/article, Article Influence Score H index, m index, g index, Field normalized citation score, Journal normalized citation score,… • Quantitatifs • La revue • Le chercheur ou l’institution • Qualitatifs • En amont  peer review • En aval  commentaires, blogs, récompenses, prix, invitations B. Bénichoux - 25 juin 2010

50. Comptage des publications • A partir des bases de données bibliographiques et/ou de la structure évaluée • Mesure simplifiée et approximative de la production • Indicateurs dérivés  analyse de la productivité • Surtout valable pour des chiffres élevés • Brevets • Co-publications chercheurs B. Bénichoux - 25 juin 2010