Séminaire EHESS

1. Séminaire EHESS Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

2. Introduction La Grande-Bretagne est une référence en matière d’enseignement supérieur et de recherche fondamentale en Europe.

3. Top 10 Countries in the World – Nobel Prizes in Science 1951 to 2003

4. Universités Dans le classement de Shanghai de 2004, parmi les 25 premières universités classées, on trouve 19 universités américaines (dans l’ordre Harvard, Stanford, Berkeley, MIT, CalTech, Princeton, Columbia, Chicago, Yale, Cornell, etc.), 4 universités anglaises (Cambridge 3ème, Oxford 8ème, Imperial College London, University College London) et 2 universités japonaises (Tokyo 14ème, Kyoto 21ème).

5. Productivité • Moins de 6 chercheurs pour mille emplois (7,5 en France) • Part mondiale de la Grande-Bretagne dans les publications scientifiques supérieure à 8 % (5 % pour la France), avec une très bonne fréquence de citations. • Ces performances sont supérieures aux nôtres pour un PIB comparable - avec une dépense totale moindre (1,8 % contre 2,2%) - avec une part de financement public inférieure (36 % au lieu de 39 %).

6. Les positions britanniques sont très fortes dans les sciences de la vie ainsi qu'en opto-électronique. En matière de brevets, la Grande-Bretagne a une position comparable à la France, et est nettement surclassée par l’Allemagne.

7. La Grande-Bretagne concilie un système d’universités publiques très autonomes, avec un pilotage étatique souple, d’une très grande lisibilité. Il est intéressant d’analyser le système britannique car il comporte un dispositif d’allocation des crédits récurrents qui peut être mis en parallèle avec notre « contrat recherche »

8. Structure des universités • L’Angleterre compte 131 établissements d’enseignement supérieur, dont 77 universités. • Chaque université a son organisation propre, mais on retrouve partout les mêmes principes d’organisation. • L’université est présidée par un « chancellor » qui a un rôle honorifique. • Elle est dirigée par le « vice-chancellor » qui est un « professionnel » du management universitaire. Nommé par le « University Council » après consultation du « University Senate », pour une période renouvelable, il négocie son salaire.

9. University Council  C’est l’organe dirigeant de l’université du point de vue de la stratégie (consultation du « Senate » pour les aspects académique), du management et des finances. De taille réduite (25-30 membres), la communauté universitaire y est représentée (y compris les étudiants) mais de façon minoritaire. University Senate Présidé par le vice-chancellor, il est compétent pour les affaires académiques  (recherche, enseignement) et fait des recommandations au « university council ».

10. Université de Sheffield • University Council : The ChancellorThe Pro-ChancellorsThe TreasurerThe Vice-Chancellor The Pro-Vice-Chancellors The Chairman of ConvocationOne Person Elected by ConvocationThirteen Persons Appointed by the CouncilTwo Deans of the FacultiesFive members of the Senate elected by the SenateTwo Officers of the Union of Students One person to be elected by and from the employees of the University who are not members of the academic or academic related staff.

11. Université de Sheffield • University Senate : C’est une instance nombreuse qui comprend, outre l’équipe de direction, les doyens de facultés (7) , les chefs de départements (58), et des représentants élus des professeurs (28) et des étudiants (15).

12. Système de financement de la recherche • Financement structurel de l’enseignement supérieur et de la recherche, assuré par les « Higher Education Funding Councils » pour l’Angleterre (HEFCE), l’Ecosse (SHEFC), le Pays de Galles (HEFCW), et l’Irlande du Nord (DENI). • Financement sur projets par des agences sectorielles (« research councils ») qui dépendent de l’OST (« Office of Science and technology »), lui-même rattaché au ministère de l’Industrie et du Commerce. L’OST est dirigé par le « Chief Scientific Adviser » du gouvernement.

13. Higher Education Funding Council for England (HEFCE) • Créé en 1992, il a compétence sur l’ensemble des universités et des instituts polytechniques d’Angleterre (devenus universités). • Dirigé par un Conseil (« Board ») d’une vingtaine de membres (scientifiques mais aussi industriels) nommés par le ministre de l’Education (« Secretary of State for Education ») sur proposition conjointe de la Direction de l’Enseignement (« Department for Education and Skills ») et du HEFCE. Les positions font l’objet d’une publicité.

14. HEFCE • Il comprend 5 comités principaux dont celui de la recherche. • Le HEFCE finance les dépenses d’infrastructure de la recherche, les bibliothèques et les équipements informatiques collectifs. • Le financement comprend le soutien de base, mais aussi des fonds pour la formation doctorale et l’émergence de nouveaux sujets. Il a vocation à être complété par les financements sur projets distribués par les agences.

15. HEFCE • Il s’appuie essentiellement sur les évaluations du « Research Assessment Exercise » (RAE) qui est une campagne d’évaluation de la recherche universitaire conduite, jusqu’ici, avec une périodicité variable, dans l’ensemble du Royaume-Uni. • Le premier RAE date de 1986, suivi d’autres en 1989, 1992, 1996 et 2001. • Le budget recherche du HEFCE en 2004-2005 est de 1.081 M£. Il se répartit entre - Crédits distribués en fonction de l’évaluation par le RAE (« Quality-related funding ») : 1.061 M£ (98%) - Crédits destinés à l’émergence (« Research capability funding ») : 17 M£

16. HEFCE • Les dotations de QR funding distribuées par le HFCE sont calculées à partir des notes attribuées par le RAE à chaque département. Elles sont ensuite globalisées au niveau de chaque université qui répartit sa subvention comme elle l’entend. • Les notes délivrées par le RAE sont sur une échelle 1, 2, 3b, 3a, 4, 5, 5*. • Les départements de recherche qui ont obtenu une note inférieure à 4 ne reçoivent aujourd’hui aucun QR funding.

17. HEFCE • En 2004-2005, les coefficients de pondération suivants sont appliqués en fonction des notes : Notes : 3b 3a 4 5 5* Coefficients : 0 0 1 2,793 3,362 http://www.hefce.ac.uk/research/funding/QRfunding/ • Le « Research Capability Fund » (17 M£ en 2004-2005) est destiné à soutenir des recherches émergentes dans de nouveaux domaines où la recherche de base n’est pas aussi forte que dans les domaines bien établis.

18. Research councils • - Biotechnology & Biological Sciences Research Council (BBSRC) • - Council for the Central Laboratory of the Research Councils (CCLRC) • - Engineering & Physical Sciences Research Councils (EPSRC) • - Economic & Social Research Council (ESRC) • - Medical research Council (MRC) • - Natural Environment Research Council (NERC) • - Particle Physics & Astronomy Research Council (PPARC) • - Arts & Humanities Research Board (AHRB)

19. Research Assessment ExerciseRAE 2001 • La recherche est classée en 68 domaines d’évaluation (« units of assessment ») avec pour chacun un comité composé d’universitaires plus quelques représentants du secteur des entreprises. • Un comité comprend de 9 à 18 membres. La moitié des comités a institué des sous-comités. • Les comités et sous-comités font appel à des experts extérieurs, notamment étrangers. • Publicité des méthodes de travail des comités.

20. RAE 2001Désignation des comités • Les HEFC désignent les présidents des comités, puis les membres de chaque comité sur avis de son président, parmi les propositions émanant d’un grand nombre d’organisations (sociétés savantes, associations scientifiques ou professionnelles, monde industriel,..). .

21. RAE 2001Procédures • Chaque établissement présente des dossiers, département par département, dans autant de domaines qu’il veut. • Ces dossiers ont une forme standard. Ils comprennent une liste des « chercheurs actifs » avec 4 publications (au plus). • La liste des chercheurs présentés est laissée à l’initiative de l’université, mais indique quelle proportion de l’effectif du département cela représente. • Notes attribuées : 1, 2, 3a, 3b, 4, 5, 5*

22. Bilan RAE 2001 • Dans le RAE 2001, 80% des départements ont obtenu une note 4, 5 ou 5*, et 55% ont obtenu 5 ou 5* • La part de chercheurs actifs classés 4, 5 ou 5* est passée de 43% en 1996 à 64% en 2001. • Coefficients de pondération pour le financement 1997-98 basé sur le RAE de 1996 : Notes : 3b 3a 4 5 5* Coefficients : 1 1,5 2,25 3,375 4,05 • Coefficients de pondération pour le financement 2002-03 basé sur le RAE 2001 : Notes : 3b 3a 4 5 5* Coefficients : 0 0,31 1 1,89 2,71

23. Bilan RAE 2001 • Coefficients de pondération pour le financement 2002-03 basé sur le RAE 2001 : Notes : 3b 3a 4 5 5* Coefficients : 0 0,31 1 1,89 2,71 • Coefficients de pondération pour le financement 2004-05 basé sur le RAE 2001 : Notes : 3b 3a 4 5 5* Coefficients : 0 0 1 2,793 3,362

24. Bilan RAE 2001 • Les HEFC maîtrisent complètement le « cahier des charges » du RAE. • Ils déterminent ce que seront les unités d’évaluation (« units of assessment ») et comment la qualité de la recherche sera évaluée. • Ces indications sont publiées avant le démarrage du RAE. • Les HEFC maîtrisent aussi la clé de répartition des crédits en fonction de l’évaluation. Mais elle est publiée après le RAE.

25. Critiques du RAE • Disproportion entre la quantité de temps et de travail qui y est consacrée et le financement supplémentaire éventuel correspondant à l’évaluation. • Le RAE tel qu’il a fonctionné a effectivement contribué à développer la culture du management de la recherche dans les universités. Mais aujourd’hui il a des effets pervers (distorsions et lourdeurs). • C’est l’évaluation et ses règles qui dicte la politique, et pas les objectifs scientifiques eux-mêmes.

26. Critiques du RAE • On peut se demander si la « peer review » est réellement indispensable au niveau de l’évaluation nationale. Une grande partie du financement pourrait être attribué en fonction des indicateurs, le détail des attributions étant laissé à l’université. • Critique du processus de concentration induit par le RAE. • Critique de la rationalité qui consiste à financer la recherche séparément de l’enseignement.

27. Rapport Roberts • Un comité présidé par Sir Gareth Roberts a procédé à un audit et a formulé des propositions de réforme du RAE. • Rapport produit en mai 2003 qui a été l’objet d’une large consultation dans les universités et d’un vaste débat national. http://www.ra-review.ac.uk/

28. Rapport RobertsRecommandations • L’évaluation doit se baser sur le jugement d’experts qui peuvent utiliser des indicateurs. • Evaluation tous les six ans avec un mi-parcours de portée limitée. • Séparer l’évaluation de la qualité de la recherche de l’évaluation stratégique. (« competences assessment») • Moduler l’importance de l’évaluation en fonction des enjeux.

29. Rapport RobertsRecommandations • On distinguerait trois catégories : - Les institutions les moins actives en recherche : modalités d’évaluation particulières déterminées par les HEFC. - Les départements les moins compétitifs des autres établissements : application de critères automatiques (« Research Capacity Assessment » RCA). - Départements les plus compétitifs : véritable évaluation par des experts (« Research Quality Assessment » RQA). • Les institutions choisiraient de soumissionner au RCA ou au RQA suivant les domaines.

30. Rapport RobertsRecommandations • Remplacer les notes par un « profil de qualité » (« quality profile ») des départements. • Une organisation un peu différente des comités d’évaluation : - 4 à 5 super comités chargés de superviser la constitution des comités et leur fonctionnement. - 20 à 25 comités responsables de l’évaluation. - 60 à 70 sous-comités dans lesquels se fait une part importante du travail effectif. • - Les comités doivent fixer des critères qui prennent en compte l’excellence de la recherche appliquée.

31. Réforme du RAERAE 2008 • Le principe du RAE a été réaffirmé, avec des modifications limitées qui s’inspirent d’une partie seulement des recommandations du rapport Roberts. • La périodicité sera désormais de 6 ans. Le prochain RAE est prévu en 2008. • Le RAE est toujours basé sur un examen de dossiers par des experts, piloté par 15-20 comités disciplinaires, s’appuyant sur 70 sous-comités. • Il n’y aura pas d’évaluation séparée des « research competences »

32. Réforme du RAERAE 2008 • Des dispositions seront adoptées pour donner le poids qu’il convient à la recherche appliquée, ainsi qu’à l’émergence et à l’interdisciplinarité. • Les comités s’appuieront sur des indicateurs quantitatifs. • Allègement de la charge de travail (les dossiers ne feront toujours mention que de 4 publications au plus par chercheur)

33. Réforme du RAERAE 2008 • Le résultat ne sera plus une note globale, mais un profil de qualité (« quality profile ») pour chaque département, qui consiste à classer les chercheurs en 4 niveaux, en indiquant les proportions de chercheurs aux différents niveaux. • Les unités d’évaluation sont les mêmes que pour le RAE 2001. Mais chaque unité aura son sous-comité. • Les comités principaux contrôlent les critères et les méthodes de travail des sous-comités. Ils décident des profils de qualité à attribuer à chaque département examiné.

34. Réforme du RAEComposition des panels • Les présidents et les membres des comités et sous-comités sont désignés par les directeurs des quatre HEFC. • Les présidents de comités seront choisis sur la base de candidatures, après publicité. • Les autres membres de chaque comité seront désignés sur avis du président, parmi des personnalités nominées par une grande variété d’organisations. • Les présidents de sous-comités seront choisis en concertation avec les présidents du comité principal dont ils dépendent, parmi la liste des «nominés ». • Les présidents de sous-comités, conjointement avec les présidents des comités dont ils dépendent, proposeront la désignation de leurs membres, pris dans la liste des « nominés ».