Contexte de la production et de l’évaluation scientifique

1. Contexte de la production et de l’évaluation scientifique Avril-2008 Gabriel Gallezot

2. Plan • Usage de l’IST par les chercheurs • La communication Scientifique • L’évaluation scientifique • … vers une appropriation profonde « du numérique »

3. Bases Bibliographiques Banques de données Revues, ouvrages Colloques Archives Ouvertes Editeurs, agrégateurs Site web, page perso, blog Liste de discussion Bibliothèques Usage de l’information Rechercher: IR/épistémè … Les ressources Types de documents Formats de documents Modalités d’accès aux documents

4. Communication Scientifique(schéma dia suivante) • un processus au cœur de la recherche • le chemin "traditionnel" qu'emprunte l'IST • Montre les types de doc et les statuts des doc Schéma bouleversé par • l’accès réseaux • prod. numérique • les entrepôts numériques --> en terme rapidité et spectre documentaire

5. Communication scientifique modèle 70’ Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 2020

6. Contexte de la recherche Cycle de l’information (usage de l’information et production de résultats)‏ Communication scientifique (diffusion des résultats)‏ Acteurs : Pairs Editeurs Cycle de publication (chaîne éditorial)‏ La question de l’évaluation

7. Evaluation pour la publication…Evaluation qualitative : a priori, le peer reviewing, … • Auto-évaluation • Collègues de labo (évaluation)‏ • Direction de N° (guest éditor) ou d’ouvrage (sélection/évaluation)‏ • Comité de rédaction (sélection)‏ • Comité scientifique (évaluation)‏ • Editeur (évaluation/correction)‏ • Lecteur (évaluation)‏

8. … Publication pour l’évaluationEvaluation quantitative : a posteriori, la bibliométrie • Garfield et le Science Citation Index (SCI) de l’Institute for Scientific Information (ISI)‏ • STM/SHS : JCR et JCR-SS. • OST (bases de l’INIST et WoS) • Classement de Shanghai (WoS) • Instances institutionnelles (CNU, Université, ministère, …) Et … d’autres formes d’évaluation (enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…

9. Evaluer l’activité “recherche” ? • Pour le pilotage (DGES, Univ, …) : orientation de la prod sc., incitations liées à la com. sc. • Comment ?  Une réponse : publication (article de revue) et valeur de cette publi. par la mesure des citations “reçues” par d’autres publications (bibliométrie)  Un modèle dominant (STM) et quasi monopole de l’analyse (ISI)

10. Quel(s) réfentiel(s) ? • Bases de données françaises > question de l’indexation de “toutes” les revues. • Diversités des instances “évaluatrices” (CNU, Université, OST, EPST, ANR, PCRD …) • … d’autres formes d’évaluation ponctuelles ou en émergences : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar… Examen des critères d’évaluation • Examen des sources disponibles comme référent(s) possible(s) des instances d’évaluation

11. l’Institute for Scientific Information (ISI) • Garfield : le Science Citation Index (SCI) et le Journal Citation Report (JCR et JCR-SS) • 1960, Science Citation Index (SCI) pour l’évaluation des auteurs, • 1975 , Journal Citation Reports (JCR) pour celle des revues . • en 2004, env. 6000 pour le JCR et 1700 JCR-SS => seulement 8000 revues indexées > où sont les 20 000 (env.) autres revues ? • Pb de réfentiel : articles uniquement, indexation limitée de revues • Pb de calcul : 1er auteur jusqu’en 1997, impact factor sur 2 ans seulement, périodicité des revues, existence de 5 ans pour les nouvelles revues • L’ISI à créer un « espace cooptatif quasiment tautologique » Source : Manuel Durand Barthez

12. Facteur d’impact • ISI calcule le facteur d’impact d’une revue de la façon suivante: Le nombre total de citations faites en 2004 d’articles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total d’articles publiés au cours des deux années précédentes 1630 523 • Citations en 2004 d’éléments publiés en 2003 et 2002 • Nombre total d’articles publiés en 2003 et 2002 3.117 = Source : ISI thomson

13. Classement de Shanghai • sensibiliser le monde universitaire à son positionnement international (dynamique) • Calculé sur les données du WoS qui présentent déjà de nombreux biais (notamment la langue, type de doc) • Ne tient pas compte de la taille de l’institution • Pb multiples liés à l’affiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …)

14. Les critères de l’OST (1) Observatoire des Sciences et des Techniques • OST: un GIP (1990), mandaté par la DGES pour “fournir annuellement à chacun des Ets d'enseignement supérieur des indicateurs décrivant sa production scientifique et technologique [et ainsi] de connaître, sur une base quantitative, sa position dans l'espace français, européen et mondial” • Expérimentation déjà menée dans les Sciences de la matière et de la vie, poursuite en 2007 pour tous les Ets. • Tests en 2007 pour les SHS • 3 axes d’indicateurs : • la production scientifique mesurée par les publications • la production technologique mesurée par les brevets • la participation aux programmes européens de R&D

15. Les critères de l’OST (2) • Sources des données : recherche des références dans le Web Of Science (WOS)de Thomson Scientific : “intègre les données issues du dépouillement intégral d’environ 7 000 journaux sélectionnés sur la base de leur fonctionnement éditorial et de leur visibilité internationale.” • La mesure de la production scientifique mobilise plusieurs indicateurs : • Des indicateurs de volumes, directement liés à la taille, • Des indicateurs de caractérisation, indépendants de la taille. • La mise à jour de la base s’effectue annuellement. • Le périmètre est le suivant : • Repérage effectué par laboratoire reconnu dans le contrat quadriennal, • Repérage effectué « en ligne » entre le 01/03/2007 et le 15/04/2007 • Repérage des publications sur 2003/2004/2005. • La pertinence de l’exploitation de la base de données des publications pour les domaines des SHS sera testée au cours de l’année 2007

16. http://www.cwts.nl/hm/bibl_rnk_wrld_univ_full.html

17. Appropriation du « numérique » (re)penser • le cycle de l’info • la communication scientifique • l’évaluation de la recherche

18. eScienceun exemple : La recherche « in silico » • Dialectique entre la technique , la production de savoir et sa diffusion • Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès) • Gain de productivité ? (bouclage rapide du cycle) • Gain de créativité ? (tertiarisation documentaire)

19. Production scientifique et Compartimentation des savoirs • Spécialisation de la R • Évaluation de la R => accroissement de la Pub. Sc. (données, textes, revues, etc)‏ Il faut : • Mieux connecter • Mieux partager • Ouvrir le spectre documentaire • La KDD D’après Swanson (1986)‏

20. Communication scientifique modèle 2020 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 1970

21. Nouveaux modèles de publication ? L’auto-publication sur web perturbe le modèle traditionnel de la publication • Accessibilité (relation auteur/lecteur, hébergements)‏ • D’autres visibilités (couverture et calculatoire)‏ • D’autres formes d’évaluation (liens, hits, moteurs, CiteSeer, Opcite…IRRA)‏ • D’autres productions scientifiques (Cf supra)‏ • Pas nouveau, mais phénomène accru par le web (libre diffusion, expression directe, d’échange, …)‏ • Modèle alternatif pour la publication scientifique, dynamique non-marchande • Prise en charge de la pérennisation ? (institutions, éditeurs), Modèles hybrides ?

22. Retour sur la communication scientifique

23. Reprend les éléments de communication ... … les transforme ou en propose d'autres • Enregistrement public des connaissances • Société savante • Coût de revient min • Echanges personnels, communautaires, publiques • Diffusion mondiale multilatérale publique En ref à 1963 1660 1665 • Effet des non déposants ? • Possibilité d'évaluation des institutions cf IRRA de RAE • Priorité à l'article => intérêt Sc. du contenu • Dépot de pré-print et post-print • Dépot des adjuvants de la recherche • Recherche sur des champs et full text • Mémoire scientifique publique • arXiv • OAI-PMH • Eprint.org • BOAI • Protocole • … 1970 1989

24. ISI, Shanghai, OST et quoi d’autres ? Des spécificités Ex. SHS : • Importance Revues/Ouvrages ? • Internationnalisation des disciplines ? Des pistes : • Système d’information (SI) local • visibilité internationale des références “hors marché de l’information” : le “scholar web” ( AO, outils spécialisés,…)

25. Le scholar webImpact factor vs. “web” factor • Référencement établi vs. visibilité • usage/accès aux BdD commerciales vs.usage/accès généralisé/libre • Evaluation maîtrisée par une méthode et une entreprise vs. une multitude d’évaluations, méthodes, projets, ... • Publier autrement • Déjà à l’œuvre : CiteBase, Citeseer Scholar google, F1000… (dia suivante) • De l’Open Peer Review au Peer commentary : de la levée de l’anonymat des pairs aux commentaires de la communautés (avant, après, à la place)

26. Autres facteurs • Citebase, 1999, rapport téléchargements/citations • Citeseer, Associations des refs, commentaires et votes • F1000, 2002, « groupes qualités » • IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories • Google scholar 2004 • Facteur H (Hirsch, 2005) : point de rencontre en le nbr de publi et le nbr de fois où elles sont citées Facteur Y (Bollen, 2006), Journal status, Weighted pagerank, author rank : mesures de « réseaux » , de poids, de centralité • …

27. Ce qui se met en place dans nos institutions (Univ et EPST) • Système d’Information (SI) local (global ?)  imposé par la LOLF (indicateurs d’activités) • Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL) • Ex. sur l’INRA : ProdInra • Connexions des entrepôts d’informations nationaux et locaux (AO institutionelles notamment) • Pour l’univ : ses propres indicateurs • Toutes les refs peuvent êtres prises en considération • Interopérabilité des SI : constitution de BdD disciplinaires en France, • Connectivité avec d’autres BdD (HAL, …)

28. Publication archives ouvertes institunionnelles et disciplinaires, revues en lignes Digital Library … Web 2.0 blog, social bookmarking, Social Search, … Ref biblio bases biblio Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes d’évaluation de la recherche ( y compris selon le principe de citation), actuellement pas beaucoup d’anticipation (d’autre lieux de publication, d’autre lieux de citations, etc...) --> eScience, Science 2.0 CCSD, moissonneurs Plateforme revues Inextenso citebase F1000 … ISI, OST, BdD fr, commerciales ISI, OST, SI local, CCSD, schoolar google, … Plateforme blogs Scientifiques Trackback ? par citation par Hit par note, avis Et par …. Xmetrie

29. Pour engager la discussion • La question globale de l’évaluation de la recherche sur le court terme ? • La qualité de base ? (ISI, AO > pb de libellé du labo, de l’univ, de l’auteur… • Quasi monopole de l’ISI (SCI, JSR), centré sur env 7000 revues • Inventions d’autres indicateurs ?

30. Quelques refs pour poursuivre • S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996 • Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002 • Nov 2006 - Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) http://w3appli.u-strasbg.fr/canalc2/video.asp?idEvenement=271 • Evaluation et validation de l’info sur Internet : http://urfistreseau.wordpress.com

31. Vos questions