Contexte de la production et de l’évaluation scientifique

1. Contexte de la production et de l’évaluation scientifique Gabriel Gallezot

2. Plan • Usage de l’IST par les chercheurs • La communication Scientifique • L’évaluation scientifique • … vers une appropriation profonde « du numérique »

3. Bases Bibliographiques Banques de données Revues, ouvrages Colloques Archives Ouvertes Editeurs, agrégateurs Site web, page perso, blog Liste de discussion Bibliothèques Usage de l’information Rechercher: IR/épistémè … Les ressources Types de documents Formats de documents Modalités d’accès aux documents

4. Communication Scientifique(schéma dia suivante) • un processus au cœur de la recherche • le chemin "traditionnel" qu'emprunte l'IST • Montre les types de doc et les statuts des doc Schéma bouleversé par • l’accès réseaux • prod. numérique • les entrepôts numériques --> en terme rapidité et spectre documentaire

5. Communication scientifique modèle 70’ Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 2020

6. Contexte de la recherche Cycle de l’information (usage de l’information et production de résultats)‏ Communication scientifique (diffusion des résultats)‏ Acteurs : Pairs Editeurs institutions La question de l’évaluation Cycle de publication (chaîne éditorial)‏

7. Evaluation pour la publication…Evaluation qualitative : a priori, le peer reviewing, … • Auto-évaluation • Collègues de labo (évaluation)‏ • Direction de N° (guest éditor) ou d’ouvrage (sélection/évaluation)‏ • Comité de rédaction (sélection)‏ • Comité scientifique (évaluation)‏ • Editeur (évaluation/correction)‏ • Lecteur (évaluation)‏

8. … Publication pour l’évaluationEvaluation quantitative : a posteriori, la bibliométrie • À l’origine : Garfield et le Science Citation Index (SCI) de l’Institute for Scientific Information (ISI)‏ • Des référentiels : SCI (ISI), JCR (ISI), , OST, AO, ERIH, JQL, liste AeRES, Scholar Google…des bases, des listes… • Des mesures : Impact Factor, Classement de Shanghai, H index, Y index, G index, indicateurs OST, … • Des évaluations : AeRES, CNU, Université, … Et … d’autres formes d’évaluation et de mesures : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…

9. Evaluer l’activité “recherche” ? • Pour le pilotage (DGES, Univ, …) : orientation de la prod sc., répartition bugétaire, recrutement, … • Comment ?  un modèle prégnant : publication (article de revue) et valeur de cette publi. par la mesure des citations “reçues” par d’autres publications (bibliométrie)  Un modèle dominant (STM) et quasi monopole de l’analyse (ISI)

10. Quel(s) réfentiel(s) ? -> Examen des sources disponibles comme référent(s) possible(s) des instances d’évaluation • Science Citation Index (S.C.I) - 1961 éval. auteurs, • Journal Citation Reports (J.C.R.) -1975 éval. revues - cf. portail BU de l’univ. • L’agence d’évaluation de la recherche et de l’enseignement supérieur - AeRES : http://www.aeres-evaluation.fr/La-liste-des-revues-scientifiques • European Reference Index for the Humanities - ERIH : http://www.esf.org/research-areas/humanities/research-infrastructures-including-erih/erih-initial-lists.html • Journal Quality List (JQL) : http://www.harzing.com/jql.htm • Scholar Google : http://scholar.google.fr/ • Repositories (OpenDOAR, ROAR, …) • … autres listes, Bases de Données

11. Quelle(s) Mesure(s) ?

12. Facteur d’impact • ISI calcule le facteur d’impact d’une revue de la façon suivante: Le nombre total de citations faites en 2004 d’articles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total d’articles publiés au cours des deux années précédentes 1630 523 • Citations en 2004 d’éléments publiés en 2003 et 2002 • Nombre total d’articles publiés en 2003 et 2002 3.117 = Source : ISI thomson

13. Classement de Shanghai • sensibiliser le monde universitaire à son positionnement international (dynamique) • 2008 : http://www.arwu.org/rank2008/ARWU2008_A(EN).htm • Calculé sur les données du WoS qui présentent déjà de nombreux biais (notamment la langue, type de doc) • Pb multiples liés à l’affiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …) • Pb de nos univ dans la mondialisation: éparpillement , petites tailles, pluridisciplinaires, …

14. h index et variantes • H index : Jorge E. Hirsch (2005) www.pnas.org/cgi/doi/10.1073/pnas.0507655102. Relation entre un nombre total de publications et leurs citations > coïncidence approximative entre un nombre équivalent de publications et de citations. Ex : h index = 10 => environ 10 publications citées au moins 10 fois • G index : Egghe, Leo (2006) http://dx.doi.org/10.1007%2Fs11192-006-0144-7 : un g-index de 10 => 10 papiers dontla somme des citations est au moins de 100 • A- index, H-b index , scHolar index, … • Démo avec POP ou ScholarIndex http://insitu.lri.fr/~roussel/projects/scholarindex/

15. facteur y • tient compte de la distinction entre les deux notions de « popularité » et de « prestige ». C’est le produit de « ISI IF and Weighted PageRank »

16. Quelle(s) Evaluation(s) • AeRES : http://www.aeres-evaluation.fr/Presentation-de-la-rubrique ex : « chercheur publiant » http://www.aeres-evaluation.fr/IMG/pdf/Criteres_Identification_Publiants.pdf • CNU : http://91.121.210.124:8080/cpcnu/ qualification et… ex : recommandation de chaque section : http://91.121.210.124:8080/cpcnu/sectionsCnu.htm • Université : (ex: comité de sélection : http://portail.unice.fr/jahia/page7736.html • … toutes vos activités

17. Appropriation du « numérique » (re)penser • le cycle de l’info • la communication scientifique • l’évaluation de la recherche

18. eScienceun exemple : La recherche « in silico » • Dialectique entre la technique , la production de savoir et sa diffusion • Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès) • Gain de productivité ? (bouclage rapide du cycle) • Gain de créativité ? (tertiarisation documentaire)

19. Production scientifique et Compartimentation des savoirs • Spécialisation de la R • Évaluation de la R => accroissement de la Pub. Sc. (données, textes, revues, etc)‏ Il faut : • Mieux connecter • Mieux partager • Ouvrir le spectre documentaire • La KDD D’après Swanson (1986)‏

20. Communication scientifique modèle 2020 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 1970

21. Nouveaux modèles de publication ? L’auto-publication sur web perturbe le modèle traditionnel de la publication • Accessibilité (relation auteur/lecteur, hébergements)‏ • D’autres visibilités (couverture et calculatoire)‏ • D’autres formes d’évaluation (liens, hits, moteurs, CiteSeer, Opcite…IRRA)‏ • D’autres productions scientifiques (Cf supra)‏ • Pas nouveau, mais phénomène accru par le web (libre diffusion, expression directe, d’échange, …)‏ • Modèle alternatif pour la publication scientifique, dynamique non-marchande • Prise en charge de la pérennisation ? (institutions, éditeurs), Modèles hybrides ?

22. Retour sur la communication scientifique

23. Reprend les éléments de communication ... … les transforme ou en propose d'autres • Enregistrement public des connaissances • Société savante • Coût de revient min • Echanges personnels, communautaires, publiques • Diffusion mondiale multilatérale publique En ref à 1963 1660 1665 • Effet des non déposants ? • Possibilité d'évaluation des institutions cf IRRA de RAE • Priorité à l'article => intérêt Sc. du contenu • Dépot de pré-print et post-print • Dépot des adjuvants de la recherche • Recherche sur des champs et full text • Mémoire scientifique publique • arXiv • OAI-PMH • Eprint.org • BOAI • Protocole • … 1970 1989

24. IF, Shanghai, h index et quoi d’autre ? Des spécificités Ex. SHS : • Importance Revues/Ouvrages ? • Internationnalisation des disciplines ? Des pistes : • Système d’information (SI) local • visibilité internationale des références “hors marché de l’information” : le “scholar web” ( AO, outils spécialisés,…)

25. Le « scholar web »“ISI” factor vs. “web” factor • Référencement établi vs. visibilité • usage/accès aux BdD commerciales vs.usage/accès généralisé/libre • Evaluation maîtrisée par une méthode et une entreprise vs. une multitude d’évaluations, méthodes, projets, ... • Publier autrement • Déjà à l’œuvre : CiteBase, Citeseer, Scholar google, F1000… (dia suivante) • De l’Open Peer Review au Peer commentary : de la levée de l’anonymat des pairs évaluateurs aux commentaires de la communautés (avant, après, à la place)

26. Autres indicateurs • Citebase, 1999, rapport téléchargements/citations • Citeseer, Associations des refs, commentaires et votes • F1000, 2002, « groupes qualités » • IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories • Google scholar 2004 • Enquête SHS/CNRS (Sciences de l’Homme et de la Société, n 69, mai 2004) • … indicateurs émergents

27. Ce qui se met en place dans nos institutions (Univ et EPST) • Système d’Information (SI) local (global ?)  imposé par la LOLF (indicateurs d’activités) • Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL) • Ex. sur l’INRA : ProdInra • Connexions des entrepôts d’informations nationaux et locaux (AO institutionelles notamment) • Pour l’univ : ses propres indicateurs • Toutes les refs peuvent êtres prises en considération • Interopérabilité des SI : constitution de BdD disciplinaires en France, • Connectivité avec d’autres BdD (HAL, …)

28. Publication archives ouvertes institunionnelles et disciplinaires, revues en lignes Digital Library … Web 2.0 blog, social bookmarking, Social Search, … Ref biblio bases biblio Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes d’évaluation de la recherche ( y compris selon le principe de citation), actuellement pas beaucoup d’anticipation (d’autre lieux de publication, d’autre lieux de citations, etc...) --> eScience, Science 2.0 CCSD, moissonneurs Plateforme revues Inextenso citebase F1000 … ISI, OST, BdD fr, commerciales ISI, OST, SI local, CCSD, schoolar google, … Plateforme blogs Scientifiques Trackback ? par citation par Hit par note, avis Et par …. Xmetrie

29. Quelques refs pour poursuivre • S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996 • Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002 • Nov 2006 - Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) http://w3appli.u-strasbg.fr/canalc2/video.asp?idEvenement=271 • Evaluation et validation de l’info sur Internet : http://urfistreseau.wordpress.com

30. Vos questions