Université de Paris X - Nanterre Centre de Recherche en Information Spécialisée

1. Université de Paris X - NanterreCentre de Recherche en Information Spécialisée Quelle place pour l’usager dans l’évaluation des systèmes de recherche d’information ? Du paradigme système au paradigme cognitif Stéphane Chaudiron stephane.chaudiron@u-paris10.fr http://intranet.u-paris10.fr/infocom Journée d'information URBAMET

2. Usage et évaluation des SRI Contexte : > années 50 : la conception des SRI = place prépondérante au sein des SI (Salton) ; > objectif : amélioration de la performance intrinsèque du SRI ; > approche des SI calculatoire ou algorithmique qui s’oppose à l’approche sociale et cognitive des comportements informationnels ; > années 60 : l’évaluation des SRI devient une préoccupation majeure (tests de Cranfield II) ; > objectif : définir des métriques de comparaison des SRI. Journée d'information URBAMET

3. Usage et évaluation des SRI Contexte : > depuis 50 ans, les SI sont marquées par un schisme (Harter, 96) : • Étude bibliographique sur 12 revues en SI entre 72 et 95 White et McCain (1998) ; • Vickery & Vickery (1987) ; • Saracevic (1997, 1999) ; • Ingwersen (1992) ; • etc. Enjeu : place de l’usager dans l’évaluation Journée d'information URBAMET

4. Usage et évaluation des SRI Deux approches de l’évaluation des SRI : • approche système vs approches usager : • utilisation de méthodes de laboratoire ≠ prise en compte du comportement réel des usagers dans l’évaluation des systèmes.  enjeu scientifique, technologique et industriel. Journée d'information URBAMET

5. Approche système Système Usager Acquisition : info, objets, textes Problème : Besoin info Représentation indexation Représentation question Organisation objets indexés Formulation requête Recherche par appariement Documents retrouvés Journée d'information URBAMET

6. Approche système > tests de Cranfiel II (1960, Angleterre) : • évaluation comparative de 33 systèmes d’indexation (SRI) sur une collection de 1400 documents et un ensemble de 331 requêtes ; • approche « boîte noire » (le système agit comme un filtre) ; • utilisation de la pooling method (unification des lots de réponses avant jugement) ; • jugement de pertinence binaire du document ; • critères d’évaluation : précision , rappel ; • la pertinence mesure-t-elle la satisfaction ? Journée d'information URBAMET

7. Approche système > tests de Cranfiel II (1960, Angleterre) : • approche quantitative de l’évaluation qui correspond au modèle dominant : TREC (DARPA & NIST depuis 1993) ; • méthodologie de référence : Amaryllis, IREX, CLEF ; • physical ou match paradigm ; • évaluation system-oriented ;  problèmes posés par les métriques et les protocoles, l’absence de l’usager, l’identification de l’usabilité à la performance du système. Journée d'information URBAMET

8. Approche système > les limites de l’approche : • l’absence de l’usager dans le processus d’évaluation ; • l’identification du besoin d’information ; • la validité de la notion de pertinence ; • l’absence de l’interaction dans l’évaluation ; • les conditions d’expérimentation (simplification excessive des conditions réelles) ; • apparition de nouvelles pratiques de recherche (web, navigation). Journée d'information URBAMET

9. Approches usager >Volonté initiale d’améliorer les protocoles puis constitution d’un champ de recherche autonome : • cognitive paradigm ; • évaluation user-oriented ; • multiplicité des approches ;  Un point commun : prise en compte du contexte réel d’usage (individuel et collectif) à travers une modélisation des usagers. Journée d'information URBAMET

10. Approches usager > Exemples d ’approches : Carol Kulthau (1993): dimension affective dans l’interaction ; Nicholas Belkin (1995) : modèle épistémique ; Peter Ingwersen (1996) modèle cognitif ; Tefko Saracevic (1997) : approche globale de l’interaction homme/information ; Tom Wilson (1996) :formalisation du comportement global de l’usager. Journée d'information URBAMET

11. Approches usager > Carol Kulthau, 1993 : - elle souligne le rôle des états émotionnels dans le recherche d’information ; - un modèle de la recherche en 6 étapes : initiation, sélection d'un thème, identification, exploration, formulation, collection, présentation ; - le processus de recherche est enclenché par un sentiment d’incertitude : état cognitif qui provoque un état d’anxiété ; - à chaque étape, l’usager évolue de l’incertitude à la satisfaction ou l’insatisfaction. Journée d'information URBAMET

12. Approches usager > Nicholas Belkin, 1995 : - le modèle épistémique met en évidence les changements d’états de connaissance dans la RI ; - point de départ de la recherche : état épistémique qui se caractérise par un Anomalous State of Knowledge (ASK) ; - processus global qui se décompose en une suite de différentes interactions possibles : jugement, interprétation, modification, navigation,… - mettre en évidence la diversité des types d’interactions dans le processus global de recherche d’information et de souligner que ce processus s’inscrit dans une temporalité qui influe sur la nature des interactions. Journée d'information URBAMET

13. Approches usager > Peter Ingwersen, 1996 : - l’un des premiers à proposer un modèle cognitif des systèmes de recherche d’information, en rupture avec la vision traditionnelle des SRI ; - identifier les structurescognitives et les différentes variables qui interviennent dans le processus de recherche d’information ; - il identifie plusieurs espaces, (les « origines cognitives »), qui sont autant d’éléments impliqués dans le processus global de recherche d’information : • l’espace cognitif de l’utilisateur, • l’environnement social ou organisationnel, • le fonds informationnel, • et le système lui-même.  Le modèle met en évidence que les usagers ont une représentation de leurs besoins, du fonds informationnel et du système. Journée d'information URBAMET

14. Approches usager > Tefko Saracevic, 1997 : - propose une vision globale du processus de recherche qui identifie : - la composante situationnelle (informations liées aux contextes d’usages : tâches, définition du problème) ; - la composante intentionnelle (analyse des croyances et motivations des usagers) ; - la composante cognitive (représentation des connaissances de l’usager) ; - la composante requête (caractéristiques des questions de l’usager) ; - la composante interface homme-machine ; - la composante système du logiciel de recherche (puissance, mémoire, etc..) ; - la composante logiciel et algorithmique ( composants du SRI) ; - la composante fonds documentaire (structure et caractéristiques de la base documentaire). Journée d'information URBAMET

15. Approches usager > Tom Wilson, 1996 : • modèle général du comportement informationnel qui s’appuie sur trois éléments : • le besoin informationnel et ses origines, c’est-à-dire les facteurs qui ont conduit à la perception du besoin par l’individu ; • les facteurs qui déterminent la réponse de l’individu en réaction à la perception du besoin ; • les processus ou les actions qui sont impliqués par cette réponse. • macro-modèle qui tente d’expliquer les stratégies de recherche individuelles, pourquoi certaines sources d’informations sont utilisées et d ’autres non, etc. Journée d'information URBAMET

16. Paradigme cognitif > Limites des approches usager : - modèles peu exploitables pour l’évaluation des SRI : - comment traduire en métriques ? - vision très déterministe du comportement de l’usager : - approche téléonomique du besoin ; - nouvelles pratiques d’accès à l’information sans recherche : - butinage ; - pratiques coopératives de la recherche ; - effet Sérendip. - élargissementvers les sciences cognitives : méta-modèles cognitifs, théories de l’apprentissage,... Journée d'information URBAMET

17. Merci de votre attention... Journée d'information URBAMET

18. Éléments de bibliographie... • Harter Stephen, 1996, Variations in relevance assessments and the measurement of retrieval effectiveness, JASIS, vol. 47, n° 1, 1996, p. 37-49. • White Howard et McCain Katherine, 1998, Visualizing a discipline : An author co-citation analysis of information science, 1972-1995, JASIS, vol. 49, n°4, p. 327-355. • Vickery Brian et Vickery Alina, 1987, Information science in theory and practice, London, Butterworths. • Saracevic Tefko, 1997, Extension and Application of the Stratified Model of Information Retrieval Interaction, Proceedings of the Annual Meeting of the American Society for Information Science, vol. 34, p. 313-327. • Saracevic Tefko, 1999, Information science, JASIS, vol. 50, n° 12, p. 1051-1063. • Ingwersen Peter, 1992, Information retrieval interaction, London, Taylor Graham. • Kuhlthau, Carol, 1993, Seeking meaning: a process approach to library and information services, Norwood, N.J.: Ablex Pub. Corp., 1993, p. xxvi-199. • Belkin Nicholas et Vickery Alina, 1985, Interaction in information systems, London, The British Library. • Ingwersen Peter, 1996, Cognitive perspectives of information retrieval interaction : elements of a cognitive IR theory, Journal of Documentation, vol. 52, n° 1, 1996, p. 3-50. • Saracevic Tefko, 1997, Extension and Application of the Stratified Model of Information Retrieval Interaction, Proceedings of the Annual Meeting of the American Society for Information Science, vol. 34, p. 313-327. • Wilson Tom, 1996, Information behaviour : an inter-disciplinary perspective, Proceedings of an International Conference on research in information needs, seeking and use in different contexts, Vakkari Pertti, Savolainen Reijo et Dervin Brenda, dir., Taylor Graham, p. 39-49. Journée d'information URBAMET

19. Journée d'information URBAMET