Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information

1. Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information Myriam Chanceaux 24 novembre 2009 Mme Anne Guérin-Dugué M. Benoît Lemaire Mme Mireille Bétrancourt Mme Karine Doré-Mazars M. Frédéric Alexandre M. Thierry Baccino M. Jean Caelen Directeurs : Rapporteurs : Examinateurs :

2. Plan Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Conclusions et Perspectives 24/11/2009 Soutenance Myriam Chanceaux 2 / 42

3. Tâche de recherche d’information Proche-Orient Processus ascendants Processus descendants Soutenance Myriam Chanceaux

4. Modélisation cognitive • Modéliser pour comprendre les processus cognitifs impliqués • Modéliser pour prédire le comportement des utilisateurs • Simulation de trajets oculomoteurs • Recherche guidée par un but Soutenance Myriam Chanceaux

5. Image Saillance visuelle (Treisman & Gelade, 1980) (Itti & Koch, 2000) Recherche visuelle Guided search 4.0 (Wolfe, 2007) Area activation model (Pomplun, 2007) (Navalpakkam & Itti, 2007) Texte Lecture EZ-Reader (Reichle et al, 1998) SWIFT (Engbert et al., 2002) LSA (Landauer, 2007) Navigation CoLiDeS (Kitajima et al, 2000) Snif-Act (Pirolli & Fu, 2003) • Exemple de tâche : trouver un site avec la date d'une pièce de théâtre • Simulation des actions • Liens cliqués • Pages abandonnées • Chaque lien a une valeur informative (Information Scent) • Chaque page a une valeur informative moyenne EZ-Reader SWIFT Contexte Soutenance Myriam Chanceaux

6. linge réserve sueur merveille pharmacie gibier chagrin citron faiblesse chocolat militaire poison sommeil chasse apport LSA cruche commerce mouche extrait feuillage litre vigne saveur jument jardin tonneau soupe prairie jardinier marmite plante floraison Analyse de la sémantique latente (LSA) Landauer, 2007 Corpus de textes • Modèle cognitif computationnel de représentation des connaissances sémantiques en mémoire à long terme • A partir de grand corpus de texte • 24 Millions de mots issus des articles du Monde de l’année 1999 • Matrice de co-occurrence entre les termes et les documents et décomposition en valeurs singulières • Représentation vectorielle des mots dans un espace d’environ 300 dimensions • Similarité entre mots ou groupes de mots mesurée par le cosinus entre les vecteurs • Proximité sémantique calculée avec LSA proche du jugement humain 24/11/2009 Soutenance Myriam Chanceaux 6 / 42

7. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

8. Interaction des processus Soutenance Myriam Chanceaux

9. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

10. Exemple de page Objectif : Trouver l’instrument de musique le plus petit Soutenance Myriam Chanceaux

11. + + = Processus modélisés • Visuel • Acuité • Saillance • Sémantique • Plus les éléments sont proches spatialement plus ils le sont sémantiquement • Mémoire • Mécanisme d’oubli • Intégration • Somme pondérée Objectif : Trouver le poisson le plus dangereux Fixation courante sur baleine Soutenance Myriam Chanceaux

12. Variable Memory Model Arani, 1984 ; Horowitz, 2006 • 2 paramètres • Encodage θ • Récupération φ • À la ième époque le modèle “se souvient” de l’item vu à la kième époque avec la probabilité Pi,k= θ φi-k • Tâche de recherche visuelle • θ=0.82 • φ=0.86 Soutenance Myriam Chanceaux

13. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

14. Expérimentations • Méthode • 18 pages (recherches) par participant • 3 conditions visuelles (intra-sujet) • 2 conditions sémantiques (inter-sujet) • Deux versions • Mots de taille variable (de 13 à 19) • 43 participants • Mots de couleur variable (rouge et noir) • 29 participants Soutenance Myriam Chanceaux

15. Processus expérimental Soutenance Myriam Chanceaux

16. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

17. Besoin de variables « haut-niveau » pour comparer les données et ajuster les paramètres du modèle • Nombre de mots vus avant d’atteindre la cible • Taux de saccades progressives (saccades se rapprochant de la cible) • Exemple • Quelle est la plante la plus piquante? • Cible : Cactus 7 mots Tx : 0.75 7 mots Tx : 0.625 5 mots Tx : 0.71 Soutenance Myriam Chanceaux

18. Ajustement des paramètres • Pondération des processus • αV (visuel), αM (mémoire) et αS(sémantique) tels que αV + αM + αS =1 • Paramétrisation de la mémoire • θ (encodage) et Ф (récupération) Soutenance Myriam Chanceaux

19. Résultats des comparaisons Expé Taille Expé Couleur 24/11/2009 Soutenance Myriam Chanceaux

20. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

21. Matériel expérimental • Paragraphes de texte • Deux organisations des blocs • En lignes et en colonnes • En pêle-mêle • Avec titre • Sans titre Soutenance Myriam Chanceaux

22. Modélisation à deux niveaux • Au niveau des blocs • Quel sera le prochain bloc? • Premières visites • Revisites • Au niveau des mots • Quand quitte-t-on le bloc? • Lecture du texte Soutenance Myriam Chanceaux

23. Niveau des blocs : 1ères visites Parcours planifié Gist Visite séquentielle de tous les blocs 2 paramètres pour simuler les préférences culturelles Préférence vers le bas Préférence vers la droite Soutenance Myriam Chanceaux

24. Niveau des blocs : revisites Plusieurs processus en compétition à intégrer Processus sémantico-mnésique - SMem Mécanisme d’oubli (IOR, VMM) Tendance à retourner vers les blocs oubliés Intérêt des blocs (LSA) Tendance à retourner vers les blocs intéressants Processus visuel - Vis Acuité visuelle Tendance à aller vers les blocs proches spatialement Soutenance Myriam Chanceaux

25. Niveau des mots Modèle simple de lecture mot à mot du bloc Étiquetage morpho-syntaxiquedes mots avec Tree-Tagger : omission des mots-outils Continuer ou arrêter la lecture? Similarité LSA entre la séquence de mots traités et le thème de la recherche Abandon du paragraphe s’il est très proche du thème ou pas pertinent du tout Thème : Victoire des footballeurs Soutenance Myriam Chanceaux

26. Niveau des mots : Titre • Organisateur paratextuel • Oriente la lecture • Prise en compte du titre dans le modèle en doublant son poids Calcul de similarité entre le thème « Hausse de la bourse » et « Finance Finance bourse tokyo, etc » 24/11/2009 Soutenance Myriam Chanceaux 26 /42

27. Exemple de trajet simulé Thème de recherche : Observation des planètes Soutenance Myriam Chanceaux

28. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

29. Matériel expérimental Sélection de 20 thèmes de recherche Observation des planètes, aide aux réfugiés, réchauffement climatique, conflit en Irak, réforme de la justice, etc. 7 paragraphes par page 2 paragraphes fortement associés au thème (Association Forte, AF) 2 paragraphes moyennement associés (Association Faible, Afa) 3 paragraphes sans lien (Aucune Association, AA) Une photographie (reliée à un AF ou AA) 2 organisations : Lignes et colonnes (3 blocs avec un fond coloré) 38 participants Pêle-mêle 27 participants (15 Avec Titre et 12 Sans Titre) Soutenance Myriam Chanceaux

30. Processus expérimental Soutenance Myriam Chanceaux

31. Premières analyses 24/11/2009 Soutenance Myriam Chanceaux 31 / 42

32. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

33. Ajustement des paramètres (1) • Optimisation des intervalles de variation des paramètres à partir de calculs de distance de Levenshtein • Préférence vers le bas • Préférence vers la droite N2 N U U2 Z Z2 Soutenance Myriam Chanceaux

34. Ajustement des paramètres (2) • Prise en compte du titre • 2 paramètres : 1ère fixation 2nde fixation Soutenance Myriam Chanceaux

35. Comparaisons données empiriques et simuléesAu niveau des blocs: Lignes & colonnes • Matrices de transition Participants Modèle Soutenance Myriam Chanceaux

36. Comparaisons données empiriques et simuléesAu niveau des blocs: Pêle-mêle • Directions des transitions Soutenance Myriam Chanceaux

37. Comparaisons données empiriques et simuléesAu niveau des blocs: Revisites • Taux de blocs revisités selon le type de bloc (Association Forte, Association Faible ou Aucune Association) En lignes et en colonnes Pêle-mêle Soutenance Myriam Chanceaux

38. Comparaisons données empiriques et simuléesAu niveau des mots • Taux de lecture (nombre de fixations / nombre de mots)selon le type de bloc (Association Forte, Association Faible ou Aucune Association) 10 fixations, 31 mots → tx = 0.32 Sans Titre Avec Titre Soutenance Myriam Chanceaux

39. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

40. Conclusions • Modèle qui permet de simuler la scrutation d’une page lors d’une tâche de recherche d’information • Prise en compte de différents types d’information • Travail pluridisciplinaire • Premières simulations permettant une base solide pour de futurs travaux Soutenance Myriam Chanceaux

41. Perspectives • Modélisation des durées des fixations • Saccades exploratoires • Prise en compte de processus décisionnels, permettant l’arrêt de la recherche • Intégration des différences inter-individuelles • Ajout d’un système de saillance visuelle plus complexe et traitement de la photo • Application à des environnements encore plus complexes et plus proches de réelles pages Web Soutenance Myriam Chanceaux

42. Merci de votre attention