1 / 42

Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information

Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information. Myriam Chanceaux 24 novembre 2009 Mme Anne Guérin-Dugué M. Benoît Lemaire Mme Mireille Bétrancourt Mme Karine Doré-Mazars M. Frédéric Alexandre M. Thierry Baccino

modesta
Download Presentation

Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information Myriam Chanceaux 24 novembre 2009 Mme Anne Guérin-Dugué M. Benoît Lemaire Mme Mireille Bétrancourt Mme Karine Doré-Mazars M. Frédéric Alexandre M. Thierry Baccino M. Jean Caelen Directeurs : Rapporteurs : Examinateurs :

  2. Plan Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Conclusions et Perspectives 24/11/2009 Soutenance Myriam Chanceaux 2 / 42

  3. Tâche de recherche d’information Proche-Orient Processus ascendants Processus descendants Soutenance Myriam Chanceaux

  4. Modélisation cognitive • Modéliser pour comprendre les processus cognitifs impliqués • Modéliser pour prédire le comportement des utilisateurs • Simulation de trajets oculomoteurs • Recherche guidée par un but Soutenance Myriam Chanceaux

  5. Image Saillance visuelle (Treisman & Gelade, 1980) (Itti & Koch, 2000) Recherche visuelle Guided search 4.0 (Wolfe, 2007) Area activation model (Pomplun, 2007) (Navalpakkam & Itti, 2007) Texte Lecture EZ-Reader (Reichle et al, 1998) SWIFT (Engbert et al., 2002) LSA (Landauer, 2007) Navigation CoLiDeS (Kitajima et al, 2000) Snif-Act (Pirolli & Fu, 2003) • Exemple de tâche : trouver un site avec la date d'une pièce de théâtre • Simulation des actions • Liens cliqués • Pages abandonnées • Chaque lien a une valeur informative (Information Scent) • Chaque page a une valeur informative moyenne EZ-Reader SWIFT Contexte Soutenance Myriam Chanceaux

  6. linge réserve sueur merveille pharmacie gibier chagrin citron faiblesse chocolat militaire poison sommeil chasse apport LSA cruche commerce mouche extrait feuillage litre vigne saveur jument jardin tonneau soupe prairie jardinier marmite plante floraison Analyse de la sémantique latente (LSA) Landauer, 2007 Corpus de textes • Modèle cognitif computationnel de représentation des connaissances sémantiques en mémoire à long terme • A partir de grand corpus de texte • 24 Millions de mots issus des articles du Monde de l’année 1999 • Matrice de co-occurrence entre les termes et les documents et décomposition en valeurs singulières • Représentation vectorielle des mots dans un espace d’environ 300 dimensions • Similarité entre mots ou groupes de mots mesurée par le cosinus entre les vecteurs • Proximité sémantique calculée avec LSA proche du jugement humain 24/11/2009 Soutenance Myriam Chanceaux 6 / 42

  7. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

  8. Interaction des processus Soutenance Myriam Chanceaux

  9. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

  10. Exemple de page Objectif : Trouver l’instrument de musique le plus petit Soutenance Myriam Chanceaux

  11. + + = Processus modélisés • Visuel • Acuité • Saillance • Sémantique • Plus les éléments sont proches spatialement plus ils le sont sémantiquement • Mémoire • Mécanisme d’oubli • Intégration • Somme pondérée Objectif : Trouver le poisson le plus dangereux Fixation courante sur baleine Soutenance Myriam Chanceaux

  12. Variable Memory Model Arani, 1984 ; Horowitz, 2006 • 2 paramètres • Encodage θ • Récupération φ • À la ième époque le modèle “se souvient” de l’item vu à la kième époque avec la probabilité Pi,k= θ φi-k • Tâche de recherche visuelle • θ=0.82 • φ=0.86 Soutenance Myriam Chanceaux

  13. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

  14. Expérimentations • Méthode • 18 pages (recherches) par participant • 3 conditions visuelles (intra-sujet) • 2 conditions sémantiques (inter-sujet) • Deux versions • Mots de taille variable (de 13 à 19) • 43 participants • Mots de couleur variable (rouge et noir) • 29 participants Soutenance Myriam Chanceaux

  15. Processus expérimental Soutenance Myriam Chanceaux

  16. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

  17. Besoin de variables « haut-niveau » pour comparer les données et ajuster les paramètres du modèle • Nombre de mots vus avant d’atteindre la cible • Taux de saccades progressives (saccades se rapprochant de la cible) • Exemple • Quelle est la plante la plus piquante? • Cible : Cactus 7 mots Tx : 0.75 7 mots Tx : 0.625 5 mots Tx : 0.71 Soutenance Myriam Chanceaux

  18. Ajustement des paramètres • Pondération des processus • αV (visuel), αM (mémoire) et αS(sémantique) tels que αV + αM + αS =1 • Paramétrisation de la mémoire • θ (encodage) et Ф (récupération) Soutenance Myriam Chanceaux

  19. Résultats des comparaisons Expé Taille Expé Couleur 24/11/2009 Soutenance Myriam Chanceaux

  20. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

  21. Matériel expérimental • Paragraphes de texte • Deux organisations des blocs • En lignes et en colonnes • En pêle-mêle • Avec titre • Sans titre Soutenance Myriam Chanceaux

  22. Modélisation à deux niveaux • Au niveau des blocs • Quel sera le prochain bloc? • Premières visites • Revisites • Au niveau des mots • Quand quitte-t-on le bloc? • Lecture du texte Soutenance Myriam Chanceaux

  23. Niveau des blocs : 1ères visites Parcours planifié Gist Visite séquentielle de tous les blocs 2 paramètres pour simuler les préférences culturelles Préférence vers le bas Préférence vers la droite Soutenance Myriam Chanceaux

  24. Niveau des blocs : revisites Plusieurs processus en compétition à intégrer Processus sémantico-mnésique - SMem Mécanisme d’oubli (IOR, VMM) Tendance à retourner vers les blocs oubliés Intérêt des blocs (LSA) Tendance à retourner vers les blocs intéressants Processus visuel - Vis Acuité visuelle Tendance à aller vers les blocs proches spatialement Soutenance Myriam Chanceaux

  25. Niveau des mots Modèle simple de lecture mot à mot du bloc Étiquetage morpho-syntaxiquedes mots avec Tree-Tagger : omission des mots-outils Continuer ou arrêter la lecture? Similarité LSA entre la séquence de mots traités et le thème de la recherche Abandon du paragraphe s’il est très proche du thème ou pas pertinent du tout Thème : Victoire des footballeurs Soutenance Myriam Chanceaux

  26. Niveau des mots : Titre • Organisateur paratextuel • Oriente la lecture • Prise en compte du titre dans le modèle en doublant son poids Calcul de similarité entre le thème « Hausse de la bourse » et « Finance Finance bourse tokyo, etc » 24/11/2009 Soutenance Myriam Chanceaux 26 /42

  27. Exemple de trajet simulé Thème de recherche : Observation des planètes Soutenance Myriam Chanceaux

  28. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

  29. Matériel expérimental Sélection de 20 thèmes de recherche Observation des planètes, aide aux réfugiés, réchauffement climatique, conflit en Irak, réforme de la justice, etc. 7 paragraphes par page 2 paragraphes fortement associés au thème (Association Forte, AF) 2 paragraphes moyennement associés (Association Faible, Afa) 3 paragraphes sans lien (Aucune Association, AA) Une photographie (reliée à un AF ou AA) 2 organisations : Lignes et colonnes (3 blocs avec un fond coloré) 38 participants Pêle-mêle 27 participants (15 Avec Titre et 12 Sans Titre) Soutenance Myriam Chanceaux

  30. Processus expérimental Soutenance Myriam Chanceaux

  31. Premières analyses 24/11/2009 Soutenance Myriam Chanceaux 31 / 42

  32. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

  33. Ajustement des paramètres (1) • Optimisation des intervalles de variation des paramètres à partir de calculs de distance de Levenshtein • Préférence vers le bas • Préférence vers la droite N2 N U U2 Z Z2 Soutenance Myriam Chanceaux

  34. Ajustement des paramètres (2) • Prise en compte du titre • 2 paramètres : 1ère fixation 2nde fixation Soutenance Myriam Chanceaux

  35. Comparaisons données empiriques et simuléesAu niveau des blocs: Lignes & colonnes • Matrices de transition Participants Modèle Soutenance Myriam Chanceaux

  36. Comparaisons données empiriques et simuléesAu niveau des blocs: Pêle-mêle • Directions des transitions Soutenance Myriam Chanceaux

  37. Comparaisons données empiriques et simuléesAu niveau des blocs: Revisites • Taux de blocs revisités selon le type de bloc (Association Forte, Association Faible ou Aucune Association) En lignes et en colonnes Pêle-mêle Soutenance Myriam Chanceaux

  38. Comparaisons données empiriques et simuléesAu niveau des mots • Taux de lecture (nombre de fixations / nombre de mots)selon le type de bloc (Association Forte, Association Faible ou Aucune Association) 10 fixations, 31 mots → tx = 0.32 Sans Titre Avec Titre Soutenance Myriam Chanceaux

  39. Contexte et Problématique Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives Soutenance Myriam Chanceaux

  40. Conclusions • Modèle qui permet de simuler la scrutation d’une page lors d’une tâche de recherche d’information • Prise en compte de différents types d’information • Travail pluridisciplinaire • Premières simulations permettant une base solide pour de futurs travaux Soutenance Myriam Chanceaux

  41. Perspectives • Modélisation des durées des fixations • Saccades exploratoires • Prise en compte de processus décisionnels, permettant l’arrêt de la recherche • Intégration des différences inter-individuelles • Ajout d’un système de saillance visuelle plus complexe et traitement de la photo • Application à des environnements encore plus complexes et plus proches de réelles pages Web Soutenance Myriam Chanceaux

  42. Merci de votre attention

More Related