Etude des interactions médiatisées : de la coopération à la collaboration

1. Etude des interactions médiatisées :de la coopération à la collaboration Alexandre PauchetTech-Iris-Via

2. Psychologie cognitive et IA • La psychologie cognitive permet d'étudier les processus humains de communication et de raisonnement afin d'améliorer la conception des systèmes intelligents • L'IA et les SMA fournissent des outils de simulation permettant de valider les modèles cognitifs But Etudier les capacités humaines d'interaction dans un cadre coopératif ou collaboratif dans le but d'améliorer la conception des SMA hétérogènes

3. Approche

4. Sommaire 1 • Projet de l'agence de voyage • Description du projet • Modélisation des interactions humaines • Simulation de la résolution du problème par SMA • Conclusions et perspectives • Projet DigiTable • Contexte • Expérimentation • Résultats • Perspectives 2

5. 1 Projet de l'agence de voyage

6. Projet de l'agence de voyage (1/2)Expérimentation psychologique

7. Projet de l'agence de voyage (2/2)Exemple de protocole expérimental

8. Modélisation des interactions (1/7)Cadre de l'analyse • 2/3 des protocoles expérimentaux sont analysés • Envois et réceptions de messages • Fusion par trinômes • Analyse et modélisation sur 2 niveaux • Enoncés : théorie des actes de langage + performatives • Dialogue : théorie discursive de Vanderveken + automates temporisés  Lien énoncés/dialogue : sémantique des performatives

9. Modélisation des interactions (2/7)Modélisation des énoncés Théorie des actes de langages (Searle72) : F(P) • performative(état mental) • Directif(désir du locuteur) • air  railway • Query(pD(air pStage(Orléans Paris ? <=(10h30) train ? ? false)) • Descriptif(croyance) • railway  air • Reply(pB(pStage(Orléans Paris 08h25 09h30 train 1 80 false)) • Engageant(désir de l'interlocuteur) • railway  air • Propose(pD(air pStage(Orléans Paris * * train * * false))

10. Modélisation des interactions (3/7)Performatives observées (FIPA-ACL, KQML)

11. Modélisation des interactions (4/7)Échanges observés Échange : série d'énoncés guidés par un intention discursive

12. Modélisation des interactions (5/7)Les automates temporisés • Représentation des échanges par 4 paires d'automates temporisés (Alur94) • Type et enchaînement des performatives échangées • Temporalité des échanges • Seulement 4 paires d'automates  faible complexité • Utilisation possible dans les SMA, en remplacement des protocoles de communication : • Générer des messages • Interpréter les messages reçus  Gestion des attendus des dialogues

13. Modélisation des interactions (6/7)Exemple d'automate temporisé

14. Modélisation des interactions (7/7)Sémantique des performatives : query M=pMessage(As Ar query pD(As S))

15. Simulation par SMA et validation (1/3)L'architecture d'agent BDIggy

16. Simulation par SMA et validation (2/3)Fonctionnement de l'interpréteur de plans Episode : prospective, ..., (Paris, optimized, cheapest) Pile de desirs : [ pD(railway pStage(Beaupreau Nantes * * coach * * *)) pD(railway pTravel( pStage(Beaupreau Nantes * * coach * * *) pStage(Nantes Baisieux * * * * * *))) pD(railway pProblem(railway true)) ] Pile d'intentions : [ pI(AskForStage,road,pStage(Beaupreau Nantes * * coach * * *) --- sendMessage,%agent,pD(%role %stage) --- waitMessage,%agent,pMessage(%agent %role reply pB(%stage)) OR pMessage(%agent %role reply pB(!%stage)) --- memorize,pMessage(%agent %role reply %stage ]

17. Simulation par SMA et validation (2/3)Protocole de simulation • Simulation de la résolution du problème de l'agence de voyage : • Lancement simultané de 3 agents BDIggy • Interfaçage avec l'environnement de l'expérimentation • Entrée : 1 personnalité pour chaque agent • Sortie : 1 protocole généré par agent • Réglage du système • Utilisation de 2/3 des protocoles expérimentaux • Comparaison entre les protocoles humains (personnalités) et les protocoles générés (mêmes personnalités) • Nombreux paramètres : délais dans les automates temporisés, nombre moyen d'erreurs, etc.

18. Simulation par SMA et validation (3/3)Protocole de simulation Test à la Turing

19. Conclusions… • Analyse des protocoles expérimentaux • Modèle de la planification humaine • Modèle de l'interaction humaine • Performatives appliquées à des états mentaux • Automates temporisés • Sémantique des performatives • Modèles de l'interaction et de la planification intégrés de façon homogène à l'architecture d'agent BDIggy • Validation des modèles cognitifs et de l'architecture : • Simulation de résolution par agents BDIggy • Comparaison des protocoles expérimentaux et des protocoles générés (test à la Turing)

20. … et perspectives • Intégration du traitement automatique de la langue naturelle • Modules de TAL • Actes de langage indirects (Searle72) • Apprentissage dans les automates temporisés • Apprentissage non-supervisé • Apprentissage supervisé • Extension à d'autres types de dialogue (négociation, etc.) • Extension à la résolution collaborative de problèmes • Extension à d'autres types d'interaction (ACA, interactions multimodales) • Conception de SMA hétérogènes

21. 2 Projet DigiTable

22. Contexte (1/3)Implication • Stage postdoctoral à France Télécom R&D (Lannion) • Projet RNTL, partenaires : • France Telecom R&D (Lannion) • LIMSI (Orsay) • ENSAM (Paris) • LIG/IIHM (Grenoble) • Intuilab (Toulouse) • ENST-Bretagne, Thalès (Brest) • Pôle de compétitivité "Images et Réseaux" (Bretagne) • http://digitable.imag.fr/

23. Contexte (2/3)Thèmes abordés • Interaction et collaboration distante : conscience mutuelle [Gutwin et al. 2004] • Communication intentionnelle : orale et gestuelle • Communication conséquentielle : informations transmises comme artéfact de l'activité du locuteur • Interfaces partagées • Single Display Groupware [Steward et al. 1999] : interactions colocalisées • Mixed Presence Groupware [Tang et al. 2004] : interactions colocalisées et distantes

24. Contexte (3/3)Motivation • Interaction sur table • Visualisation du geste distant transmet des informations indispensables (identité, intentionnalité, etc.) • Hypothèse : la visualisation du geste distant permet une collaboration efficace sans augmenter la charge cognitive : • Elle facilite la coordination (conscience des activités des autres) • Elle préserve les règles sociales (sentiment de propriété) • Elle permet d'avoir un référent commun Site 2: interface partagée + geste distant du site 1 Site 1: interface partagée + geste distant du site 2

25. Expérimentation • Résolution collaborative de puzzles : • Influence du type de puzzle (abstraits, figuratifs et textuels) • Influence de la situation (colocalisée et distante) • Influence de la configuration (face-à-face et côte-à-côte) • Influence de l'interface en situation distante • 2 séries de passation : • 1ère série : influence du type de puzzles • 2ème série : influence de la situation, de la configuration et de l'interface • Données récoltées : • Actions effectuées sur les pièces • Temps de résolution des puzzles • Enregistrement audio et vidéo des résolutions • Questionnaires de "satisfaction" • Etudes des interactions : • Du point de vue interfaces partagées • Du point de vue de la collaboration (stratégies, couplage, coordination, etc.)

26. ExpérimentationRésolution en situation côte-à-côte colocalisée

27. ExpérimentationRésolution en situation face-à-face distante

28. ExpérimentationDispositif

29. ExpérimentationInterfaces collaboratives

30. Résultats • Du point de vue interfaces partagées • Efficacité supérieure en situation distante qu’en situation colocalisée (temps de résolution, nombre d'actions, etc.) • Ressenti utilisateur plutôt positif • Importance de la représentation du geste distant (stratégies, coordination) • Du point de vue des interactions collaboratives • La médiatisation de la résolution influence les interactions (Kruger03)  conventions différentes • Les stratégies adoptées dépendent du type de puzzle (couplage)

31. Perspectives • Conditions d'utilisation des stratégies (couplage fort/faible) • Typologie du geste distant  intentionnalité • Conventions implicites d'interaction (localisation et orientation des pièces zones privées/publiques implicites) • Simulation par agents animés

32. Principales publications • Projet de l'agence de voyage [AAMAS'07] : "A Computational Model of Human Interaction and Planning for Heterogeneous Multi-Agent Systems", Pauchet, Chaignaud, El Fallah Seghrouchni. [IAT'05] : "A Cognitive Architecture for Cooperative Problem Solving", Pauchet, Chaignaud, El Fallah Seghrouchni. [MFI'05] : "Un modèle cognitif de l'interaction pour agents logiciels", Pauchet, Chaignaud, El Fallah Seghrouchni. • Projet DigiTable [Interact'07] : "Mutual awareness in co-localized and distant collaborative tasks using shared interfaces", Pauchet et al., à paraître, 14p. [MFI'07] : "Étude des interactions collaboratives en situations co-localisée et distante", , Pauchet et al., à paraître, 8p.

33. 1 Annexe : Projet de l'agence de voyage

34. Etude de la planification humaine • Planification séquentielle/parallèle • Construction de plans de manières : • Prospective • Rétrospective • Centrifuge • Centripète • Modèle de la planification humaine (Chaignaud96) : phase, état d'esprit, stratégies, tactiques, observations • Implantation : réutilisation du système IGGY (Chaignaud00) Implantation du système IGGY2 (analyse complète des protocoles)

35. Architecture d'agentLe module de perception et la mémoire

36. Architecture d'agentLe module IGGY2 Modèle de résolution collaborative de problèmes • Architecture de tableau noir à contrôle hiérarchique • Réutilisation du moteur d'IGGY • Spécialistes du domaine (dépendants du domaine) • Interpréteur Lisp en Java • Intégration à une architecture proche des BDI • Observations ≈ sous partie des croyances • Episode ≈ plan abstrait

37. Architecture d'agentL'interpréteur de plans • Générateur de désirs • Interprète un épisode comme un plan abstrait • Types de désirs : abstrait/élémentaire, instancié/non instancié, satisfait/insatisfait, réussi/non réussi, actif/en attente • Gère la(les) pile(s) de désirs de l'agent (purge, tri, etc.) • Générateur d'intentions • Traduit les désirs en intentions • Types d'intentions : active/en attente • Gère la(les) pile(s) d'intentions de l'agent • Module d'exécution • Exécute les actions intentionnées directement dur l'interface • Fait appel au module de communication

38. 2 Annexe : Projet DigiTable

39. ExpérimentationArchitecture logicielle