Autonomisation de modèles pour les simulations participatives

1. Autonomisation de modèles pour les simulations participatives Pierre De Loor LISyC-EA3883 deloor@enib.fr

2. signification Simulation participative • L’homme dans la boucle • Faire l’expérience de la simulation • Se construire une signification modèle utilisateur Autonomisation de modèles P. De Loor

3. Simulation participative • L’homme dans la boucle • Faire l’expérience de la simulation • Se construire une signification • Se subsituer • Autonomie Allers et retours de la 3ème à la 1ère personne modèle modèle La réalité nous résiste car elle est autonome [Tisseau01] Autonomisation de modèles P. De Loor

4. Sans interaction : Avec interactions : entrées sorties fonctions causalités interactions Analytique - Phénoménologique Simulation analytique Simulation phénoménologique 3ème personne 1ère personne Autonomisation de modèles P. De Loor

5. Calcul de trajectoires [Meyer 2002] Résolution analytique [Lucas 1883] EAO [Dessalles 1990] Agents autonomes situés [Drogoul 2000] Contraintes dynamiques [Verfaillie 2005] EVF [Querrec 2002] Analogies Simulation comportementale Résolution de problèmes Apprentissage Autonomisation de modèles P. De Loor

6. Analogies Evaluation d’IHM • Méthodes analytiques • [Card 1983] • Approche écologique • [Morineau 2002] Sciences cognitives • Cognitivisme • Philosophie analytique • [Pylyshyn 1984] Enactionnisme Phénoménologie [Varela 1993] Autonomisation de modèles P. De Loor

7. comportement sans autonomie comportements crédibles Résistance versus crédibilité comportements aléatoires sens ? non sens utilisateur ou modèle Représentation des perceptions … Autonomisation de modèles P. De Loor

8. Représentation des perceptions : autonomie versus richesse comportementale • Pragmatisme • Aides conceptuelles richesse comportementale • Abstractions • Métaphores • Apprentissages Autonomie/environnement Autonomisation de modèles P. De Loor

9. Plan • Prolégomène • Une abstraction : l’intention • Une métaphore : le stress • Un apprentissage • La simulation d’interactions situées • Perspectives Autonomisation de modèles P. De Loor

10. Une abstraction pour les agents situés : l’intention • Objectif « exploiter la notion d’intention pour autonomiser et prototyper des agents situés en Réalité Virtuelle » • Cadre : intention dans l’action [Berthoz 1997] • Apport : intention réactive • Anticipation (réactive) de l’effet des actions • Désynchronisation entre perception et prise de décision Agents situés [Gareau 1997, Drogoul 2000, Querrec 2002] Réactifs [Brooks 1990, Maës 1990] Délibératifs [Fikes 1971, Tate 1977, Firby 1987, Georgeff 1989, Wooldridge 2000] Hybrides [Schmidt 2000, Sloman 2002, Acquisti 2003] Autonomisation de modèles P. De Loor

11. Perception environnement Les actions des agents intentionnels Anticipation action Tendances qualitatives sur propriétés internes Construction d’une extériorité savoir propriétés Intention dans l’action Désynchronisation savoir-faire Modèle hybride : Choix délibératif d’intentions Sélection réactive d’action Exemples d’intentions : augmenter ma vitesse, diminuer mon altitude Autonomisation de modèles P. De Loor

12. tendances, propriétés, forces Anticipation génération délibérative sélection réactive d’une action modification Désynchronisation perception tendances, propriétés (savoir) propriétés action méthode (savoir-faire) La sélection d’action des agents intentionnels règles comportementales Autonomisation de modèles P. De Loor

13. inférences Thread intentions intentions propriétés ? intentions Intentions ? activité ARéVi activité ARéVi activité ARéVi Choix ? décision perceptions actions environnement Architecture consultations asynchrones flux d’informations SWI-Prolog propriétés C++ Autonomisation de modèles P. De Loor

14. Bilan sur les agents intentionnels • Abstraction pour l’autonomie • Représentation des perceptions • tendances sur propriétés • Substitution • désynchronisation • modification de l’anticipation en-ligne • Architecture et outil de prototypage • Prolog/ARéVi/C++ • Caméra virtuelle autonome • Animats Richesse comportementale Autonomie/ environnement Autonomisation de modèles P. De Loor

15. Une métaphore pour la résolution distribuée de problèmes : le stress • Objectif « Exploiter la notion de stress pour simuler la résolution de problèmes collectifs dynamiques » • Cadre • recuit simulé, déplacement, éco-résolution, satisfaction/altruisme • Apports • Heuristique de résolution adaptative • Aide à la collaboration méta-heuristiques [Holland 1992, Kirkparick 1998, Blum 2003 ] CSP [Verfaillie 2005,] Agents [Drogoul 1991, Guedira 1994, Gleizes 1999,Simonin 2003] Autonomisation de modèles P. De Loor

16. stress annulation propositions Buts personnels Buts collectifs propositions Les agents stressés perception gêneur refus requêtes Autonomisation de modèles P. De Loor

17. annulation L’heuristique de la crise en cascade temps Autonomisation de modèles P. De Loor

18. Bilan sur les agents stressés • Métaphore pour l’autonomie • Représentation des perceptions • stress • messages • Substitution • échanges asynchrones • modification des contraintes en-ligne • Groupe ASA du GDR I3 • A l’origine du logiciel de calcul des EDT de l’enib • Création d’une startup • Application à la résolution d’emplois du temps Richesse comportementale Autonomie/ environnement Autonomisation de modèles P. De Loor

19. Un apprentissage : le tuteur adaptatif • Objectif « Élaborer un tuteur, s’adaptant à des couples « apprenant-formateur » » • Cadre : • Environnements virtuels de formation [Querrec 2002] • Apprentissage artificiel par renforcement [Sutton 1988] • Apports : • Situation pédagogique • Structuration d’un système de classeurs Tuteur artificiel [Balacheff 1998, Rickel 1999, Tchounikine 2004] Apprentissage artificiel [Mitchell 1997, Cornuejol 2001] Autonomisation de modèles P. De Loor

20. L’utilisateur de la boucle est le formateur Environnement virtuel de formation Environnement Virtuel de Formation (V.E.T) analyse Réalité Virtuelle Tuteur artificiel (I.T.S) intervention pédagogique interactions Élève (apprenant) Autonomisation de modèles P. De Loor

21. Apprentissage domaine interface apprenant erreur Abstraction Métaphore Situation Pédagogique renforcement Apprentissage Adaptation de l’ITS perception décision Tuteur artificiel Réalité Virtuelle Générateur d’assistance pédagogique formateur propositions Autonomisation de modèles P. De Loor

22. Décisions pédagogiques • Hiérarchie de règles : • Démarches • Attitudes • Techniques • Orientations pédagogiques • Association de règles Concepts pédagogiques Adaptation des systèmes de classeurs environnement Réalité Virtuelle Choix formateur action rétribution Situation pédagogique État de l’ environnement renforcement appariement sélection Liste de règles Algorithmes génétiques Autonomisation de modèles P. De Loor

23. Application d’échelle industrielle Collaboration avec l’équipe SARA du CERV Bilan sur le tuteur adaptatif • Apprentissage pour l’autonomie • Représentation des perceptions • Situation pédagogique • Substitution • Adaptation en-ligne Richesse comportementale Autonomie/ environnement Autonomisation de modèles P. De Loor

24. Une synthèse : la simulation participative d’interactions • Objectif « Simuler le comportement d’un utilisateur de système interactif pour évaluer son utilisabilité» • Cadre : • Approche globale « écologique » [Morineau 2002] • « Faillible Machine » [Reason 1990] • Apports : • Intégration de trois modèles • Modèle d’utilisateur : erreurs et confusions • Analytique : [Card 1983, Kieras 1994, John 2002] • Simulation : [Newell 1990, Anderson 1993, Kieras 1997] Autonomisation de modèles P. De Loor

25. Approche globale Abstractions perturbations sensorielles fonctionnalités d’usage Environnement Dynamique Perturbation modale Utilisateur Sensitif Cognitif Système multimodal Fonctions Interactions sortie perception action Scénario Autonomisation de modèles P. De Loor

26. Modèle de l’utilisateur Apprentissage Scénario Actions/rendez-vous but interruption Modalités de sortie Modèle Connexionniste de perception Modèle Cognitiviste de décision Modalités possibles Système multimodal Environnement Contexte personnel Modalités d’action Abstraction Autonomisation de modèles P. De Loor

27. Outil SIHMM Collaborations France-Télécom Equipe SARA du CERV Bilan sur la simulation participative d’interaction • Utilisateur virtuel autonome • Représentation des perceptions • Contexte personnel • Interactions avec le système • Substitution • Modification en-ligne du modèle connexionniste Richesse comportementale Autonomie/ environnement Autonomisation de modèles P. De Loor

28. Modèle de l’environnement Construction d’une extériorité Réflexion richesse comportementale Contexte tuteur adaptatif cognitif utilisateur virtuel Enaction agents stressés agents intentionnels réactif Autonomie/ environnement Autonomisation de modèles P. De Loor

29. Exploitation de la notion de contexte • Conditions significatives faisant qu’une situation est identifiable [Pomerol 2001] • Offrir un point de vue particulier de l’environnement la « propre représentation » du modèle • Situations dynamiques collaboratives • Explications • Thèse de Romain Bénard [Benard 2007] • Collaboration équipe SARA : Thèse de Cyril Bossard Autonomisation de modèles P. De Loor

30. L’Enaction : un paradigme pour l’autonomisation Interaction • Autonomie sans représentation • Métaphore conceptuelle Couplage Déformation Autopoièse Histoire Cognition [Varela 1989] Environnement Autonomisation de modèles P. De Loor

31. L’énaction : un paradigme pour l’autonomisation • Questions ouvertes • Autopoièse artificielle ou couplage • Domaine phénoménal • Domaine cognitif • Statut de l’utilisateur • Expérimentations • Positionnement théorique • Thèse de Kristen Manac’h [Manac’h 2009] Autonomisation de modèles P. De Loor

32. Deux courants importants • L’autonomisation grâce aux systèmes de classeurs : héritage de l’apprentissage artificiel • L’Approche dynamique de la cognition : héritage de la biologie Autonomisation de modèles P. De Loor

33. Introduction aux systèmes de classeurs Un exemple d’apprentissage artificiel

34. Une définition Un programme apprend une tache (T) à partir d ’expériences (E) si les performances (P) pour effectuer T s ’améliorent avec E. (Mitchell97) Autonomisation de modèles P. De Loor

35. Une courbe Performance Nb expériences Autonomisation de modèles P. De Loor

36. Un exemple + + + - - Autonomisation de modèles P. De Loor

37. Une reconnaissance + + - Autonomisation de modèles P. De Loor

38. ? ? ? Une généralisation + + + - - Les cadres carrés sont positifs ? Autonomisation de modèles P. De Loor

39. Un problème + + + - - + - + Non : les cadres carrés ne sont pas tous positifs Autonomisation de modèles P. De Loor

40. Une autre courbe : généralisation/reconnaissance Performance reconnaissance (d’un unique échantillon) généralisation (un autre échantillon sert de test) Nb expériences Autonomisation de modèles P. De Loor

41. Des apprentissages artificiels • Mise en œuvre de techniques pour améliorer la reconnaissance et/ou la généralisation • Diffèrent en fonction de plusieurs critères : • Nature des concepts à apprendre (symboles discrets, valeurs continues, bruit) • va influencer la nature du modèle appris • Accès des entrées (paquet d’exemples, flux, correction d’hypothèses, interaction) • va influencer le protocole d’apprentissage Autonomisation de modèles P. De Loor

42. Métaphores / Algorithmes Inspirés des Sciences Cognitives et de la psychologie • Apprentissage par renforcement • Induction et abduction logique, floue … • Réseaux de neurones artificiels Inspirés de la biologie • Évolution simulée • Approche dynamique Inspiré des probabilités • Réseaux baysiens Mixages de techniques Autonomisation de modèles P. De Loor

43. Familles d’accès • Supervisé : liste d’exemples analysés d’un coup • Non supervisé : exemples donnés progressivement, classification faite en ligne • Renforcé : pas d’exemple, juste des récompenses et/ou des punitions Autonomisation de modèles P. De Loor

44. Perception-Décision-Action-Apprentissage P.D.A apprentissage e s environnement • Apprentissage d’un triplet P.D.A • Les métaphores psychologiques et des • sciences cognitives sont prépondérantes Autonomisation de modèles P. De Loor

45. Problème de l’agent situé • Localité de la perception • Dynamisme de l’environnement • Or, il nous faut une représentation de l’environnement Autonomisation de modèles P. De Loor

46. Historique • Conditionnement pavlovien stimulus neutre association stimulus inconditionnel Autonomisation de modèles P. De Loor

47. Historique • Skinner : conditionnement opérant • Actions de l’animal Contingence à 3 termes Contingence à 2 termes Autonomisation de modèles P. De Loor

48. Historique • Tolman et Honzic Pas d’obstruction : apprend 1 Puis : bloc A : utilise 2 Ou bloc B : utilise 3 sans passer par 2 B A 3 1 2 Autonomisation de modèles P. De Loor Il « sait » que B obstrue 1 et 2 => modèle de l’environnement

49. Système de classeurs environnement 1010 01 capteurs effecteurs action état récompense attendue rétribution éventuelle #010:01 28 #0##:11 12 101#:01 42 #0#0:11 11 01#1:10 12 10#1:00 25 M (Match set) A (Action set) #010:01 28 #0##:11 12 101#:01 42 #0#0:11 11 #010:01 28 101#:01 42 roulette AG renforcement interne A-1 Autonomisation de modèles P. De Loor

50. Renforcement des ZCS : Algorithm « Bucket Brigade » environnement sceau B Prélèvement d ’un pourcentage br (taxe) (exemple 10%) taux d ’apprentissage 2.8+4.2=7 rétribution éventuelle A A A #010:01 28 101#:01 42 #010:01 25.2 101#:01 37.8 #010:01 27.2 101#:01 39.8 renforcement interne taux de remise ##10:11 5 11##:11 8 #11#:11 9 A-1 ##10:11 5.7 11##:11 9 #11#:11 10 A-1 Autonomisation de modèles P. De Loor Variante pour convergence : diminution des poids des classifieurs de M-A