Modélisation bayésienne de la perception et de l’action

1. Modélisation bayésienne de la perception et de l’action Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 24/11/2009 http://diard.wordpress.fr Julien.Diard@upmf-grenoble.fr

2. Plan • Modélisation bayésienne de la perception • Introduction à la perception multi- • Perception visuo-haptique (Ernst & Banks, 02) • Causal Inference (Körding et al., 07) • Questions ouvertes • Modélisation bayésienne de l’action • Introduction au contrôle moteur • Modèle de minimum variance • Modélisation de la perception et de l’action: boucles sensorimotrices • Exemple : modélisation de l’écriture • Questions ouvertes

3. Plan • Modélisation bayésienne de la perception • Introduction à la perception multi- • Perception visuo-haptique (Ernst & Banks, 02) • Causal Inference (Körding et al., 07) • Questions ouvertes • Modélisation bayésienne de l’action • Introduction au contrôle moteur • Modèle de minimum variance • Modélisation de la perception et de l’action: boucles sensorimotrices • Exemple : modélisation de l’écriture • Questions ouvertes

4. Modélisation de la perception multi- • Multi-? • Intramodale : multi-indice • Multimodale : multi-sensorielle • Modèle de pondération linéaire (Lambrey, 2005)

5. Modèle de pondération sensorielle

6. Modélisation de la perception • Perception • Un problème inverse (Poggio, 1984) • Modèle bayésien • Inversion + hypothèse d’indépendance conditionnelle

7. Vision • Perception des plans : préférence pour des plans rigides, de stationnaires (Colas, 06) • Perception des formes (revue de Kersten et al., 04) : • préférence pour les objets convexes • préférence pour des lumières venant du haut, stationnaires • préférence pour un point de vue situé au dessus de la scène • Proprioception (Laurens, 08)

8. Fusion multi-indices • Haptique : géométrie et force (Drewing & Ernst, 06) • Vision (Kersten et al., 04) • Fusion multi-sensorielle • Visuo-haptique (Ernst & Banks, 02) • Visuo-acoustique • Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07) • effet McGurk • Reconnaissance de voyelles (Gilet, 06)

9. Plan • Modélisation bayésienne de la perception • Introduction à la perception multi- • Perception visuo-haptique (Ernst & Banks, 02) • Causal Inference (Körding et al., 07) • Questions ouvertes • Modélisation bayésienne de l’action • Introduction au contrôle moteur • Modèle de minimum variance • Modélisation de la perception et de l’action: boucles sensorimotrices • Exemple : modélisation de l’écriture • Questions ouvertes

10. Nature, 429–433, 2002

11. Humans integrate visual and haptic information in a statistically optimal fashion • Mécanisme d’integration visuo-haptique par fusion de gaussiennes • Utilisé par les humains

12. Plan • Protocole expérimental • Modèle bayésien de fusion capteurs • Comparaison du modèle au données

13. Matériel expérimental

14. Stimuli visuels

15. 4 niveaux de bruit visuel : 0% 67% 133% 200% 1 niveau haptique 1 s de présentation Tâche de choix forcé laquelle de ces deux barres est la plus grande ? Stimuli et tâche

16. Cas mono-modal

17. Integration visuo-haptique • Comparison stimulus • visual and haptic heights equal • vary in 47-63 mm • Standard stimulus • visual and haptic heights differ • Δ = {±6 mm, ±3 mm, 0} • mean is 55 mm

18. Integration visuo-haptique 0%

19. Integration visuo-haptique 0% 67%

20. Integration visuo-haptique 0% 67% 133%

21. Integration visuo-haptique 0% 67% 133% 200%

22. Plan • Protocole expérimental • Modèle bayésien de fusion capteurs • Comparaison du modèle au données 22

23. Modèle bayésien de fusion « naïve » 23

24. Modèle bayésien de fusion « naïve » 24

25. Modèle bayésien de fusion « naïve » • Estimateur de maximum de vraisemblance • Par opposition à Bayésien • « Statistiquement optimal » • Moindre variance : 25

26. Plan • Protocole expérimental • Modèle bayésien de fusion capteurs • Comparaison du modèle au données 26

27. Choix d’une gaussienne parmi 2 Point d’égalité subjective PSE : moyenne Seuil de discrimination Quelles gaussiennes ? T = 0.085 x 55 mm 0.04 x 55 mm 27

28. Integration visuo-haptique • Comparison stimulus • visual and haptic heights equal • vary in 47-63 mm • Standard stimulus • visual and haptic heights differ • Δ = {±6 mm, ±3 mm, 0} • mean is 55 mm

29. Integration visuo-haptique 0% 67% 133% 200%

30. Comparaison modèle - données 0% 67% 133% 200%

31. Moyennes prédites - observées 31

32. Variances prédites - observées JND 32

33. Questions, critiques ?

34. Plan • Modélisation bayésienne de la perception • Introduction à la perception multi- • Perception visuo-haptique (Ernst & Banks, 02) • Causal Inference (Körding et al., 07) • Questions ouvertes • Modélisation bayésienne de l’action • Introduction au contrôle moteur • Modèle de minimum variance • Modélisation de la perception et de l’action: boucles sensorimotrices • Exemple : modélisation de l’écriture • Questions ouvertes

35. Perception audio-visuelle • Effet ventriloque (Alais and Burr, 2004)

36. Causal inference (Körding et al., 07) • Modèle à 1 source, modèle à 2 sources • Intégration sur s, sA, sv, C

37. Données expérimentales

39. Pour chaque sujet • Calcul des paramètres sur la moitié des données : R2 = 0.98 • Validation croisée sur l’autre moitié : R2 = 0.96

40. Modèle sans sommation sur C (tirage du C le plus probable) Modèle sans alternative à 2 sources : P(C=1) = 1 Modèle sans alternative à 1 source : P(C=2) = 1

41. Plan • Modélisation bayésienne de la perception • Introduction à la perception multi- • Perception visuo-haptique (Ernst & Banks, 02) • Causal Inference (Körding et al., 07) • Questions ouvertes • Modélisation bayésienne de l’action • Introduction au contrôle moteur • Modèle de minimum variance • Modélisation de la perception et de l’action: boucles sensorimotrices • Exemple : modélisation de l’écriture • Questions ouvertes

42. Question ouverte • De nombreux exemples d’application du modèle de fusion • Limite de validité du modèle ? • Valeur d’un modèle qui s’applique partout ?

43. Plan • Modélisation bayésienne de la perception • Introduction à la perception multi- • Perception visuo-haptique (Ernst & Banks, 02) • Causal Inference (Körding et al., 07) • Questions ouvertes • Modélisation bayésienne de l’action • Introduction au contrôle moteur • Modèle de minimum variance • Modélisation de la perception et de l’action: boucles sensorimotrices • Exemple : modélisation de l’écriture • Questions ouvertes

44. Modélisation du contrôle • Mouvements de pointage, volontaire, chez l’humain • Etude des régularités • Lois du mouvement • Hypothèses sur les mécanismes • Modèles (neuro)cognitifs

45. 3 lois • Isochronie • Loi de Fitts • Loi de la puissance 2/3

46. Palluel-Germain, 08 • L’Isochronie : la durée du mouvement reste stable quelque • soit l’amplitude du mouvement • Ex : Saisie (Jeannerod 1984) Vitesse (cm/s) Tâche : Saisie d’un cylindre à différentes distances (40,32,25) Résultats : Temps similaire/augmentation de la vitesse Durée (ms) La durée du mouvement semble fixée à l’avance

47. Cible de taille W à une distance D

48. Loi de puissance de 2/3 V(t) = K * R(t) 1-β K = gain de vitesse V(t) = vitesse du mouvement R(t) = rayon de courbure 1-β = 1/3

49. Modèles de planification de mouvements Planification de mouvement = Sélection d’une trajectoire selon un coût

50. Observations • Les trajectoires de la main sont invariantes et quasiment rectilignes quelles que soit les positions initiales et terminales du mouvement et s’accompagnent toutes d’un profil de vitesse en cloche. • Au contraire, lorsque les mouvements sont décrits selon leur trajectoire articulaire une grande variabilité est observée