Caractérisation de signaux pour l'interaction sociale

1. Caractérisation de signaux pour l'interaction sociale Kévin Bailly, Catherine Achard, Mohamed Chetouani {bailly,achard,chetouani}@isir.upmc.fr ISIR - Institut des Systèmes Intelligents et de Robotique Groupe IMI2S : Intégration Multimodale, Interaction et Signal Social

2. IMI2S : Intégration Multimodale, Interaction et Signal Social • Objectifs : • Analyser, caractériser, reconnaitre, modéliser les signaux et les comportementssociaux • Améliorer de la compréhension des interactions sociales: processus émotionnels et intermodaux • Développer des systèmes interactifs, sociaux et multi-modaux pour l’assistance de personnes déficientes • Equipe pluridisciplinaire : • Sciences de l’ingénieur • Psychologie • Neurosciences

3. PLAN • Caractérisation des signaux socio-émotionnels • Dynamique de la communication humaine • Synchronies interpersonnelles • Mesure de l’engagement Visage Geste Parole

4. PLAN • Caractérisation des signaux socio-émotionnels • Dynamique de la communication humaine • Synchronies interpersonnelles • Mesure de l’engagement Visage Geste Parole

5. Analyse automatique du visage Estimation et suivi de pose Localisation de points caractéristiques Reconnaissance d’Action Units Reconnaissance d’émotions

6. Analyse automatique du visage Estimation et suivi de pose Localisation de points caractéristiques Reconnaissance d’Action Units Reconnaissance d’émotions

7. Estimation de la pose de la tête Sélectionner les descripteurs qui permettent à un réseau de neurones de prédire la pose du visage Réseau de neurones Pose Solution proposée : algorithme BISAR [1] [1] K. Bailly et M. Milgram, Boosting Feature Selection for Neural Network based Regression.Neural Networks 22 (5-6) : 748-756, 2009.

8. Suivi de la pose de la tête • Alignement d’un modèle déformable 3D • Thèse CIFRE avec Eikeo (anc. Majority Report) [1] P. Phothisane, E. Bigorgne, L. Collot, L. Prévost, A Robust Composite Metric for Head Pose Tracking using an Accurate Face Model.IEEE Face and Gesture2011.

9. Analyse automatique du visage Estimation et suivi de pose Localisation de points caractéristiques Reconnaissance d’Action Units Reconnaissance d’émotions

10. Localisation de points caractéristiques Approche par alignement d’un modèle déformable • Localisation du visage • Initialisation du modèle de forme 2D • Alignement du modèle

11. Alignement d’un modèle déformable par apprentissage de la fonction de coût Réseau de neurones Fonction de coût Score Objectif : Apprendre la relation entre la distance du modèle par rapport à sa position optimale et l’apparence de la texture transférée

12. Approche par détection Caractérisation multi-échelles des points d’intérêt du visage

13. Détections multi-échelles Détection d’un point du visage à l’aide d’un classifieur SVM Multi-Noyaux

14. Approche par détection Le pixel candidat choisi est celui correspondant au maximum de la sortie du classifieur SVM et qui aboutit à une forme statistiquement valide V. Rapp, T. Senechal, K. Bailly, L. Prevost, Multiple Kernel Learning SVM and Statistical Validation for Facial Landmark Detection, IEEE FG 2011 V. Rapp, T. Senechal, K. Bailly, L. Prevost, Machine à Vecteur Support Multi Noyaux pour la détection de points caractéristiques faciaux, RFIA 2011

15. Analyse automatique du visage Estimation et suivi de pose Localisation de points caractéristiques Reconnaissance d’Action Units Reconnaissance d’émotions

16. Contexte : projet ANR IMMEMO IMMEMO : IMMersion 3D basée sur l’interaction EMOtionnelle

17. Descripteurs : histogrammes LGBP * Image extraite et redimensionnée Filtres de Gabor Images de Gabor Histogrammes LGBP Cartes LGBP Décomposition des 18 cartes LGBP en N régions, puis un histogramme est calculé par région et par fréquence spatiale et orientation des filtres de Gabor.

18. Reconnaissance d’expression faciales AU 1 : 0 AU 2 : 1 AU 3 : 1 … SVM Intersection d’histogrammes Visage détouré et redimensionné Histogramme LGBP

19. Reconnaissance d’expressions faciales AU 1 : 0 AU 2 : 1 AU 3 : 1 … SVM HDI Kernel Visage détouré et redimensionné Histogramme LGBP Adapté aux différences d’histogrammes T. Senechal, K. Bailly, L. Prevost, Automatic facial action detection using histogram variation between emotional states,ICPR 2010.

20. Fusion de descripteurs • Combinaisons les histogrammes LGBP avec les AAM 2.5D [1] http://sylvain.legallou.fr/ • Les histogrammes h et les vecteurs d’apparence AAM c sont combinés par apprentissage multi-noyaux : • K([h1 c1], [h2 c2]) = β1KLGBP(h1,h2) + β2 KAAM(c1,c2) [1] A. Sattar, Y. Aidarous et R.Seguier, “Gagm-aam: a genetic optimization with gaussian mixtures for active appearance models” dans Proc. IEEE Int’l. Conf. on Image Processing (ICIP’08)

21. Résultats expérimentaux : détection des AU • Détection de 12 AU dans 145 séquences. • Base indépendante de 145 séquences à étiqueter image par image (5000 images à étiqueter) • Mesure F1 utilisé comme mesure de performance (moyenne harmonique de la précision et du rappel) Facial Expression Recognition and Analysis Challenge (FERA2011) Résultats officiels (mesure F1) pour détection des AU Score 2 AFC pour différents descripteurs 21

22. Analyse automatique du visage Estimation et suivi de pose Localisation de points caractéristiques Reconnaissance d’Action Units Reconnaissance d’émotions

23. Exemples

24. Résultats expérimentaux :détection des émotions • Détection de 5 émotions dans 134 séquences. • SVM multi-classe « un-contre-tous » entraîné pour reconnaître l’émotion sur chaque image. • Etiquetage image par image puis l’émotion apparaissant dans le plus grand nombre d’image est associée à la séquence. Comparaison de notre score de reconnaissance de l’émotion avec les meilleurs compétiteurs de FERA 2011

25. Actions Units ou détection directe de l’émotion ? Emotions basiques CombinaisonsAUs apprentissage Architecture EAUS Détecteursd’AU Histogrammes LGBP apprentissage Scores d’AU Reconnaissance des émotions apprentissage Architecture EFS Emotion inconnue Reconnaissance des émotions T. Senechal, K. Bailly, L. Prevost, Impact of Action Unit Detection in Automatic Emotion Recognition, Pattern Analysis & Applications (en révision)

26. PLAN • Caractérisation des signaux socio-émotionnels • Dynamique de la communication humaine • Synchronies interpersonnelles • Mesure de l’engagement Visage Geste Parole

27. Suivi de gestes Suivi du haut du corps humain combinant filtrage particulaire à recuit simulé et propagation de croyance I. Renna,R. Chellali and C. Achard. Real and Simulated Upper Body Tracking with Annealing Particle Filter and Belief Propagation for Human-Robot Interaction.International Journal of Humanoid Robotics. 2010

28. Reconnaissance de gestes

29. PLAN • Caractérisation des signaux socio-émotionnels • Dynamique de la communication humaine • Synchronies interpersonnelles • Mesure de l’engagement Visage Geste Parole

30. Signal de parole • La caractérisation de signaux de parole • Identité du locuteur [1] : caractérisationstatistique du résidu de prédiction pour améliorer la robustesse des systèmes de reconnaissance du locuteur • Information non verbale : états affectifs et communicatifs [1] M. Chetouani, M. Faundez-Zanuy, B. Gas, and J. L. Zarader. Investigation on lp-residual representations for speaker identication. Pattern Recognition, 2009

31. Caractérisation des états affectifs : La notion d'ancrages • Détection d’un ensemble d'ancrages (phonétique et rythmique [1], voisés/non voisés [2]) • Exploitation de la valence émotionnelle portée par chacun des ancrages (caractérisation du signal et décisions locales) • Fusion d'informations pour inférer une décision sur le tour de parole. [1] F. Ringeval. Ancrages et modèles dynamiques de la prosodie : application à la reconnaissance des émotions actées et spontanées. Thèse de doctorat UPMC, 2011 [2] A. Mahdhaoui, M. Chetouani, and Cong Zong. Motherese detection based on segmental and supra-segmental features, ICPR, 2008.

32. Dynamique du signal de parole • Analyse de la dynamique des ancrages par la caractérisation du rythme.

34. Apprentissage pour la caractérisation de signaux de parole en situation réaliste • Approches semi-supervisées pour la détection de mamanais (parole spécifique produite par la mère durant l'interaction avec son enfant) A. Mahdhaoui and M. Chetouani. Supervised and semi-supervised infantdirected speech classication for parent-infant interaction analysis. Speech Communication, 2011

35. PLAN • Caractérisation des signaux socio-émotionnels • Dynamique de la communication humaine • Synchronies interpersonnelles • Mesure de l’engagement Visage Geste Parole

36. Synchronies dyadiques • Reconnaissance automatique du degré de coordination • Détermination des descripteurs pertinents pour mesurer la qualité de la collaboration E. Delaherche and M. Chetouani. Multimodal coordination : exploring relevant features and measures. Workshop SSP, 2010

37. Dendrogramme Matrice des synchronies

38. Caractérisation du degré d'engagement • Objectif : mesurerl’engagementd’un patient dansunetâche de stimulation cognitive • Situation triadique • Cas de l'interaction entre : • Patient • Exercice de stimulation • Thérapeute/robot • (projet ROBADOM)

39. Détection de l'interlocuteur (face engagement) Corrélation des caractéristiques audiovisuelles (MFCC + DCT de la zone de la bouche)

40. Mesure de l’engagement à partir de la prosodie • La détection d’un visage parlant ne suffit pas à caractériser l’engagement • L’auto-verbalisation (self-talk) est un indicateur du degré d'engagement du patient dans la tâche • L'estimation de l'effort d'interaction

41. Mesure de l’engagement • La notion d’engagement est : • Complexe • Mal définie • Multimodale • Personnelle • Contextuelle

42. Conclusion • Ensemble de méthodes pour caractériser le signal social : • Visage : estimation de pose, suivi de points caractéristiques, reconnaissance d’expressions faciales • Geste : suivi de gestes et reconnaissance d’actions • Parole : caractérisation des émotions, détection de mamanais. • Versunemodélisation de la dynamique de la communication : • Mesure de coordination (synchronie) • Mesured’engagement

43. Caractérisation de signaux pour l'interaction sociale Kévin Bailly, Catherine Achard, Mohamed Chetouani {bailly,achard,chetouani}@isir.upmc.fr ISIR - Institut des Systèmes Intelligents et de Robotique Groupe IMI2S : Intégration Multimodale, Interaction et Signal Social