1 / 17

Stéphanie BUISINE Yun WANG Jean-Claude MARTIN

Synchronisation temporelle entre parole et expression faciale des ACAs. Stéphanie BUISINE Yun WANG Jean-Claude MARTIN. +. Contexte et origine de la problématique Projet Autisme. ✦ LIMSI, MerLIn , Centre Emotion UMR 7593 (J. Nadel , O. Grynszpan ), etc.

simeon
Download Presentation

Stéphanie BUISINE Yun WANG Jean-Claude MARTIN

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Synchronisation temporelle entre parole et expression faciale des ACAs Stéphanie BUISINE Yun WANGJean-Claude MARTIN

  2. + Contexte et origine de la problématiqueProjet Autisme ✦ LIMSI, MerLIn, Centre Emotion UMR 7593 (J. Nadel, O. Grynszpan), etc. ✦ Animations ACAs pour apprendre aux personnes autistes à percevoir les émotions pour comprendre des situations quotidiennes.

  3. + Contexte et origine de la problématiqueConception des animationsMéthodes «Unmasking the faces» Ekman [97] «MindReading»

  4. + Contexte et origine de la problématiqueConception des animationsMéthodes + Goldwave

  5. + Contexte et origine de la problématiqueConception des animationsMéthodes

  6. + Contexte et origine de la problématiqueConception des animationsMéthodes

  7. Contexte et origine de la problématiqueConception des animationsProblématique et protocole + Comment doit-on synchroniser les expressions faciales avec la parole ? ✦ Cinq variantes de combinaison temporelle  : ✧ expression avant parole ✧ expression en début de parole ✧ expression pendant parole ✧ expression en fin de parole ✧ expression après parole expression parole parole expression parole expression parole expression parole expression ✦ Trois dimensions à évaluer: L’efficacité:exactitude de décodage de l’expression faciale (performance) Le réalisme: ressemblance avec l’expression humaine La préférence: critères subjectifs

  8. Contexte et origine de la problématiqueConception des animationsProblématique et protocole + ✦ 23 participants non autistes ✦ 6 scenarios émotionnels: JOIE/ « Je suis ensuite allé regarder mon émission préférée. » DEGOUT/ « On nous sert des épinards. » SURPRISE/ « Mon train a 20 minutes de retard. » TRISTESSE/ «  Je vais travailler tout le week-end. » PEUR/ « J’ai perdu le téléphone portable que j’avais emprunté à mon père. » COLERE/ « Charles m’a fait une blague en cachant mon livre. » • ✦ 30 animations en ordre aléatoire • ✧ question ouverte de décodage • ✧ cotation de l’intensité (1 à 7) • ✦ 6 groupes de cinq animations • ✧ cotation du réalisme (1 à 7) • ✧ un choix de préférence

  9. Contexte et origine de la problématiqueConception des animationsProblématique et protocoleRésultatsReconnaissance + Significativement meilleure (p=0.05) La moins bonne (p=0.025) ✦ Effet du mode de synchronisation sur la performance de reconnaissance F(4/420)=5.92 ; p<0.001.

  10. Contexte et origine de la problématiqueConception des animationsProblématique et protocoleRésultatsReconnaissance + ✦ Interaction synchronisation * émotion F(4/420)=2.41 ; p<0.001.

  11. Contexte et origine de la problématiqueConception des animationsProblématique et protocoleRésultatsIntensité + La plus intense (p=0.011) ✦ Effet du mode de synchronisation sur la perception de l’intensité des émotions F(4/420)=2.89 ; p=0.001.

  12. Contexte et origine de la problématiqueConception des animationsProblématique et protocoleRésultatsRéalisme + La plus réaliste (p<0.001) La moins réaliste (p=0.008) ✦ Effet du mode de synchronisation sur le réalisme F(4/420)=24.19 ; p<0.001.

  13. Contexte et origine de la problématiqueConception des animationsProblématique et protocoleRésultatsPréférences + ✦ Effet du mode de synchronisation sur la préférence F(4/420)=25.87 ; p<0.001 et interaction avec l’émotion F(20/420)=1.87= ; p=0.013.

  14. Contexte et origine de la problématiqueConception des animationsProblématique et protocoleRésultatsCorrélations + ✦ La performance de reconnaissance n’est liée ni au réalisme de l’animation ni à la préférence de l’utilisateur.

  15. Contexte et origine de la problématiqueConception des animationsProblématique et protocole RésultatsConclusion + ✦ Stratégies différentes selon que l’on privilégie performance ou réalisme. ✦ Guide d’animation synthétique conciliant le maximum de résultats :

  16. + Bibliographie associée ✦ Modèle « expression pendant parole » généralement adopté. ✧ Au niveau des unités porteuses de sens (mots ou pauses). [Cassell et al. (1994), Pelachaud et al. (1996), King & Parent (2003)] ✧ Au niveau des tours de parole. [De Rosis et al., 2003] ✦ Le maintien de l’expression dans le temps est un des facteurs modulant l’expressivité faciale. [Pelachaud (2005)]  résultats concordants ✦ La dynamique de l’expression dépend du type d’émotion (ex: évaluation de la surprise arrive tôt). [Ekman (2003), Scherer (2000)] ✦ Dissociation entre réalisme et évaluation subjective. [Mori (2005) « UncannyValley », Groom et al., 2009]  résultats discordants ✦ Autres ??? parole expression

  17. MERCI !

More Related