Communication expressive : agents rationnels, agents conversationnels, r ôle des é motions

1. Communication expressive : agents rationnels, agents conversationnels, rôle des émotions Véronique Aubergé

2. Agent Communicant Animé Synthèse vocale : une voix = un corps = une personne => but inter-agir - avant la synthèse par corpus : intelligibilité + « naturel » • aujourd’hui : « pertinence » • => personnalité C affects, attention, motivation Super-ordi Hal / Carl , 2001 L’Odyssée de l’espace version ori traduction Super-ordi revisité Un ticket pour l’espace personnalité attendue en contexte pas un problème lié à la virtualité… Serveur vocal standard Uni Stendhal - voix naturelle…

3. Languages “intuitions” about affects: English from Whissell and Plutchik Accepting, Adventurous, Affectionate Afraid, Aggressive, Agreeable, Amazed, Ambivalent, Amused, Angry, Annoyed, Antagonistic, Anticipatory, Anxious, Apathetic, Apprehensive, Ashamed, Astonished, Attentive, Awed, Bashful, Bewildered, Bitter, Boastful, Bored, Calm, Cautious, CheerfuI, Confused, Contemptuous, Content, Contrary, Co-operative, Critical, Curious, Daring, Defiant, Delighted, Demanding, Depressed, Despairing, Disagreeable, Disappointed, Discouraged, Disgusted, Disinterested, Disobedient, Displeased, Dissatisfied, Distrustful, Eager, Ecstatic, Elated, Embarrassed, Empty, Enthusiastic, Envious, Exasperated, Expectant, Forlorn, Furious, Generous, Gleeful, Gloomy, Greedy, Grief-stricken, Grouchy, Guilty, Happy, Helpless, Hesitant, Hopeful, Hopeless, Hostile, Humiliated, Impatient, Impulsive, Indecisive, Indignant, In love, Inquisitive, Interested, Intolerant, Irritated, Jealous, Joyful, LoathfuI, Lonely, Meek, Nervous, Obedient, Obliging, Outraged, Panicky, Patient, Pensive, Perplexed, Planful, Pleased, Possessive, Proud, Puzzled, Quarrelsome, Ready, Receptive, Reckless, Rebellious, Rejected, Remorseful, Resentful, Revolted, Sad, Sarcastic, Satisfied, Scared, Scornful, Self-conscious, Self-controlled, Serene, Shy, Sociable, Sorrowful, Stressed, Stubborn, Submissive, Surprised, Suspicious, Sympathetic, Terrified, Timid, Tolerant, Trusting, Unaffectionate, Uncertain, Uncooperative, Unfriendly, Unhappy, Unreceptive, Unsympathetic, Vascillating, Vengeful, Watchful, Wondering, Worried…

4. (hostile, vengeur, sympathique) Affects : empirisme naïf de notre langue/culture/société humeurs (stress) émotions (joie, dégoût) attitudes, traits comportementaux, intentions états mentaux/cognitifs sentiments (bonheur) (amoureux)

5. Conscience langagière, philosophie=> science : psychologie plusieurs grandes approches • La perspective néo-darwinienne (Darwin, Ekman…) • La perspective physiologique (James/Lange,Cannon/Bard) • La perspective cognitive (Damasio, Frijda, Scherer…) • le constructivisme social (Averill) cerveau + (?) corps « appraisal /évaluation ; self-conscious/conscience de « soi » => les autres ? (empathie, théorie de l’esprit => BDI) (3) expressions => catégories vs./+ continuum (4) « Affective Science » & émotions

6. Evolutive theory: Basic/Discrete/Universal Emotions • Paul Ekman and Carroll Izard • Insist that there are a limited number of basic emotions • Basic emotions • Emotions that are found in all cultures, that are reflected in the same facial expressions across cultures, and that emerge in children according to their biological timetable • Various forms of its expression • Static forms • No proposal on speech expression coherence SURPRISE JOY SADNESS ANGER FEAR DISGUST

7. Charles Snodon, Expression of Emotion in Nonhuman Animals, Hanbook of Affective Science, 2003

8. Ekman : une école en faciale : psychologie + talking heads/robotique Beaucoup de travaux en facial, peu de modèles alternatifs par ex D Massaro : “l’analyse objective > humain” ou modèles statistiques (Bateson + …)

9. Emotion in body • Body/Physical • blood pressure • heart rate • adrenaline levels • muscle activity when smiling, frowning, etc. • posture • tears • perspiration • lie detector readings (??) • neural images : body in the brain

10. Physiology => cognition

11. Cognitive theories: continuous dimensions Plutchik 3-D Circumplex Model arousal; hedonism; potency Russel 2-D arousal; potency Arousal + JOIE Valence + Valence - TRISTESSE Arousal -

12. face gestuality acoustic speech [Fonagy; Scherer, Banziger; Cowie; Cahn; Batliner; Campbell; Ni Chasaide, Gobl; Ron Amir; Schröder; Laukka…] affects expression channels in acoustics oral language speech voice

13. emotional functions in voice « during speech » • Affective functions of speech communication • embodied functionalism model « perception-action theory but directed by functions » [Aubergé 92..02] involuntary control emotion events time

14. Contrôle involontaire : inné=> universels ??inhibition : profil psychologiquereconstruction sociale

15. Contrôle involontaire = inné => universels ?? émotions ou expressions ? inhibition => variations inter-culturelles Klaus Scherer, Tom Johnstone, Gundrun Klasmeyer Vocal Expression of emotion, Handbook of Affective Sciences, 2003

16. mechanical smile vs. neutral Tartter et al (93) amused vs. neutralAubergé et Cathiard (04), Schroder & Aubergé (98) ? the more amused ? face smile is audible audio alone stimulus A stimulus B 64% of discrimination ? the more amused ? amusement is audible audio alone stimulus A stimulus B 84% of discrimination amused vs. mechanical smile ?the more amused ? prosodic effects stimulus A stimulus B 69% of discrimination

17. Not specific or specific control of emotion expression? [Aubergé et Cathiard,, 2003] Acoustic speech AV integration of the same sensori motor/cognitive control Visible speech AV integration of same and different sensori-motor/cognitive controls Visible expression Audible expression (1) audible facial gestures (2) audible physiological changing + (3) audible emotions values specific to speech emotional prosody = => prosody

18. multi-modality / multi-processing? activation level emotion brain representations inhibition Face motor control same nature/intensity Body motor control intensity level Voice motor control emotion brain representations Face motor control inhibition same nature / different intensity Body motor control emotion brain representations inhibition Voice motor control Face motor control C control of strategies different natures&intensity Body motor control C C Voice motor control

19. external emotion events Emotional States changing internal emotion events decision taking [Frijda, Damasio] somatic system commands on expressions prosody Intonation voice Rhythm face body gestuality The processing of moods/emotions indices in C-Clone

20. emotional functions in voice « during speech » simulation Affective functions of speech communication => embodied functionalism model direct expressions attitudinal functions voluntary control involuntary control « building speech » the speaker intentions emotion events time linguistic time

21. Les expressions dans la parole Scherer et al (84 - 05) : Les effets pull et push Les émotions entre - expression prosodique (modèles de configuration), - qualité de voix (modèle de covariation) - conséquences physiologiques Contrôle volontaireContrôle involontaire Facteur  push  Facteur pull  Modèle de Modèle de co-variation Configuration Messages mixtes Co-variation des changements Patterns acoustiques et physiologiques et des Antagonisme configurations valorisés caractéristiques acoustiques socialement Qualité de voix Expression prosodique

22. Attitudes = social affects=> attitudes with prosody Surprise Doubt Evidence Admiration Seduction Irritation Scorn Authority Politeness Grépillat (1996) Morlec (1997) Aubergé (2005) French (6 attitudes Lien avec Austin, Searle, Vandervecken…? les fonctions “corporéisées” comme fils conducteurs des buts de l’interaction verbale/non verbale English (11 attitudes) Diaferia (2002) Arrogance-Impoliteness Simple Politeness Sincerity-Serious Kyoshuku Swedish Hungarian cultural distance Baba’1 Japanese (12 attitudes) Shochi (2004) Mandarin Gestalts & superposition processing

23. indirect expressions direct expressions emotional functions linguistic functions attitudinal functions voluntary control involuntary control in voice « during speech » « building language » focus (VID model) hierarchization/ segmentation modalization « building speech » the speaker intentions expressiveness strategy emotion events time linguistic time Affective functions of speech communication => embodied functionalism model

24. Le langage est construit pour “dire les affects”(ne pas avoir d’attitude est une attitude)=> dans les situations “vernaculaires”, en IHM..? :peu d’émotions (donc très informatives)beaucoup d’affects volontaires (5 ans de parole d’une japonaise [Campbell, 04])

25. Fonction de segmentation/hiérarchisation prosodie & syntaxe => degré de liberté mamamamamamama Ce petit passant chantait. Ce passant tout fou chantait. Son pas doux retentissait.

26. Contrôle du degré de liberté Association Homogeneous (Same locations; same levels) Fonction affective = stratégie du choix de segmentation par l’agent prosodie de répartition entre prosodie et syntaxe Same locations; different levels Chance Different locations; same levels Different locations; different levels Dissociation [Thèse A. Rilliard]

27. “le chat retombe sur ses pattes” = focus… Roger fait du chocolat chaud Les gamins jouent les mécanos Cytopathogénicité

28. Focus Function: the VID model (1) Valence [Aubergé, Rilliard, 04] perception: static cue ( Gestalt) <> linguistic category Lo tendait ce pain à Jean. • communicative function: binary (no/yes focus) valence yes focus no focus information magnet effect

29. (2) Intensity psycho-acoustic gradience <> pragmatic function Lo tend ce tapis à Jean. • communicative function = preference/speaker intention intensity intensity Do you want an for apple or for pear tomorrow? yes focus information typical dialog function

30. threshold: glissando?? tendait (3) Domain [ Brichet, Aubergé, 02] [Aubergé, Rilliard 06] perception: dynamic cue <> linguistic timing Lo tendait ce pain à Jean. Lo tendait ce pain à Jean. word vs. syllable  communicative function: new/contrastvs. metalinguistic domain word focus syllable focus information quite magnet effect

31. Stratégies linguistiques => pas de « para-phrases »

32. C-Clone: a MAS for embodied functionalism of speech communication external emotion events Emotional States changing internal emotion events pragmatics strategies inter-functions Intra-functions decision taking [Frijda, Damasio] somatic system meaning commands on expressions morphology prosody Intonation voice Rhythm sound system syntax face lexicon body gestuality

33. Experimental methodology: building corpus acoustic analysis theoritical principles simulation corpus evaluation perceptive analysis

34. How to collect expressive corpus? direct expressions: emotions and attitudes indirect expressiveness language generation « added » feelings acted spontaneous/authentical in vivo _ experimental control live  live  + experimental control Induction Elicitation Acted Induction Elicitation Acted in vitro

35. Control & authenticity - acted vs. real corpus - Does the actor simulate the emotion or its expression?Does a good actor still simulate? [Damasio, 95] voluntary smile: motor cortex lesion spontaneous smile: anterior cingular cortex AV authentic amusement vs. AV acted amusement Inside body loop 59%of identification listeners effect simulation loop [Schröder, Aubergé, Cathiard, 98] [Aubergé et Cathiard, 03]

36. Sémantique : Comment annoter les émotions ressenties ? exprimées ? par un humain

37. qui annote ? • avec quelles étiquettes ? • sur quels signaux ? • avec quelles connaissances du contexte ?

38. The corpus Labeling by experts statistical verification of the coherence between experts

39. « Expert » ou humain en situation écologique exogroupe => limites de l’empathie ??? Pour Frijda, un critère fondamental de l’évaluation (appraisal) est la compatibilité de l’événement émotionnel avec des normes ou des valeurs sociales ou personnelles PhD P. Garcia-Prieto, post-doc GERG“ Nous avançons des hypothèses, basées sur la théorie de l’évaluation (appraisal) et de la différentiation de l’émotion de Scherer (1984) et sur celle de l’identité sociale de Tajfel et Turner (1986), qui expliquent de quelle manière l’identité sociale peut influencer certaines des dimensions d’évaluation, cognitivement plus complexes, supposées être impliquées dans le processus émotionnel, et qui ont été identifiées comme étant particulièrement sensibles aux facteurs contextuels sociaux.” Effets stroops lexicaux : biais attentionnels/mémoriels sur reconnaissance de mots émotionnels, selon certains états (anxiété etc) et autres (faim…) J. Junca des Morais : « Comme la communication verbale orale est plus ancienne, des biais attentionnels pourraient être observés avec ce type de matériel [verbal], lorsque celui-ci a une valence émotionnelle négative » • variabilité, fenêtre, des transcriptions. Modèle d’annotation. (cf. annotation phonétique de corpus) • mesure de cohérence sur les experts [LIMSI, Abrilian, Devillers, Martin]

40. Annotations par experts : la méthodologie la plus répandue • Noe Humaine : • Cowie et al, Belfast Univ, GB • Martin, Devillers et al Limsi, F • Heylen et al, Twente Univ, NL • … • Crest Expressive Speech Processing : • - Campbell, ATR Japan

41. The corpus Auto-annotations by the subject himself Labeling by experts • self consciousness • autobiographical memory • complex combinations • more than affects statistical verification of the coherence between experts

42. Conscience et mémoire de l’émotion => limites de granularité ??? => limites de appraisal vs. mémoire ??? W.G. Huitt, à propos de Lazarus « The theory that an emotion-provoking stimulus triggers a cognitive appraisal, which is followed by the emotion and the physiological arousal »  Lazarus : conscience du ressenti émotionnel (grâce à l’apparasial), rapport à la verbalisation, mémoire d’un épisode émotionnel Scherer : mémoire de l’expérience émotionnelle Ekman 99 (automatic appraisal + extended appraisal) « …then the person is quite aware of what Lazarus [66..91] calls the “meaning analysis” which occurs. » Lewis (2005) « les événements émotionnels font partie de la chaîne causale qui contribue à l’évolution et à la consolidation du pattern d’appraisal. A partir de là, ce qui évolue n’est pas juste un appraisal mais un amalgame appraisal-émotion ou « interprétation émotionnelle », conscience de ressentir ». => auto-annotation

43. The corpus Auto-annotations by the subject himself Labeling by experts • self consciousness • autobiographical memory • complex combinations • more than affects statistical verification of the coherence between experts … Perception tests by naive listeners

44. Methodology for E-Wiz corpora (Crest ESP) acoustic analysis theoritical principles authentic corpus acted corpus simulation scenario of the wizard evaluation perceptive analysis control of the speaker motivation annotations + big six Speaker psychological profile [Audibert, Aubergé, Rilliard, 03..05]

45. E-Wiz platform (GPL free available) speech interactions = monowords[brik, vEr, rU3,jOn, sabl] « page suivante » free comments language learning pretext task: « easy learning of the prounounciation of sounds of world » directly motivated «caught» subjects wizards of Oz

46. • • • • • 4 steps - concentration • - positive feed-back • - negative feed-back • - warning feed-back • Spontané + acteur • 3 types of behaviors [Audibert, 03 ; Noiray, 03]

47. 17 sujets (dont 7 acteurs)6 heures parole=> 3400 mono-syllabic + commentaires10 heures de non parole=> informations face, corps, voix, ou autre bruit… communication = flux permanent ponctué par les tours de parole => pas d’ACA autiste !!

48. Subject M2

49. Comment “objectiviser” l’auto-annotation - terminologies directes :”calme”, “tranquille”, “concentration”, “réfléchis à”, “sûre de moi”, “confiant”, “stressée”, “inquiète”, “déconcertée”, “perplexe”, “doute”, “surprise”, “surprise en bien”, “étonnée”, “perdue”, “fatigue”, “exaspéré” - quantifieurs abs/rel : “très”, “un peu”, “grand”, “légère”, “plus que”, “croissante”,… - explicatifs : ennui “(long)”, fatiguée“,parce que long”, surprise“des bons résultats”, amusé “parce que résultats inattendus”, concentraté “mon but étant de comprendre ce que je dois répondre”, “la difficulté augmente, le stress aussi”, “surprise par les résultats car j’avais un gros doute sur ma réponse” - descriptifs : “un peu de mal à me mettre dans la tâche”, “Je sens une senvie de rire qui monte”, “ emprise du logiciel dans le sens ou je suis les consignes du mieux que je peux”, “surprise par les résultats car un doute persistait sur la prononciation. néanmoins les résultats donnent une certaine satisfaction personnelle”