1 / 40

Beszéd és érzelem

Beszéd és érzelem. Beszédfelismerés és szintézis 7. előadás 2014. március 13. Bárdi Tamás előadása nyomán. Czap László beszélőfej modellje. öröm. szomorúság. Czap László beszélőfej modellje. meglepetés. harag. Kommunikáció általában.

fionn
Download Presentation

Beszéd és érzelem

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Beszéd és érzelem Beszédfelismerés és szintézis7. előadás 2014. március 13. Bárdi Tamás előadása nyomán

  2. Czap László beszélőfej modellje öröm szomorúság

  3. Czap László beszélőfej modellje meglepetés harag

  4. Kommunikáció általában • Kommunikáció: üzenetváltások közös kód alapján kódolás és dekódolás is történik • Verbális kommunikáció: a kód előzetes megállapodással lett közössé pl. nyelvek, siket jelnyelv, protokollok • Nem verbális kommunikáció: van közös kód, de nem megegyezés eredménye ilyen az érzelmi kommunikáció nagyobb részt a közös alap általában biológialag örökölt

  5. A kommunikáció csatornái • Közvetlen emberi kommunikáció elmélete (Buda Béla):- Verbális csatornák: beszélt nyelv, egyezményes jelek- Nem verbális csatornák: vokális expresszió, tekintet, mimika, gesztusok, távolság, emblémák • A hangzó beszéd egyaránt verbális és nem verbális • A beszéd nem verbális tartalma nagyrészt a prozódiában jelenik meg

  6. Kódosztás a csatornák között • Brunswick lencséje:Az érzelem felismerése lassabb és bizonytalanabb hacsökkentjük az elérhető nem-verbális csatornák számát

  7. Metakommunikáció • Kommunikáció a kommunikációról • Az emberi közlésfolyamat mindig kétszintű:egy akaratlagos és egy spontán, amely „minősíti” a direkt tartalmat, érzelmi viszonyulást fejez ki • Nem tudunk „nem kommunikálni” • Az indirekt – akarattól független – kommunikáció mindig őszinte • Analóg – digitális párhuzam

  8. Antonio Damasio elmélete különbségtételt tesz érzelmek (angolul emotion) és érzések (angolul feeling) között Az érzés e változások észlelése Az érzés lényege: "folytonos monitorozási folyamat", Damasio szerint az érzelmek fontos szerepet játszanak az emberi szervezet biológiai szabályozó működéseinek rendszerében, a homeosztázisban. az érzelem és érzés a biológiai szabályozás központi mozzanatai, ezek hidat alkotnak a racionális és nem-racionális folyamatok között, a kérgi és kéregalatti struktúrák között

  9. Emóciók • Homeosztázis: a biológiai szervezeteknek van egy egyensúlyi állapota, ha megbomlik igyekeznek helyreállítani • Az emóciók az egyensúlyi célállapotot változtatják meg, hogy a szervezetet a túlélés szempontjából „optimális” állapotba kerüljön • Az emócióknak erős hatása van a vegetatív idegrendszer működésére, ezen keresztül számos betegséget okozhat a nem megfelelő érzelmi élet

  10. Szomatikus markerek • Az érzelmi állapotokhoz jellemző testi mintázatok tartoznak. • Az elsődleges érzelmek a "korai életben átélt érzelmek„, ezeknek alapja a személyes élettörténet perspektívája. • A másodlagos érzelmek pedig a "felnőtt" érzelmek, amelyek a tárgyak és helyzetek osztályainak, valamint az elsődleges érzelmek összekapcsolásán alapulnak. • Elsődleges érzelmek: kialakításukban döntően kéreg alatti területek vesznek részt, bizonyos szenzoros input mintázatok esetén automatikusan váltódnak ki. • Másodlagos érzelmek: kialakításukban a prefrontális kéreg is részt vesz, kiváltódásuk mentális képek közbeiktatásával történik

  11. Féltekei asszimetriák • A beszédképzés és megértés nagyrészt bal féltekés • A beszéddallam feldolgozása inkább jobb féltekés • Pell: jobb és bal féltekés sérült betegeket vizsgált.Eredményei alapján az érzelmi prozódia inkább jobb féltekés, a grammatikai inkább balféltekés • Damasio: a jobb féltekei prefrontális kéreg döntő a másodlagos érzelmek kialakításában.

  12. Emotional expressions • Darwin (1872): az emlős állatok az emberhez hasonlóan fejezik ki érzelmeiket (közös származás) • Emóciók szerepe: belső biológiai szabályozás, és a külső megfigyelő befolyásolása (kommunikatív) • Ohala: leakage theory: Often, communication is ambivalent: people communicate one thing verbally and the opposite non-verbally. Leakage refers to communicative incidents in which nonverbal signals betray the true content of contradictory verbal messages.

  13. Alapérzelmek • Diszkrét emóció elméletek (Ekman és mások):Abból indul ki, hogy van néhány alapérzelem, amit jól felismernek az emberek és ezeket kéne gépileg is felismerni. Ezt a modellt az arckifejezések kutatóitól importálták a beszédkutatók.Nincs teljes egyetértés az alapérzelmek listájában, de az alábbiakat mindenki felsorolja: meglepetés, félelem, harag, öröm, szomorúság, undorVisszatérő kérdés: univerzálisak vagy kultúrális eredetűek?“A display rule specifies who can show what emotion to whom, when.” - Ekman

  14. Alapérzelmek az arcon • Vannak akaratlagosan nem mozgatható arcizmok

  15. Folytonos érzelmi dimenziók • Activation, Valence, Power, Intensity • Feeltrace: „cimkéző” eszköz

  16. Resources: acted emotions Neutral (declarative) Marilyn won nine million dollars

  17. Resources: acted emotions Excitement Marilyn won nine million dollars

  18. Resources: acted emotions Disappointment Marilyn won nine million dollars

  19. Resources: acted emotions Hot anger Marilyn won nine million dollars

  20. Resources: acted emotions Cold anger Marilyn won nine million dollars

  21. Resources: acted emotions Sarcastic Marilyn won nine million dollars

  22. Resources: acted emotions Afraid Marilyn won nine million dollars

  23. Resources: acted emotions Impatient Marilyn won nine million dollars

  24. Resources: acted emotions Sad Marilyn won nine million dollars

  25. Resources: acted emotions Lifeless Marilyn won nine million dollars

  26. Resources: real emotions • Gyerekekről – felnőtteknek (Kossuth Rádió):- öröm: anyuka anyuka- szomorúság: nővérke

  27. Resources: real emotions angry

  28. Resources: real emotions sad

  29. Resources: real emotions joy

  30. Érzelmes Beszéd Adatforrások • Érzelem „portré” (acted emotion): színészek felmondják a kért szöveget a kért érzelmi tartalommalelőny: előírható a szöveg • „Valódi” érzelmek (real emotion): önkénteseket beszéltetnek, közben igyekeznek hangulatilag befolyásolnielőny: hitelesebb, a beszélő átéli az érzelmeit így a megfelelő fiziológiás folyamatok lejátszódnak • Szintetizált beszéd: az elméletek igazolásához használják

  31. Alapérzelmek megkülönböztetése Analysis of Variables (ANOVA): Petri Laukka, PhD Thesis, 2004

  32. Akusztikai jellemzők

  33. Akusztikai jellemzők

  34. Categorical Perception

  35. Emofilt system neutral anger fear joy sad

  36. Voice Conversion • USC SAIL:A prozódia mellett a spektrális jellemzőket is változtatták (LPC) sad neutral angry happy • Cabral:Voice quality transformation fear sad original angry happy

  37. Szabály alapú rendszerek • Loquendo:szótagok akusztikai jellemzőit veszi figyelembe sad neutral angry happy • Kobayashi:Sentence HMM + speaking style sad reading joy rough

  38. Alkalmazási lehetőségek • Érzelmes beszéd szintézise és gépi felismerése ma még gyerekcipőben • A szórakoztató iparban lenne rá igény: játék szoftverek, animációs filmek • Oktató szoftverekben is, elsősorban gyerekeknek • Ami már működik: annoyance detection – az automata call center kapcsolja a kezelőt ha már kellően ideges az ügyfél

  39. Irodalom a beszéd és érzelem témához • Buda Béla: A közvetlen emberi kommunikáció szabályszerűségei • Buda Béla: Empátia • Hámori József: Az agyféltekék asszimetriái • Antonio Damasio: Descartaes tévedése • Geoffry Miller: A párválasztó agy • PhD értekezések (angolul): Marc Schröder, Petri Laukka, Raul Fernandez, Sylvie Mozziconacci

  40. Köszönöm a figyelmet

More Related