Oltványi Gábor József Önálló laboratórium 1 – beszámoló

1. A beszédben megjelenő érzelmek és a prozódia– elsősorban a beszéddallam – kapcsolatának vizsgálata Oltványi Gábor JózsefÖnálló laboratórium 1 – beszámoló PPKE–ITK, 2007.12.17.Konzulens: Takács György, Bárdi Tamás http://digitus.itk.ppke.hu/~oltgajo/tan/7/onlab1/

2. Prozódia a beszédben • a beszéd szupraszegmentális akusztikai jegyeit leíró tudományága: több szegmentumon, azaz fonémán, vagy hangsoron átívelő jelenségek • intonáció: hanglejtés, beszéddallam, • hangerő és hangsúlyok, beszédritmus, tagolás, sebesség, szünetek, • hangszín

3. Diszkrét emóciók • Ekman: alapérzelmek/diszkrét emóciók: • meglepetés • félelem • harag • öröm • szomorúság • undor

4. Folytonos érzelmi dimenziók Aktivitás („befolyás”) Power Activity Valence Intensity Értékelés: jó/rossz (intenzitás)

5. Érzelmek a beszédben • „Érződik a hanghordozásán, hogy…” • itt különböző prozódiai jegyekre gondolunk • elsősorban: beszéddallam, hangerő • nem egyértelmű…

6. Érzelmes beszéd adatforrások • beszédminta-adatbázisok: • színészek által fölmondott, eljátszott érzelmek • riporterek naiv embereket beszéltetnek, befolyásolva érzelmeiket • stb.

7. Célkitűzésünk • Valódi, átélt érzelmek • eljátszott érzelmek nem jók • Felnőtt, naiv beszélő • gyerek: változóan, nem fejezi ki helyesen az érzelmeit • szakértő, képzett beszélő: magyarázós – kontrolláltak az érzelmei • Jó minőségű felvételek • telefonbeszélgetés nem jó

8. Anyagminták, földolgozás • Magyar Rádió: Vendég a háznál c. műsora • „gyerekekről felnőtteknek” – interjúk • 1-2 mondatos érzelmes részletek • érzelmek váltakozásának vizsgálata, XML-tagek annotálása a szöveghez, diszkrét és folytonos érzelmi szempontok szerint. • 3-4 szótagos szavak/kifejezések, amelyben érzelmes dallamvonulat figyelhető meg • Praat: pitch markok bejelölése a meghallga-tásos kísérlethez (beszédhang stimulusok)

9. 1. példa:pármondatos szöveg elemzése – Közelről Lillákat se ismerek. De a lányom az abszolút lilis. Szóval ... – Mi az,hogy lilis? Mit jelent az, hogy lilis, milyen egy Lili? – O'an-olyannagyon nőcis.Olyan nagyonkis helyes kis csaj. És tényleg, első perctől kezdve, szóval, nagyon kis csajos volt, és tény-leg olyan 'anolyan lillás. d1.XML f1.XML

10. 2. példa:rövid részlet elemzése „abszolút lilis” Vocal fry

11. További példák:

12. Összegzés a féléves munkáról • Munka volt: • Hosszú: végighallgatni a műsorokat • Programrészlet a beszédhang stimulusokhoz • Saját megérzések alapján végig taggelni a szövegeket • XML (DTD, XSLT) fájlok pontos szintaxisa • Ez csak kis adatbázis, de bővíthető. • Jövőterv (?) • nyelvtechnológia bevonása a beszéd és érzelmek kapcsolatának vizsgálatába

13. Hallás-teszt