Modaliteit in spontane en geacteerde spraak

1. Modaliteit in spontane en geacteerde spraak Astrid Menninga, Frida Koopmans, Jolien Zoodsma, Henk Leo Deuzeman, Nynke Broersma, Judith Meijer, Marleen Broekema, Jan-Maarten Bomhof, Jenne Klimp, Noreen Dijkmeijer, Ria Visscher, Trudy Krajenbrink, Judith Reedeker, Klarien Haan & Dicky Gilbers m.m.v. Maartje Schreuder & Laura Van Eerten Rijksuniversiteit Groningen Utrecht, Dag van de Fonetiek, 18 december 2008

2. Overzicht • Pilot-onderzoek (Schreuder, Van Eerten & Gilbers, 2006) • Modaliteit in spontane spraak • Voetbaltrainers • Olympische sporters • Modaliteit in geacteerde spraak • Bert & Ernie • Soapseries: GTST & Pleidooi • Motherese/Parentese (geacteerd?) • Methodologische problemen

3. Onvolledige literatuurlijst emotionele spraak • Bezooijen, R. van (1984) Characteristics and recognizability of vocal expressions of emotion • Scherer, K.R. (2003) Vocal Communication of emotion: review of research paradigms • Yildirim, S. et al (2004) An acoustic study of emotions expressed in speech • Schröder, M. (2004) Speech and emotion research • Erickson, D. et al (2006) Exploratory study of some acoustic and articulatory characteristics of sad speech • Cheang, H.S. & M.D. Pell (2008) The sound of sarcasm • Vrolijke spraak in vgl. met sombere spraak: hogere pitch, grotere pitch range (eigenschappen van hyperarticulatie)

4. Schreuder Van Eerten & Gilbers (2006)Cook Fujisawa & Takami (2004) • Onderzoek naar modaliteit in spraak

5. Emotionele intonatie Experiment majeur/mineur: • Vrolijke en verdrietige muziek: • Majeur: grote terts (4 semitonen: C – E) • Mineur: kleine terts (3 semitonen: C – Es) • Ook majeur en mineur in emotionele spraak?

6. Emotionele intonatie Methode: • 5 schoolmeesters/-juffen 4 verhaaltjes laten voorlezen van Teigetje en Iejoor (Winnie de Poeh) • Teigetje: vrolijk • Iejoor: somber • Syllabedetectie (Praatscript: Nivka de Jong) • Pitch vaststellen per syllabe (Praatscript Norman Cook) • Clusteranalyse intonatiecontour (F0) • Muziekpartituren

7. Emotionele intonatie Semitonen: Teigetje 2 x grote terts Majeur! Gis C E

8. Emotionele intonatie Semitonen: Iejoor kleine terts Mineur! Gis F

9. Emotionele intonatie • Omgezet naar MIDI (muziekformaat) met piano • Originele spraak en pianomelodie samengevoegd spraak piano (Fragment van Iejoor, andere spreker)

10. Gb - A G# - E C# - A F - Ab Partituren De partituren van spraakfragmenten incorporeren tijd als een factor in de volgorde van de tonen (niet het geval in de clusteranalyses)

11. Resultaten • Veel Teigetje-fragmenten vertonen grotere intervallen dan tertsen, terwijl veel Iejoor-fragmenten slechts één piek laten zien. In dergelijke passages kan niet worden vastgesteld of we met mineur of met majeur te maken hebben. • De majeurmodaliteit is alleen aangetroffen in fragmenten van Teigetje met tertsen, terwijl de mineurmodaliteitalleen voorkomt in fragmenten van Iejoor met tertsen. • Ook al komen tertsenslechts in een minderheid van het materiaal voor, er zijn geen tegenvoorbeelden in de fragmenten met tertsen aangetroffen.

12. Conclusie Pilot-onderzoek • In dit pilot-onderzoek heeft de meeste spraak een neutrale modaliteit. • Desalniettemin: er is een tendens dat een somber gemoed in spraak wordt uitgedrukt met kleine tertsen. • Als tertsen worden gebruikt in vrolijke spraak, dan zijn het grote tertsen. maar: weinig data

13. Mark Liberman http://itre.cis.upenn.edu/~myl/languagelog/archives/003651.html Janis Joplin Mercedes Benz Emotionele toespraken (voorgelezen?) korte fragmenten (ivm modulaties) conclusie: modaliteit(hier: meerdere frequentiepieken)

14. 1 Winnaars en Verliezers in de Sport Is er ook modaliteit te ontdekken in spontane spraak? Methode: bekervoetbalinterviews vlak na de wedstrijd (knock-outsysteem) verliezers winnaars data aangevuld met fragmenten van winnaars en verliezers bij de Olympische Spelen

15. Materialen • Winnaars: • 18 voetballers/trainers • 20 olympische sporters • Verliezers: • 20 voetballers/trainers • 16 olympische sporters

16. Resultaten • Winnaars • Voetballers: 5 x modaliteit (27%); 1 x majeur • Olympisch: 11 x modaliteit (55%); 4 x mineur • Verliezers • Voetballers: geen modaliteit • Olympisch: 5 x modaliteit (31%); 1 x mineur Significant verschil in modaliteit tussen V en O

18. Conclusie • Weinig modaliteit in spontane spraak • Niet altijd majeur bij vrolijk en mineur bij somber • Tegenvoorbeelden

19. Modaliteit hoofdzakelijk te vinden in geacteerde spraak? Is er meer modaliteit in geacteerde spraak dan in spontane spraak? Zo ja, dan is (het overmatig voorkomen van) modaliteit misschien een aanwijzing voor overacting

20. 2 Bert & Ernie • Hypothese 1: bij zowel Bert als bij Ernie is modaliteit waar te nemen • Hypothese 2: bij Bert vooral mineurachtige toonsafstanden en bij Ernie majeurachtige toonsafstanden • Materiaal: 30 fragmenten van zowel Bert als Ernie • DVD ‘Het beste van Bert & Ernie’ • Diverse filmpjes van YouTube.com

21. Resultaten • In elk fragment modaliteit • Percentages toonafstanden:

22. Resultaten • Altijd modaliteit gevonden, in overeenstemming met eerste hypothese • Tweede hypothese: wel meer mineur dan majeur bij Bert, en meer majeur dan mineur bij Ernie, maar ook tegenvoorbeelden

23. Discussie • Wellicht is de emotie ‘chagrijnig/ zeurderig’ bij Bert iets anders dan ‘verdrietig’ bij Iejoor • De emoties boos en blij delen akoestische eigenschappen (Yildirim et al, 2004) boos/blij: eigenschappen van hyperarticulatie o.a. hogere pitch; kortere pauzes tussen woorden; hoge spreeksnelheid droefheid/somber: afname pitch, kleine pitch range, lage spreeksnelheid • Verschil emoties van Bert & Ernie gering

24. 3 Onderzoek Soaps Kunnen we met modaliteit overacting aantonen? • Onderzoeksvraag • Is er verschil in modaliteit tussen vrolijke en sombere geacteerde spraak en is hierbij onderscheid te maken tussen ‘goed’ en ‘slecht’ geacteerde spraak? • Hypothese • Goed geacteerde spraak bevat minder mineur-/majeurmodaliteit dan slecht geacteerde spraak (ivm “natuurlijkheid” van de spraak)

25. Methode • 60 fragmenten geanalyseerd op (mineur/majeur) modaliteit

26. Resultaten • In bijna alle fragmenten sprake van modaliteit • Iets meer modaliteit in “slecht” acteerwerk (?)

27. 4 Modaliteit in Motherese • Onderzoeksvraag: • Is er een majeurmodaliteit te vinden in motherese? • Verwachting: • In motherese wordt modaliteit gevonden, relatief veel majeurmodaliteit en geen mineurmodaliteit

28. Motherese Patricia Kuhl et al Vocalen in motherese-aanbod extremer

29. Resultaten • Modaliteit: • 125/126 samples = 99,2% • Mineur: • 43/126 samples = 34,1% • Majeur: • 25/126 samples = 19,8%

30. Resultaten Significant vaker modaliteit dan geen modaliteit (p < .01) Significant vaker mineurmodaliteit dan majeurmodaliteit (p < .01)

31. Algemene Conclusie Modaliteit (meer frequentiepieken) is kenmerkend voor geacteerde spraak Geen sterke aanwijzingen voor mineur (somber) en majeur (vrolijk) in geacteerde spraak

32. Methodologische problemen Veel vermeend vrolijke data klinken helemaal niet zo vrolijk Lengte fragmenten Cluster Analyse geeft geen duidelijkheid over sequentie tonen (vgl. C – Amin) Sommige clusterhistogrammen voor meerdere uitleg vatbaar Vervolgonderzoek: 5-puntsschaal voor somber-vrolijk