Multifaktorielle Kodierung und Kontexteffekte in der Sprachwahrnehmung

1. Multifaktorielle Kodierung und Kontexteffekte in der Sprachwahrnehmung Oliver Niebuhr Probevortrag im Rahmen der W1-Juniorprofessur für Allgemeine Sprachwissenschaft Universität Konstanz, den 22.04.2009

2. 1. Multifaktorielle Kodierung vs. Kontexteffekte Es ist weithin bekannt, dass die Wahrnehmung bedeutungsrelevanter sprachlicher Einheiten nicht allein auf einzelnen, lokalen Indikatoren (cues) beruht. Vielmehr ist es ein (ggf. universales) Charakteristikum des Aufbaus und der Wahrnehmung Sprachkodes, dass die bedeutungsrelevanten Einheiten... (a) durch mehrere cues gleichzeitig – d.h. multifaktoriell – kodiert sind (b) und im Kontext interpretiert werden. Allerdings werden multifaktorielle Kodierung und Kontexteffekte in der Forschung zur Sprachwahrnehmung nicht immer klar unterschieden. „The difference between context effects and multiple cues is subtle [...] and has been controversial in the literature” (Clayards 2008:27)

3. 1. Multifaktorielle Kodierung vs. Kontexteffekte Zwei mögliche Arbeitsdefinitionen: Multifaktorielle Kodierung = lokale und globale phonetische Ereignisse innerhalb und außerhalb der jeweiligen sprachlichen Einheit, die unmittelbar und mittelbar mit der Signalisierung dieser Einheit verbunden sind. Kontexteffekte = lokale und globale phonetische Ereignisse, die den Informa-tionswert von cues einer sprachlichen Einheit verändern und die nicht mit der Signalisierung dieser Einheit verbunden sind.

4. skir prin side kick still side still prin kick skir mit mir geht‘s heut‘ nur punkt neun ...um Uhr.“ heut' mit geht‘s nur mir 1. Multifaktorielle Kodierung vs. Kontexteffekte skirmish princess side kickstand still Prominenz – d.h. die perzeptorische Heraushebung – von Silben (Dilley & McAuley 2008; Beispiele von L. Dilley) Niebuhr (2008a): Äußerungsabschnitt „...um punkt neun Uhr.“, indem „punkt“ und „neun“ gleichermaßen prominent erscheinen → aber im Kontext von „mit mir geht‘s nur heut‘“, produziert mit (Daktylus) (Daktylus mit Auftakt)

5. l ei en t d l ei en 1. Multifaktorielle Kodierung vs. Kontexteffekte Doch es gibt auch weniger eindeutige Beispiele Kohler (1979) zeigt anhand des Wortpaares „leiten“ vs. „leiden“: nicht nur die Verschlussdauer des Plosivs, sondern auch die Dauer des vorangehenden <ei> die Wahrnehmung von /d/ oder /t/ (lenis/fortis) bestimmt. Ist dies ein Fall multifaktorieller Kodierung oder ein Kontexteffekt? /t/ = lange Verschlussdauer  /d/ = kurze Verschlussdauer Im Sinne der „theory of auditory enhancement“ (Diehl et al. 1991) kann die komplementäre Dauervariation des vorangehenden <ei> als eine Strategie gedeutet werden, den Unterschied in der Verschlussdauer noch zu betonen. D.h., die systematische Variation der Dauer des <ei> ist mittelbar ein Ergebnis der Signalisierung von /t,d/ (lenis/fortis) → Ein Beispiel multifaktorieller Kodierung Diese Gruppe kann ich nicht...

6. 2. Warum erzähle ich das alles? ...um meinen Forschungshintergrund zu umreißen Mein Hauptanliegen: Erforschen, wie der Sprachkode (d.h. die laut-sprachliche Kommunikation) funktioniert → 2 zentrale Arbeitsschritte (1) Bedeutungsrelevante Einheiten bestimmen (2) Die Variation dieser Einheiten erkennen und erklären Der Weg dorthin muss über die Perzeption führen! → Warum? (1) Weil Sprache ein Phänomen ist, dass auf der Basis von Hören und Imitieren ausgeführt und tradiert wird. D.h., der Hörer und dessen (modalitäts-übergreifende) kognitive Fähigkeiten und Prozesse determinieren den Sprachkode. (2) Weil komplexe Netzwerke (mit trading relations) akustischer Parameter oft als Veränderungen einfacher perzeptorischen Größen konzeptualisierbar sind (z.B. Prominenz, Länge, etc.)

7. 2. Warum erzähle ich das alles? ...um meinen Forschungshintergrund zu umreißen Mein Hauptanliegen: Erforschen, wie der Sprachkode (d.h. die laut-sprachliche Kommunikation) funktioniert → 2 zentrale Arbeitsschritte (1) Bedeutungsrelevante Einheiten bestimmen (2) Die Variation dieser Einheiten erkennen und erklären Mein Ansatzpunkt: die multifaktorielle Kodierung und kontextabhängige Wahrnehmung sprachlicher Einheiten mit Schwerpunkt auf dem Deutschen (und sprachübergreifender Perspektive) mit der Bedeutung als Bezugspunkt und mit kritischer Distanz zu dem Segment- und Phonemkonzept der Separation von prosodischer/intonatorischer und segmenteller Ebene der Separation linguistischer und paralinguistischer Bedeutungen Nachfolgend 2 Beispiele dieser Forschung, segmentell und prosodisch

8. [p] 3. Phonetische Details in Vokalen /b / Forschung in meinem derzeitigen Projekt in Aix-en-Provence und York zur Sibilantenassimilation im Französischen Das Französische ist für seine regressive Assimilation der Stimme bekannt. →„C‘est une robe chic“‚Das ist ein hübsches Kleid‘  Assimilation des Artikulationsortes soll es im Französischen hingegen nicht geben Ramus (2001:208): „English children […] must learn how place assimilation works in English […] if they were in a French environment, they would need to learn that there is no place assimilation, but that there is voicing assimilation” Gow (2003: 492): „Darcy (2002) performed word monitoring experiments in French and English that examined the role of context in processing […] regressive place assimilation (which occurs in English but not French)”

9. [] [] 3. Phonetische Details in Vokalen Ausgehend von Beobachtungen im spontansprachlichen Corpus of Interaction Data (CID) des Französischen haben nach Ortsassimilationen in Abfolgen von Sibilanten (/s/, /z/, //, //) gesucht. Mit akustischen Analysen im Zeit und Frequenzbereich auf der Basis von gesondert erhobener, kontrollierter Lesesprache /usu/: „Tu te couches sous l'drap” ‚Du schläfst unter der Decke‘ /asa/: „C'est une classe chargée” ‚Das ist eine volle Klasse‘ „It‘s great how the glass shines“ (aus Niebuhr et al. 2008) „Wir werden das schaffen“ /s / /s /

10. /s/  [] /s/  [] + + [] [] 3. Phonetische Details in Vokalen Auch im Französischen: Klare Evidenz für Assimilation d. Artikulationsortes, unabhängig von der grammatischen Kategorie und Häufigkeit der involvierten Wörter sowie von gleichzeitiger Assimilation der Stimme Zielqualität: Postalveolar Aber anders als im Englischen und Deutschen regressiv und progressiv In vielen Fällen ist die Assimilation komplett → Problem bei der Phonem-/Wortidentifikation ? → z.B. /s/ und /z/ , /s/ und /s/ sind alle in ihrer Lautqualität untereinander und von // im gleichen Vokalumfeld nicht zu unterscheiden „Tu te couches sous l‘drap“ „C‘est une classe chargeé“ ‚Das ist eine volle Klasse‘ ‚Du schläfst unter der Decke‘

11. 65ms 160ms 160ms 43ms 21dB vs. 17dB 3. Phonetische Details in Vokalen Die Vokale vor den alveolaren und postalveolaren Sibilanten weisen systematische Unterschiede auf. Vokal vor /,/ u.a. (1) länger sowie (2) leiser und behauchter als vor /s,z/; Diese Unterschiede finden sich vor einzelnen Sibilanten und vor Sibilanten-verbindungen Sie bestehen selbst bei komplett assimilierten Sibilantenverbindungen weiter! „Tu te couches si j'veux” „C'est une trousse chargée“ /s/ /s/

12. natürlich produzierte, klare Unterschiede in Dauer, Behauchung, ak. Energie durch // ersetzt 3. Phonetische Details in Vokalen /s/ Ausgangspunkt für ein erstes Perzeptionsexperiment mit Stimulus-paaren, wie z.B. „C‘est une mousse chinoise“‚Das ist ein chinesisches Moos‘ „C‘est une mouche chinoise“‚Das ist eine chinesische Fliege‘ Die Stimuli wurden mehrfach in randomisierter Reihenfolge naiven franzö-sischen Muttersprachlern präsentiert, die den Wortlaut der Äußerung durch Knopfdrücken angeben sollten. //

13. 3. Phonetische Details in Vokalen Die Identifikation der Äußerungen – bed. durch Sibilantenverbindungen – wurde in zur Produktion passender Weise durch den Vokal signifikant beeinflusst. → Hörer können die systematischen, multi-parametrischen Details im Vokal nutzen, um den nachfolgenden Sibilanten als alveolar /s,z/ oder postalveolar /,/ zu identifizieren und um so selbst komplett assimilierte Sibilantenverbindungen zu disambiguieren (Niebuhr, Meunier, & Nguyen 2009) Wichtige Implikationen f. Sprachwahrnehmung bzw. psycholinguistische Theorien zur Assimilation → Wirft weitere Zweifel an der Existenz kompletter Assimilation auf → Rückt Assimilation in ein konzeptuelles Licht, das über Einzellaute bzw. Lautpaare hinausgeht - die gegenwärtige Grundlage aller psycholing. Modelle

14. 3. Phonetische Details in Vokalen Die vokalischen Unterschiede fallen komplementär zu denen der Sibilanten aus Vokale vor z.B. /s/ länger, behauchter und leiser. Gleichzeitig ist die /s/ Abfolge kürzer als /s/ und // ist tendenziell lauter ist als /s/. Kontrastverstärkung / Auditory enhancement, wie bei „leiden“ vs. „leiten“ → Ein Beispiel multifaktorieller, segmentübergreifender Kodierung von Sprachlauten Analoge Studie im Englischen für diesen Sommer in Planung (Niebuhr, Gaskell, Hawkins, Ogden)

15. F0 t o: Alignment 4. Alignment, Lautmuster und Intensität „Sie hat ja ge-LO-gen“ Westgermanische sowie viele andere Sprachen (neapolitanisches Italienisch) zeichnen sich durch ein Inventar an Grundfrequenz-/ F0-Mustern aus, die mit Akzentsilben verbunden sind → pitch accents Im Deutschen zum Beispiel: Seit Kohler (1987) wissen wir, dass für die Signalisierung der beiden pitch accents die Position des F0 Maximums zum Beginn des Akzent-vokals eine zentrale Rolle spielt. H+L* H*  

16. F0 t H+L* H* o:   j 4. Alignment, Lautmuster und Intensität Allerdings berichtet Kohler (1991) später, dass die Grenze zwischen H+L* und H* durch unterschiedliche Lautsegmente in der Akzentsilbe auf beide Seiten des Akzentvokalbeginns verschoben werden konnte. Z.B. für „Sie hat ja ge-JO-delt” → F0 Maxima im Vokal noch H+L* Produktions-Studien: das alignment der F0-Gipfel folgt den Verschiebungen der Wahrnehmungsgrenzen (Kohler 1990; Rietveld & Gussenhoven 1995; Prieto et al. 1995) Ladd et al. (1999): „similar principles govern the alignment of F0 movements with the segmental string in all languages“ und Kohler (1990) ergänzt, dass diese „changes in the F0 contour [...] have to take place to guarantee the identity of a linguistic [...] intonation pattern across different segmental strings” WARUM??

17. 4. Alignment, Lautmuster und Intensität Vom perzeptorischen Blickwinkel aus entspricht der Unterschied einer untersch. starken Prominenz der hohen und tiefen Tonhöhenbereiche d. Gipfels, ist auch in der Symbolisierung als H+L* vs. H* impliziert Vielleicht geht es gar nicht um den Vokalbeginn, sondern um die Intensitätsveränderungen und –niveaus im Bereich der Akzentsilbe!? Z.B. ist der Intensitätsanstieg zum Akzentvokal für [jo:] langsamer als für [lo:] D.h., die alignment-Unterschiedebeider pitch accents gehen auf die Strategie zurück, bestimmte tiefe oder hohe Abschnitte des F0-Gipfels mit dem hohen Intensitätsniveau des Akzentvokals zu verbinden und sie so perzeptorisch herauszuheben. → auf Basis der Äußerung „Sie war mal MA-lerin“ in den Perzeptions-experimenten von Niebuhr (2006, 2007) getestet. 11 äquidistanten Verschiebungen des F0-Gipfels (vergleichbar mit Kohler 1987) → 11 Stimuli

18. „MA-lerin“ Serie Dann: Resynthese einer 2. Serie, in der alle Lautsegmente der Äußerung (Formant- strukturen) durch konstanten []-artigen Laut ersetzt wurden. 4. Alignment, Lautmuster und Intensität HUM Serie

19. 4. Alignment, Lautmuster und Intensität Die “HUM” Stimuli wurden in einem AXB Test beurteilt (A= erster, B=letzter Stimulus der Serie) → Frage an die Probanden: Ist ‚X‘ = ‚A‘ oder ‚B‘? Die „MA-lerin“ Stimuli wurden jeweils zusammen mit einer Kontextäußerung gepaart, die nur dann Sinn ergab, wenn die Hörer H* im Stimulus wahrnahmen. → Die Frage des Zusammenpassens von Kontext und Stimulus = indirekte Identifikation von H+L* vs. H*

20. Was passiert, wenn der Intensitätsanstieg, der aus dem CV Übergang hervor- ging, langsamer ausfällt?? 4. Alignment, Lautmuster und Intensität H* H+L*

21. Erneut 2 Perzeptionsexperimente 4. Alignment, Lautmuster und Intensität

22. 4. Alignment, Lautmuster und Intensität H* „MA-lerin“ Serie H+L* Je weniger abrupt der Intensitätsanstieg ist, der den CV Übergang repräsentiert, desto weniger abrupt ist auch die perzeptorische Veränderung von H+L* zu H*. Insgesamt passen die Befunde ins perzeptorische Konzept der pitch accents als Kombinationen aus Tonhöhen- und Prominenzmustern (Niebuhr 2007)

23. 4. Alignment, Lautmuster und Intensität

24. [] vs. [] 4. Alignment, Lautmuster und Intensität Vor diesem Hintergrund stellen die Einflüsse der lautlichen Zusammen-setzung der Akzentsilbe auf die Identifikation der pitch accents, die durch sprachübergreifend vergleichbare alignment Variationen kompensiert werden, segmentelle Kontexteffekte dar. Daneben wurden in Niebuhr (2008b) und Niebuhr (2009) das probabilistische Wissen über pitch accent Kombinationen und das intonatorische sowie das rhythmische Umfeld als weitere Kontextfaktoren identifiziert (zum Rhythmus derzeit weitere Studie mit L.Dilley, Michigan)

25. 5. Zusammenfassung Die Kontexteffekte in der pitch-accent Wahrnehmung haben gezeigt, wie komplexe Interaktionen akustischer Größen unter einem perzeptorischen Blickwinkel nachvollziehbar werden. Die multifaktorielle Kodierung in der Assimilation hat gezeigt, dass der Blick der Sprachforschung – auch auf der Ebene der Sprachlaute – immer über das einzelne Segment hinausgerichtet werden muss. Sprache lässt sich nicht (allein) über akustische Messungen beschreiben; erst recht nicht, wenn diese Messungen sich auf einzelne lokale Parameter beziehen. Es ist (darüber hinaus) essentiell, segmentelle und prosodische Ereignisse/ Parameter unter einem globalen perzeptorischen Blickwinkel zusammen zu führen und vor dem Hintergrund kognitiver Konzepte (z.B. nicht-lineare, interpretative Verarbeitung = Kontext, Kontrast) zu betrachten.

26. 1 . Multifaktorielle Kodierung vs. Kontexteffekte Clayards, M. A. (2008). The ideal listener: Making optimal use of acoustic-phonetic cues for word recognition. PhD thesis, University of Rochester, USA Diehl, R.L., K.R. Kluender, M.A. Walsh, & E.M. Parker (1991). Auditory enhancement in speech perception and phonology. In R. Hoffman & D. Palermo (Eds.), Cognition and the Symbolic Processes: Applied and Ecological Perspectives, Lawrence Erlbaum Associates, Publishers. Dilley, L., & J.D. McAuley (2008). Distal prosodic context affects word segmentation and lexical processing. Journal of Memory and Language59, 294-311. Kessinger, R.H. & S.E. Blumstein (1997). Effects of speaking-rate on voice onset time in Thai, French, and English. Journal of Phonetics 25, 143-168. Kohler, K. J. (1979). Dimensions in the perception of fortis and lenis plosives. Phonetica 36,332–343. McMurry, B., M.A. Clayards, M.K. Tanenhaus, & R.N. Aslin (2008). Tracking the time course of phonetic cue integration during spoken word recognition. Psychonomic Bulletin & Review 15, 1064-1071. Niebuhr, O. (2008a). The effect of global rhythms on local accent perceptions in German. Proc. 4th Speech Prosody, Campinas, Brazil, 331-334. 3. Phonetische Details in Vokalen Darcy, I. (2002). Online processing of phonological variation in speech comprehension: The case of assimilation. In: S. Hawkins & N. Nguyen (Eds.), Temporal integration in the perception of speech. Proceedings of the ISCA TIPS workshop Fagyal, Z., D. Kibbee, and F. Jenkins (2006). French. A linguistic introduction. Cambridge: CUP. Gow,D.W. (2003). How representations help define computational problems: commentary on Grossberg, Gaskell and Greenberg. Journal of Phonetics 31, 487-493. Niebuhr, O., L. Lancia, Ch. Meunier (2008). On place assimilation in French sibilant sequences. Proc. ISSP 2008, Strasbourg, France, 221-224. Niebuhr, O., Ch. Meunier, N. Nguyen (2009). The role of the vowel context in the differentiation of French /s/ and /s/ sequences. Proc. PaPI conference 2009, Las Palmas, Gran Canaria. Ramus, F. (2001). Outstanding questions about phonological processing in dyslexia. Dyslexia 7, 197-216. 4. Alignment, Lautmuster und Intensität Kohler, K. J. (1987). Categorical pitch perception. Proc. 11th ICPhS, Tallinn, Estonia, S. 331-333. Kohler, K. J. (1990). Macro and micro F0 in the synthesis of intonation. In J. Kingston & M. E. Beckman (Eds.). Papers in Laboratory Phonology I. Cambridge: Cambridge University Press, pp. 115-138. Kohler, K. J. (1991). A model of German intonation. AIPUK 25, 295-360. Ladd, D. R., D. Faulkner, H. Faulkner und A. Schepman (1999). Constant „segmental anchoring“ of F0 movements under changes in speech rate. JASA 106, 1543-1554 Rietveld, T. und C. Gussenhoven (1995). Aligning pitch targets in speech synthesis: Effects of syllable structure. Journal of Phonetics 23, 375-385. Niebuhr, O. (2006). The role of the accented vowel onset in the perception of pitch accents. Proc. 3rd Speech Prosody, Dresden, Germany, 109-112. Niebuhr, O. (2007). Categorical perception in intonation. A matter of signal dynamics? Proc. Interspeech 2008, Antwerp, Belgium, 161-164. Niebuhr, O. (2008b). The interpretation of pitch patterns and its effects on accentual prominence in German, Proc. 3rd TIE conference, Lisbon, Portugal. Niebuhr, O. (2009). F0-based rhythm effects on the perception of local syllable prominence. Phonetica 66, 1-18.