1 / 46

Wahrnehmung gesprochener Sprache

Wahrnehmung gesprochener Sprache. Glenn Schütze. Gliederung. Akustisches Sprachsignal Sprachwahrnehmung Motorische Theorie Kategorien Kontinuum (neues Paradigma) Experimente Lauttrennung / Variation des Sprechers Sprachliches Vorwissen Weitere Modelle Fragen. Akustisches Sprachsignal.

niveditha
Download Presentation

Wahrnehmung gesprochener Sprache

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Wahrnehmunggesprochener Sprache Glenn Schütze

  2. Gliederung • Akustisches Sprachsignal • Sprachwahrnehmung • Motorische Theorie • Kategorien • Kontinuum (neues Paradigma) • Experimente • Lauttrennung / Variation des Sprechers • Sprachliches Vorwissen • Weitere Modelle • Fragen

  3. Akustisches Sprachsignal Akustisches Sprachsignal

  4. Akustisches Sprachsignal • Beschreibung des Sprachsignals • Phoneme • Kleinste lautliche Segmente • Bedeutungsunterscheidend, aber nicht bedeutungstragend • Phonetische Merkmale • Physische Bewegung des Stimmtraktes • Als akustisches Signal • Schall des eigentlichen Signals • Zeitabhängige Frequenz- und Intensitätsmuster

  5. Akustisches Sprachsignal • Phoneme • Zerlegung des Signals in Einheiten • Beziehen sich auf Laute, nicht Buchstaben • Bsp.: • /b/ bedeutungsunterscheidend, trägt aber keine Semantik • Phonem ohne Hilfe von „Frequenz“ definiert, sondern als Laut Bier /b/ /i:/ /R/ Pier /p/ /i:/ /R/ Biel /b/ /i:/ /l/

  6. Akustisches Sprachsignal • Phonetisches Merkmal • Definiert über Produktion des Lautes im Stimmtrakt • Dadurch: Beschreibung der Phoneme • Sonorität (stimmhaft, stimmlos) • /d/ und /f/ • Artikulationsstelle (Verschluss-, Reibelaute) • /d/ und /f/ • Differenzierung sehr viel umfangreicher als hier angegeben

  7. Akustisches Sprachsignal • Akustisches Sprachsignal (physikalisch) • Betrachtung der Frequenz, Intensität im zeitlichen Verlauf • Dadurch: Sprachsignalmerkmal • Teil des akustischen Signals • Abbildung auf Phoneme • Formant • Vokal • Formantenansatz • Konsonant • Abhängig von der Stellung des Stimmtrakts

  8. Akustisches Sprachsignal • Zusammenfassung • Akustisches Sprachsignal in Phoneme aufgliederbar • Phoneme beschreibbar mit Sprachsignalmerkmalen • Problem • Zusammenhang zwischen akustischen Sprachsignalen und gehörten Lauten • Sprachwahrnehmung

  9. Sprachwahrnehmung Sprachwahrnehmung

  10. Sprachwahrnehmung • Idealisierendes Modell Sprachproduktion Akustisches Signal Phoneme Muster von Schalldruckschwankungen mit verschiedenen Frequenzen Auditives System Dekodierung Reanalyse als Phonem Wahrnehmung des Sprachproduktes

  11. Sprachwahrnehmung • Problem • Es gibt keinen konstanten Zusammenhang zwischen Phonemen und Mustern der Druckschwankungen • Begründung • Variabilität • Problem der Bildung von Einheiten aus dem Sprachsignalfluss

  12. Sprachwahrnehmung - Variabilität • Variabilität • Keine 1:1 Zuordnung von Phonemen zu Sprachsignalmerkmalen • Kontext der Phoneme verändert Sprachsignalmerkmale

  13. Sprachwahrnehmung - Variabilität • Wahrnehmungskonstanz Akustisches Signal A Akustisches Signal B Phonem X Akustisches Signal C . . .

  14. Sprachwahrnehmung - Variabilität • Arten der Variabilität • Individuumsabhängig • Regionsabhängig • Geschlechtsabhängig • Artikulationsabhängig • Bsp.: „Ich gehe heute ins Kino.“

  15. Sprachwahrnehmung - Variabilität • Problem wegen Variabilität • Bildung von Einheiten (es gibt normalerweise keine Pausen)

  16. Sprachwahrnehmung • Fragen • Existieren spezifische Mechanismen für die Sprachwahrnehmung? • Abgrenzung zum allgemeinen auditiven System • Existieren Informationen zur Trennung im Signalfluss? • Ist sprachliches „Vorwissen“ relevant?

  17. Motorische Theorie Motorische Theorie der Sprachwahrnehmung

  18. Motorische Theorie • Motorische Theorie der Sprachwahrnehmung • Nach Liberman (1967) • Postulat • Sprache als Signalform, die erzeugt und wahrgenommen wird • Ein spezifisches System • Hypothetisches, neuronales Netz

  19. Motorische Theorie • Modell nach Liberman Sprachsignal Dekodierungsmechanismus Verarbeitungs- Einheit für Phoneme Reproduktion der Aktivität im Stimmtrakt Phonetische Merkmale Von den Merkmalen erzeugte Laute Sprachwahrnehmung

  20. Motorische Theorie • Sprache behandelt als etwas Besonderes • Durch Ermittlung phonetischer Merkmale • Problem der Variabilität vermieden • Bis hierhin: Modell

  21. Experimente zu Liberman Experimente zu Liberman

  22. Experimente zu Liberman • Empirische Belege / Experimente • Kategoriale Wahrnehmung • McGurk-Effekt • Duale auditive Wahrnehmung

  23. Experimente zu Liberman • Kategoriale Wahrnehmung • Idee • Experiment • Phonem-Identifizierung • Phonem-Unterscheidung Begrenzte Anzahl von Wahrnehmungs- kategorien Sprachsignal

  24. Experimente zu Liberman • Identifizierung der Phoneme • Schrittweise Veränderung der Vokaleinsatzzeit von /da/ zu /ta/ Nach Eimas und Corbit (1973)

  25. Experimente zu Liberman • Unterscheidung der Phoneme • A, B, C Phoneme • Darbietung: A B C ,wobei A ≠ B und C = A oder C = B • Schlechte Unterscheidung innerhalb einer Kategorie, sonst gut • Autoren schließen (Grundsatz der kategoriellen Wahrnehmung) • Laute unterscheidbar nur bei vorheriger Kategorisierung

  26. Experimente zu Liberman • Neues Paradigma (statt Kategorie, Kontinuum) • Experiment • Einschätzung der Laute eines Kontinuums zwischen 2 Kategorien • Probanden konnten Grad (!) der Zugehörigkeit sehr gut einschätzen (nach Massaro, Cohen 1983) • Obwohl Sprachwahrnehmung nicht kategorisch, auf Kommunikationsebene kategorisch Kommunikations- ebene Kommunikations- ebene Kategorisch Nicht kategorisch Kategorisch Sprachwahrnehmungs- ebene Sprachwahrnehmungs- ebene

  27. Experimente zu Liberman • Nachweis der Kategorien auch bei • Geräuschen • Summen • Musik • Affen, die über keine Sprache verfügen Durch Miller, Pisoni, Zatorre, Halpern (1976-1979) • Andere Richtung • Nicht kategorisch, sondern fortlaufend • Neues Modell nötig

  28. Experimente zu Liberman • McGurk-Effekt • Person im Video spricht /ga-ga/ • Zu Hören ist /ba-ba/ • Proband nimmt wahr /da-da/ • Verbindung zwischen auditivem und visuellem System • Existiert Sprachverarbeitungssystem • Benutzung aller Informationen zur Analyse des Signals

  29. Experimente zu Liberman • McGurk-Effekt bei nichtsprachlichen Signalen • Video Cellosaite wird gezupft • Ton Saite wird gestrichen • Proband sieht gestrichene Saite • Proband hört gezupfte Saite • Effekt ist schwächer als bei Sprache • Aber: Infragestellen des spezifischen Sprachverarbeitungsmechanismus (Saldana und Rosenblum 1993)

  30. Experimente zu Liberman • Duale auditive Wahrnehmung Whalen und Liberman 1987 Zu hören: Zirpen Zu hören: /da/ Linkes Ohr Rechtes Ohr

  31. Experimente zu Liberman • Anhänger Libermans: zwei Wahrnehmungsweisen • Sprachmodus • Fügt alle Informationen zusammen • Allgemeiner auditiver Modus • Aber • Auch duale auditive Wahrnehmung bei nichtsprachlichen Signalen • Fowler und Rosenblum (1990) • Wissenschaftliche Debatte hält an

  32. Lauttrennung / Variationen des Sprechers Lauttrennung und Variationen des Sprechers

  33. Lauttrennung / Variationen des Sprechers • Lauttrennung • Suche nach invariante Sprachsignalmerkmalen • Analyse von 3D-Frequenzspektren • Weisen konstante Merkmale auf

  34. Lauttrennung / Variationen des Sprechers • Variation/Normalisierung • Ausgleich von Unterschieden der Sprechweise verschiedener Sprecher auf der untersten Ebene der Wahrnehmung • Insbesondere Frequenzen • Experiment mit McGurk (s.o.) • Visuell Frau • Auditiv männliche Stimme • Trotzdem McGurk-Effekt • Folgerung: Normalisierung findet statt

  35. Sprachliches Vorwissen Sprachliches Vorwissen

  36. Sprachliches Vorwissen • Bisher „Bottom Up“ • Von den Lauten zum Verstehen • Nun „Top Down“ Vorwissen Sprachwahrnehmung Akustisches Sprachsignal

  37. Sprachliches Vorwissen • Wahrnehmung kontextabhängig • Einheitenbildung • „DruckERzeugnis“ (Duden) • „I scream, you scream, everybody wants icecream“ (Chris Barber) • Semantik, Syntax • Experiment (Isard, Miller 1963) • Vermischten normale, grammatisch richtige Sätze, anomale und falsche Sätze • Hörer sprach nach (shadowing) • 89, 79, 56% jeweils richtig nachgesprochen • Semantische, syntaktische Regeln werden für die Wahrnehmung verwendet

  38. Sprachliches Vorwissen • Phonemergänzung • Experiment (Warren 1970) • „Legislativkörperschaften“ • Husten bei /s/, jedoch keine genaue Lokalisation, trotzdem /s/ „gehört“ • „Nun kam der Augenblick zu (x)inken“ • x ist Konsonant, z.B. x = s, x = w, … • Wenn Szenenthema „Abschied“ dann winken

  39. Weitere Modelle Weitere Modelle Nicht kategorial

  40. Weitere Modelle • Fuzzy Logical Model of Perception (FLMP) • Prozesse machen Gebrauch von Prototypen im Langzeitgedächtnis Transformation in psychologische Werte Informationsquellen Auditiv Ai Auswertung Visuell Vj Bietet Unterstützungsgrad für jede Sprachalternative k ai vj Psychologische Werte Integration sk Grad der Unterstützung Auswahl einer der Alternativen Entscheidung Rk t

  41. Weitere Modelle • Voraussetzungen • Jede Informationsquelle wird bewertet • Bestimmung des Grades um Alternativen einzuschränken • Informationsquellen werden unabhängig bewertet • Modell der Mustererkennung • (Massaro 2001)

  42. Schlussbetrachtung Schlussbetrachtung

  43. Schlussbetrachtung • Neue Modell werden erforscht • Alte Modelle sind teilweise unzureichend respektive zu unkonkret • Disput zwischen Kategoriale und „fortlaufender“ Wahrnehmung hält an

  44. Quellen Quellen

  45. Quellen • Wahrnehmungspsychologie • Allgemeine Grundlagen • Goldstein (1997) • Speech Processing • Aktuelle Forschung • Zeng, F.G. (1999) • Grundfragen der allgemeinen Sprachwissenschaft • Kommunikationsmodell • Saussure (1931)

  46. Fragen

More Related