Modelle der auditorischen Verarbeitung: Perzeption und evozierte Potenziale

1. Modelle der auditorischen Verarbeitung: Perzeption und evozierte Potenziale Torsten Dau AG Medizinische Physik Carl von Ossietzky Universität Oldenburg

2. Informationsverarbeitendes System Gehör • Hören ist essenziell für Sprachentwicklung und Kommunikation! Schall Andere Sinnes- systeme Codierung Verarbeitung Integration Erfahrung Verhalten/ Antwort/Reaktion • Verständnis der zugrundeliegenden Prozesse. • Modellierung der “effektiven” Signalverarbeitung. • Nutzung für technische Anwendungen. • Herausforderungen:

3. Überblick • Aufbau des Hörsystems: Physiologie und Anatomie. • Signalverarbeitung in derCochlea. • Codierung vonAmplitudenmodulationenim Gehör. • Konsequenzen fürtechnische Anwendungen und klinische Diagnostik.  „peripher”  „zentral”

4. Das Ohr aus „medizinischer Sicht”

5. Cochlea Steigbügel Helicotrema Amboß Hammer Steigbügel Trommelfell Scala vestibuli Basilarmembran Rundes Fenster Ovales Fenster Scala tympani Wanderwelle Scala media Scala vestibuli Basilarmembran Rundes Fenster Scala tympani Die Cochlea

6. Neuronale Stationen bis zum Cortex Auditory Cortex Inferior Colliculus

7. Das Gehör aus „physikalischer Sicht” Frequenz-Orts-Abbildung Einhüllenden-extraktion Dau et al. (1997) (J. Acoust. Soc. Am.) Dynamik-kompression Zeitliche Kontrastierung Modulationsfrequenz-Orts-Abbildung Auflösungsgrenze Verarbeitung “gehörgerecht”? 

8. Schallsignal f Neuronale Aktivität Gehirn Auditory Filter Noise Tone Power Frequency Frequenz-Orts-Transformation in der Cochlea Cochlea wirkt wie akustisches Prisma „Cochleäre Filter” Bandpass-Filterbank  Filterbandbreite beim Menschen indirekt messbar Maskierungs- experimente 

9. Cochleäre Transformation • Amplitudengang wurde oft untersucht: • Fletcher (1940), Zwicker et al. (1957), Plomp (1964), Patterson (1974). • Phasengang wurde bisher wenig untersucht: (i) Gehör galt als phaseninsensitiv (Helmholtz).(ii) “Power spectrum model” erklärt viele Phänomene. • Gehör ist zwar sensitiv für relative Phasenlage zwischen spekralen Komponenten. Dennoch wurde lange angenommen, daß der Einfluß des Gehörs auf Stimulusphase vernachlässigbar ist. • Phasenantwort psychoakustischmessbar? Absolute Phase  und Gruppenlaufzeit nicht erfassbar, aber Phasenkrümmung:

10. Sine phase (m0) Schroeder negative (m-) m- m0 20 dB Masked Threshold (dB) m+ Schroeder positive (m+) Fundamental Frequency (Hz) Tonkomplex-Maskierer Amplitude 2000 200 Frequency (Hz) m+ m_ Schroeder (1970): Kohlrausch und Sander (1995)  Energie-Detektor Modell versagt

11. Amplitude Zeit Erklärungsansatz • Schroeder-Maskierer haben konstante Sweeprate (konstante Phasen-Krümmung): Stimulus BM • Hypothese: Schwellenminimum, falls: BM- Filterung Amplitude (bei 1 kHz) Zeit

12. 70 125 Hz 250 Hz 500 Hz 60 1000 Hz 50 40 1 -1 -0.5 0 0.5 C Value Schätzung der Phasenkrümmung als Funktion von CF m-- Masker • Variationder Sweeprate: m0- Masker  Signal threshold (dB SPL) m+- Masker (fs = 1000 Hz) C Value Oxenham und Dau (2001) (J. Acoust. Soc. Am.) • Signal: 125, 250, 500, 1000 Hz • Maskierer: n1 = 0.4fs ; nmax = 1.6fs • f0 = 0.1fs ; N = 13  keine Dispersion bei tiefen Frequenzen

13. 100 10 1E-2 Normalized phase curvature Stimulus curvature (rad/Hz2) 1 Mean of minima Fitted minima 1E-3 Kohlrausch 0.1 Lentz and Leek Shera(guinea pig) 1E-4 0.01 1000 10000 100 Signal frequency (Hz) Signal frequency (Hz) Signal frequency (Hz) 1E-5 1E-6 1E-7 100 1000 8000 Signal frequency (Hz) Schätzung der Phasenkrümmung der auditorischen Filter Oxenham und Dau (2001) (J. Acoust. Soc. Am.) • Etwa konstante relative Skalierung für • Abweichung von relativer Skalierung für • Phasengang von Filtern existierender Modelle unrealistisch.

14. t1 t2 Zeit Amplitude Time Korrelation zur Physiologie Übertragung an festem Ort x0 (als Funktion der Frequenz =f/CF) Shera (2001)  Frequenz-Dispersion  Impulsantwort: upward chirp Übertragung für feste Frequenz f (als Funktion des Ortes) 250 Hz Räumliche Dispersion: (Wanderwelle) 4 kHz x Apex Basis

15. I Basis Apex + U - Woher kommt die Wanderwelle? - Direkte Konsequenz aus den mechanischen Eigenschaften der Basilarmembran im umgebenden Medium - Räumliche Änderung (“Gradient”) der Steifigkeit der Basilarmembran Elektrisches Ersatzschaltbild Mechanisches Ersatzschaltbild - Egbert de Boer (1980) entwickelt “Transmission-Line” Modell der Basilarmembran und berechnet Wanderwellenausbreitung

16. Konsequenzen der cochleären Dispersion für akustisch evozierte Potenziale • Evozierte Potenziale = Summation von Reizantworten vieler Neurone, abgeleitet im „Fernfeld” an der Schädeloberfläche. Klassisches Click-evoziertes Potenzial Picton et al. (1974) • Potenzialamplitude wesentlich abhängig von: • Anzahl der angeregten Neurone • Synchronisation der Entladungen Click kann nicht optimal sein!

17. Ausgleich der Laufzeitunterschiede • Clickreiz nicht optimal um hohe Synchronisation zu erreichen. • Mit Hilfe des de Boer-Modells (“exponential model”) lässt sich „vorverzerrter” Stimulus berechnen, der die Laufzeitunterschiede ausgleicht. Chirp-Reiz Dau et al. (2000) (J. Acoust. Soc. Am.) Click Chirp Apex Apex Basis Basis

18. Click Chirp V V III III I I Click- und chirp-evozierte Potenziale Dau et al. (2000) (J. Acoust. Soc. Am.)  In Cochlea erzielte „optimale” Synchronisation durch den Chirp führt auch zu erhöhter Synchronisation im Hirnstamm (Welle V).

19. Frequenz Zeit Up- versus down-chirp rising Dau et al. (2000) (J. Acoust. Soc. Am.)

20. Generatoren? ? s (t) Modellierung von evozierten Potenzialen? • Welche Population generiert welchen Potenzialpeak? • Wie ist die Beziehung zwischen Hirnstammantworten und cochleärer Vorverarbeitung?

21. Potenzialgenerierung 1) 3) ui(t) = unitary response ri(t) = instantaneous discharge rate Potential produced by kth population Number of cells in the population 4) 2) Potential produced by one cell in that population Compound instantaneous discharge rate

22. “Unitary response” im Modell: drei einzelne Antworten, die die Generatoren für die Wellen I, III, V repräsentieren. Form der peaks basiert auf physiologischen Daten. Annahmen im Modell: „Impulsantworten” der beteiligten Generatoren • Form der “unitary response” unabhängig von CF. • “Template” unabhängig vom Stimulus und Pegel.

23. Heinz et al. (2001) Neuronale Erregungsfunktion Nichtlineares AN Modell von Heinz et al. (2001): • Berechnet stimulusabhängigeFeuerrate r(t) als Funktion von CF.

24. Wave V- Wave III Wave V+ Wave I Generatoren der Potenzialpeaks

25. Modellierung von evozierten Potenzialen Idee: Berechnung der summierten synchronisierten Neuronenaktivität, basierend auf realistischem Cochlea-Modell. Dau (2002) (J. Acoust. Soc. Am., subm.) Mittelohrfilterung BM Bandpassfiltering (mit Feedback) IHZ-Transduction AN-ModelHeinz et al. (2001) Adaptation IHZ-AN Synapse Mittlere Feuerrate + Summierte neuronale Aktivität Faltung mit “Unitary Response” + Internes Rauschen Evoziertes Potenzial

26. Data Model Data Model Vergleich von Simulation und Messung Click Chirp Dau (2002) (J. Acoust. Soc. Am., subm.)

27. Model Data Beispiel für komplexe Stimulation Dau (2002) (J. Acoust. Soc. Am., subm.)

28. Interpretation/Anwendungen • Verständnis der Verarbeitung in der Cochlea fundamental für die Interpretation der (frühen) Potenzialmuster. • Modellierung erlaubt Vorhersage für beliebige Reizebei beliebigen Pegeln: •  Aussagen über Frequenzspezifizität von Antworten möglich. • Aussagen für beliebigen angenommenen Hörverlust möglich. • Antwort auf tieffrequente Töne (z.B. 300 Hz) repräsentiert Aktivität von Neuronen, die auf höhere Frequenzen (> 1.2 kHz) abgestimmt sind. • Wichtiges Hilfsmittel im Bereich der klinischen Diagnostik!

29. Das Gehör aus „physikalischer Sicht” Frequenz-Orts-Abbildung Einhüllenden-extraktion Dau et al. (1997) (J. Acoust. Soc. Am.) Dynamik-kompression Zeitliche Kontrastierung Modulationsfrequenz-Analyse Auflösungsgrenze

30. Signalverarbeitung hinter der Cochlea • Hören ist mehr als nur cochleäre Verarbeitung! • Bisher „nur” Zerlegung in Frequenzbänder durch Cochlea und Umwandlung in neuronale Aktivitätsmuster im auditorischen Nerven. • Wichtige Informationen sind auch in zeitlicher „Grobstruktur” enthalten: Sprache, Musik, Umweltgeräusche durch Modulationen gekennzeichnet.

31. Extraktion der Einhüllenden in den Haarzellen Feinstruktur wird abgebildet Pickles (1988) Einhüllende wird abgebildet Out Modellierung:  Einhüllende + In f 1 kHz Gleichrichtung Tiefpass-Filterung

32. “schwierig” f = 6000 Hz “leicht” fgr = 64 Hz Modulationstransferfunktion • Wie wird die Einhüllende weiterverarbeitet? Wie überträgt das Gehör Modulationen? Wie empfindlich ist das Gehör für Modulationen? • „Einfachstes” Experiment: Modulationsdetektion mit Rauschträger Viemeister (1979) Tiefpass-Charakteristik („Trägheit“) des Gehörs

33. predetection filtering fgr = 64 Hz fgr = 64 Hz halfwave rectification lowpass filtering decision device Einhüllenden-Detektor Modell (Viemeister, 1979) Problem: Modell „funktioniert” nur bei Breitbandrauschen!

34. f = 3 Hz f = 3 Hz Amplitude Zeit (s) Amplitude f = 30 Hz f = 30 Hz Zeit (s) Amplitude f = 300 Hz f = 300 Hz Zeit (s) Messdaten für verschiedene Bandbreiten Tiefpass-Verhalten gilt nicht allgemein! m at threshold (dB)  Viemeister-Modell versagt m at threshold (dB)  Neues Erklärungs- konzept notwendig! m at threshold (dB) Modulation frequency Dau et al. (1997) (J. Acoust. Soc. Am.)

35. signal masker Modulationsmaskierung Psychoakustische Maskierungsmuster Modulations-filterbank  Ewert und Dau (2000) (J. Acoust. Soc. Am.)  Konstante Güte Q der Filter Analogie: Cochleäre Verarbeitung „Zentrale” Verarbeitung Frequenz-Zerlegung  Modulationsfrequenz-Zerlegung Prinzip: Tonotopie  Prinzip: Periodotopie

36. Modulationsfilterbank-Modell Dau et al. (1997) (J. Acoust. Soc. Am.)

37. Experiment und Simulation • Modell erlaubt Nachbildung für breitbandige („klassische”) undschmalbandige Signale. • Tiefpass-Charakteristik durch logarithmische Skalierung:   3dB-Anstieg pro Oktave f = 3 Hz m at threshold (dB) f = 3 Hz f = 30 Hz f = 30 Hz m at threshold (dB) f = 300 Hz f = 300 Hz m at threshold (dB) Dau et al. (1997a,b) (J. Acoust. Soc. Am.) Modulation frequency

38. Spektrum Mod.-Spektrum Modulationsspektrum von Gauß-Rauschen Reelles Signal: Analyt. Signal Hilbert-Transformation Hilbert Einhüllende: mit Mod.-Spektrum: Gauß- Rauschen Lawson & Uhlen- beck (1950) Wiener-Chintchin Theorem:

39. 30 f = 30 Hz 300 f = 300 Hz f = 3 Hz “Envelope power spectrum model” Träger-Modulationsspektrum Modulationsfilter- Übertragungsfunktion Einhüllendenfrequenz Dau et al. (1999) (J. Acoust. Soc. Am.)

40. Physiologische Modulationsfilter Kortex: Schulze et al. (2002) Hirnstamm: Langner und Schreiner (1988) - Frequenzselektivität größer in physiologischen Ableitungen - Biologische Realisation der Periodizitätsanalyse? Korrelation unklar:

41. Objektbildung

42. Signal ohne Maskierer Interferenz (MDI) Signal Signal Frequenz Yost et al. (1989) Maskierer Zeit Zeit Auditorische Objektbildung Beispiel: Interferenzen bei der Modulationswahrnehmung (MDI = Modulation detection interference) • „Interferenz-Effekt”: Modulationen beeinflussen sich gegenseitig • Klassisches Frequenzgruppenkonzept versagt: Wechselwirkung über Frequenzgruppen hinweg

43. Original-Perzeptionsmodell Unabhängige Verarbeitung in allen Frequenzgruppen  keine Interferenz Modellunrealistisch 

44. Erweitertes Verarbeitungsmodell Frequenzgruppen- übergreifende Integration durch gemeinsame Filterbank Modellrealistisch?  Dau und Verhey (1999)

45. Auditorische Objektbildung Interferenzen bei der Modulationswahrnehmung (MDI = Modulation detection interference) Signal ohne Maskierer Klassisches MDI Aufhebung von MDI Signal Signal Signal Frequenz Signal Signal Signal Frequenz Maskierer Maskierer Maskierer Maskierer Zeit Zeit Zeit Zeit Zeit Zeit Oxenham und Dau (JASA, 2001) Oxenham and Dau (2001c) J. Acoust. Soc. Am. Interferenzeffekte (MDI) gekoppelt mit auditorischer Objektbildung. Aufhebung der Interferenz durch „sequential streaming”. Modell: „Hart verdrahtete” Integration macht keinen Sinn.

46. Modellierung auditorischer Objektbildung • Prozesse bei frequenzgruppenübergreifender Interaktion sind komplex. • Stärke der Interferenz in der Wahrnehmung abhängig vonobjekt-bildenden Parametern wie: Synchronizität, Harmonizität, Tonhöhe, Räumliche Position, ... • „Top-down” Prozesse in der Modellierung notwendig (zusätzlich zu den bisher angenommenen „bottom-up” Prozessen). • Modellierung schwierig, aber wichtig für Nachbildung in realistischer akustischer Umgebung. Steht noch am Anfang.

47. Codiertes Signal Qualitäts- Maß Modell Original- Signal Modell Erkenner Signal Coder Signal Modell Decoder Modell (NH) Signal Modifi- kation Modell (SH) Technische Anwendungen von Gehörmodellen • Signalqualitäts-Bewertung (z.B. Mobiltelefon, Hörgerät, ...) • Sprach- und Mustererkennung • Signalkodierung(z.B. MP3-Kodierung, Handy...) Hörgeräte • Hörgeräte

48. Anwendungen der Modelle in klinischer Diagnostik? Evozierte Potenziale: • Möglichkeiten und Grenzen eines „objektiven“ Nachweises von Schwerhörigkeit. • Verständnis der Entstehungsmechanismen und Lokalisation der Generatoren. • Neuronale Korrelate von kognitiven Leistungen? Perzeptionsmodell: • Besseres Verständnis von Schwerhörigkeit. Sind die beobachteten Eigenschaften gekoppelt oder unabhängig? Erhöhte Schwellen Schlechtere Zeit-auflösung Recruitment ? Gestörtes binaurales Hören Schlechtere Frequenzauflösung

49. Zusammenfassung (I) • Signalverarbeitung im Gehör: „Hierarchische“ Vorgehensweise (peripher  zentral). Neuronale Kodierungsprinzipien und „effektive“ Modellierung. • „Cochleäre Transformation“: • Schätzung des Phasengangs der peripheren Filter durch Detektions-experimente  kritischer Test für Cochlea-Modelle. • Inhomogene mechanische Eigenschaften der Basilarmembran Ursache der räumlichen Dispersion Wanderwelle. • Ausgleich der cochleären Laufzeitunterschiede führt auf Chirpreiz.  Optimaler Reiz zur Auslösung von Hirnstammantworten. • Modulationsverarbeitung: • Konzept der „Periodotopie“ zusätzlich zur Tonotopie. • Modulationsfilterbank-Analyse in jedem Frequenzkanal erforderlich. • Mehrdimensionale interne Repräsentation auf zentraler Verarbeitungsstufe.

50. Zusammenfassung (II) • Auditorische Objektbildung: • Klassisches Konzept „unabhängiger Beobachtungen“ beschränkt. • Interferenzeffekte in der Wahrnehmung (Beispiel MDI). • Stärke der Interferenz abhängig von objektbildenden Parametern. • Modellierung schwierig. Top-down Prozesse notwendig. • Anwendungen: • Objektive Qualitätbewertung, Sprach- und Mustererkennung, Signal-kodierung, digitale Hörgeräte. • Klinische Diagnostik: Besseres Verständnis von Schwerhörigkeit. Neuronale Grundlagen einfacher kognitiver Leistungen?