Automatische Spracherkennung

1. Automatische Spracherkennung Jacques KoremanFR 4.7 Phonetikjkoreman@coli.uni-saarland.de Foundations in Language Science and TechnologyWS2005

2. Überblick • Variationin der Wortrealisierung • phonologisch • phonetisch • Modellierung des akustischen Signals • Hidden-Markov-Modellierung

3. Spracherkennung: Anwendungen • Auskunftsysteme (Fahrplan DB) • Hands-free telefonieren • Gesprochene Eingabe, z.B für Navigations-systeme • Hilfsmittel für Behinderte • Diktiersysteme, z.B. NaturallySpeaking (Dragon/ Scansoft), ViaVoice (IBM), FreeSpeech (Philips)

4. Worterkennung Ziel eines ASR-Systems Erkennung einer Äußerung anhand von: Die Variabilität im Signal wirkt sich sowohl auf die Signalmodellierung als auch auf das Lexikon aus. • Signal • Lexikon • Sprachmodell

5. Variation in der Wortrealisierung Phonologische Prozesse können dazu führen, daß Wörter nicht immer gleich realisiert werden: • Lauttilgung • Epenthese • Assimilation

6. Variation in der Wortrealisierung Lauttilgung Ein Laut, der in der sog. “kanonischen Form” (Lexikonform) vorhanden ist, wird nicht realisiert. • Einst stritten sich der Nordwind und ......... • Fährst du mit dem Bus?..... 

7. Variation in der Wortrealisierung Epenthese Ein Laut, der in der sog. “kanonischen Form” nicht vorhanden ist, wird eingefügt. • im Fahrstuhl: eins • Pils - Pilz • Gans - Ganz

8. Variation in der Wortrealisierung

9. Variation in der Wortrealisierung Assimilation Die phonologische Identität eines Lautes ändert sich unter Einfluß des Kontexts (auch prosodisch bedingt). • unmöglich, einbauen • aber nicht: umtaufen, umdrehen

10. Variation in der Wortrealisierung Die durch phonologische Prozesse (Lauttilgung, Epenthese und Assimilation) bedingte Variation kann durch Aussprachevarianten im Lexikon erfasst werden.

11. “Top-down” versus “bottom-up” Das Lexikon und das Sprachmodell, das festlegt, welche Wörter aufeinander folgen können (zusammen: “top-down” Verarbeitung), sorgen dafür, daß Ambiguitäten in der Signalverar-beitung (“bottom-up” Verarbeitung) aufgelöst werden, oder besser: vorgebeugt werden, denn nur Lautsequenzen, die eine mögliche Reihenfolge von Lexikoneinträgen darstellen, können von einem ASR-System erkannt werden.

12. Variation in der Lautrealisierung Ambiguitäten in der Signalverarbeitung entstehen durch phonetische Variation, die durch die Koartikulation zwischen Lauten bedingt ist: • ein Laut eine akustische Identität • Überlagerung von artikulatorischen Gesten • Artikulatorische Übergänge

13. Variation in der Lautrealisierung ein Laut  eine Identität Beispiel: /h/ kann in unterschiedlichen Kontexten unterschiedlich realisiert werden. Man könnte /h/ als eine stimmlose Realisie-rung der Kontextvokale betrachten.(Spektrogramme “ihi”, “aha”, “uhu”: verschiedene Realisierungen des /h/)

14. Variation in der Lautrealisierung ] ] [ i: i: [ h a: ] [ u: h u: h a:

15. Variation in der Lautrealisierung Überlagerung von artikulatorischen Gesten Beispiel: Die artikulatorische Geste für den Vokal /Y/ wird durch die Geste für die benachbarten Frikativen über-lagert. (Spektrogramm“System”: keine klare Abgrenzung der Laute)

16. Variation in der Lautrealisierung [ b0 d e p0 s i m a l z Y p0 t e m ] s (

17. Variation in der Lautrealisierung Artikulatorische Übergänge Beispiel: An den Grenzen des Vokals hängt die Realisierung stark von der Artikulation der benachbarten Laute ab. (Spektrogramm “aba”, “ada”, “aga”: Variation innerhalb der Laute)

18. Variation in der Lautrealisierung [ b0 b a: ] [ b0 d a: ] [ a: b0 g a: ] a: a:

19. Variation in der Lautrealisierung Menschliche Hörer haben mit der im Signal vorhandenen Variation normalerweise keine Probleme. Für den Computer ist sie aber eine Herausforde-rung, den die Variation in der Lautrealisierung muß in den akustischen Modellen erfasst werden. Dazu werden statistische Verfahren (meistens hidden Markov Modellierung) verwendet.

20. Markov-Modellierung • Markov-Modelle bestehen aus Zuständen, die durch Übergänge miteinander verbunden sind. • Wenn sich der Automat in einem bestimmten Zustand befindet, emittiert es ein Symbol (z.B. eine akustische Vektor). • Die Übergänge zwischen den Zuständen sind mit Wahrscheinlichkeiten versehen. • Spielen wir erstmal ein einfaches Beispiel durch, in dem die Zustände Behälter mit farbigen Bällen darstellen. stochastischeModellierung

21. 0.6 0.7 0.5 1 0.4 0.3 0.5 E S 1 2 3 MMs: Einfaches Beispiel • Man fängt in Zustand S (keine Emission) an und geht von da mit einer Wahrscheinlichkeit von p = 1 zu Zustand 1 weiter. • Da nimmt man einen schwarzen Ball aus dem Behälter.

22. 0.6 0.7 0.5 1 0.4 0.3 0.5 E S 1 2 3 MMs: Einfaches Beispiel • Danach geht man entweder weiter zum 2. Zustand (p = 0.4) und nimmt einen roten Ball aus dem Behälter oder man geht noch mal zum 1. Behälter und nimmt wieder einen schwarzen Ball. • So weiter, bis man in Zustand E landet und eine Reihe von gefärbten Bällen hat.

23. Hidden Markov Modellierung • Hidden-Markov-Modelle (HMMs) unterscheiden sich darin von Markov-Modellen, dass die Emissionen nicht unbedingt einem bestimmten Zustand zuzuordnen sind. • In unserem Beispiel wäre dies der Fall, wenn in allen drei Behältern rote, schwarze und gelbe Bälle wären.

24. Hidden Markov Modellierung • Dabei kann das Verhältnis der farbigen Bällen in den Behältern unterschiedlich sein, so dass die Farbemissionen in den drei Zuständen unterschiedliche Wahrscheinlichkeiten haben.

25. 0.6 0.7 0.5 1 0.4 0.3 0.5 E S 1 2 3 HMMs: Einfaches Beispiel • Man fängt in Zustand S (keine Emission) an und geht von da mit einer Wahrscheinlichkeit von p = 1 zu Zustand 1 weiter. • Da nimmt man einen Ball aus dem Behälter, der jetzt aber schwarz, rot oder gelb sein kann.

26. 0.6 0.7 0.5 1 0.4 0.3 0.5 E S 1 2 3 HMMs: Einfaches Beispiel • Danach geht man entweder weiter zum 2. Zustand (p = 0.4) und nimmt einen Ball aus dem Behälter oder man geht noch mal zum 1. Behälter und nimmt da noch mal einen Ball. • So weiter, bis man in Zustand E landet und eine Reihe von gefärbten Bällen hat.

27. HMMs: verborgene Zustände • Wenn jetzt eine Reihe von farbigen Bällen vorliegt, kann man nicht mehr eindeutig erkennen, in welchem Zustand (aus welchem Behälter) man die einzelnen Bälle genommen hat. Die Zustände sind „verborgen“, deswegen Hidden-Markov-Modellierung. 1 1 1 1 1 2 2 2 2 3 3 3 1 1 1 2 2 2 2 2 3 3 3 3 usw.

28. HMMs: Spracherkennung • Reihe von farbigen Bällen = akustische Frames mit Parametervektoren. • Die Aufgabe für den Spracherkenner ist es, für eine vorliegende Äußerung zu erkennen, welche Abfolge von Zuständen die Frames am meist wahrscheinlichen emittiert hat. Das wird durch die Transitions- und Emissionswahrscheinlichkeiten bestimmt.

29. HMMs: Übergange • In der Spracherkennung werden links-rechts-Modelle verwendet (wie vorher gezeichnet), weil die akustischen Ereignisse in der Zeit geordnet sind. So werden Vokale z.B. oft betrachtet als eine Sequenz von Anfangs-transition, „steady state“ und Endtransition. • Wenn ein Modell für Pausen trainiert wird, werden meist Übergange von jedem Zustand zu jedem anderen erlaubt, da es keinen vorgegebenen Ablauf von akustischen Ereignissen gibt (ergodisch).

30. HMMs: Emissionen Emissionen können beschrieben werden mit: • Vektorcodebook: eine feste Anzahl von akus-tischen Vektoren werden verwendet. Sie werden durch Beobachtungswahrscheinlichkeiten bestimmten Zuständen zugeordnet. • Gaussische Verteilungen (normalerweise): die Variation in der akustischen Realisierung in einem Zustand wird mittels einer Normal-verteilung beschrieben.

31. HMMs: komplexere Modelle Es werden auch komplexere Modelle benutzt : • parallele Zustände und E. „multiple mixtures“ können Variationen in der Lautrealisierung (Sprecher, Dialekt, Kontext, usw.) besser beschreiben. • Generalisierte Triphone beschreiben einen Laut in unterschiedlichen Kontexten, wobei die Kontexten gruppiert sind (z.B. nach Artikulationsstelle oder „data-driven“ nach akustischen Eigenschaften). So werden die Anforderungen an der Größe des Trainingkorpus gebändigt.

32. HMMs: komplexere Modelle Es werden auch komplexere Modelle benutzt : • parallele Zustände • Gaussische Mixturen: die Variation in der akustischen Realisierung in einem Zustand wird mittels mehreren Normalverteilung beschrieben.

33. HMMs: Spracherkennung • Es gibt mehrere Abfolgen von Zuständen, die das gleiche Signal (Framefolge) zufolge haben können. Die Framefolge mit der höchsten Wahrscheinlichkeit wird gesucht (dazu wird das Viterbi-Algorithme verwendet). • Dies wird für alle HMMs gemacht. Das HMM, das die höchste Wahrscheinlichkeit ergibt, wir erkannt.

34. HMMs: Lexikon & Sprachmodell • Mit HMM kann man heutzutage sogar kontinu-ierliche Spracherkennung durchführen. Dazu braucht man, außer akustischen (Hidden-Markov-) Modellen, auch ein Lexikon und ein Sprachmodell. • Im Lexikon werden alle Wörter (oder Morpheme) aufgelistet, die das System erkennen soll. • Im Sprachmodell werden alle mögliche Kombi-nationen von Einträgen im Lexikon festgelegt.

35. HMMs: Lexikon • Die Einträge im Lexikon bestehen meist aus einem orthographischen Wort und seiner Realisierung als Folge von HMMs für Laute. • Um Variationen in der Aussprache von Wörtern besser zu bewältigen, werden manchmal im Lexikon auch Aussprachevarianten geschrieben, in denen Reduktionen, Einfügungen und Assimilationen berücksichtigt werden. • Sie sorgen dafür, daß der Abstand zwischen akustischer Realisierung und Eintrag geringer sind.

36. HMMs: Lexikon • Dafür wird auch der Abstand zwischen den Lexikoneinträgen geringer, was wieder zu Verwechslungen führen kann. Deswegen werden oft nur die häufigsten Aussprachevarianten, z.B. für Funktionswörter, berücksichtigt, um die Erkennung zu verbessern.

37. HMMs: Sprachmodell • Das Sprachmodell kann entweder als Regelsystem (linguistische Grammatik) oder als probabilistisches System implementiert werden. • Regelsysteme haben den Vorteil, das sie zu einem besseren Verständnis der linguistischen Eigenschaften von Äußerungen führen (genau so wie kenntnisbasierte Lauterkennung zu einem besseren Verständnis der phonetischen Eigenschaften von Lauten führen kann).

38. HMMs: Sprachmodell • Probabilistische Systeme modellieren dagegen realisierte Äußerungen. Sie berechnen Wahrscheinlichkeiten für die Übergänge zwischen Lexikoneinträge. Sie sind weniger generalisierend, brauchen dafür große Datenmengen als Trainingsmaterial.Angenommen, dass die Testbedingungen gut mit den Trainingsdaten übereinstimmen (Textsorte, lexikalische Domäne, usw.) beschreiben sie aber sehr genau das beobachtete Sprecherverhalten.

39. Literaturangaben: • Van Alphen, P. und D. van Bergem (1989). „Markov models and their application in speech recognition,“ Proceedings Institute of Phonetic Sciences, University of Amsterdam13, 1-26. • Holmes, J. (1988). Speech Synthesis and Recognition (Kap. 8). Wokingham (Berks.): Van Nostrand Reinhold, 129-152. • Holmes, J. (1991). Spracherkennung und Sprachsynthese (Kap. 8). München: Oldenburg.

40. Literaturangaben: • Cox, S. (1988). „Hidden Markov models for automatic speech recognition: theory and application,“ Br. Telecom techn. Journal6(2), 105-115. • Lee, K.-F. (1989). „Hidden Markov modelling: past, present, future,“ Proc. Eurospeech 1989, vol. 1, 148-155.

41. Ende Hausaufgabe: Jeder Teilnehmer macht eine kurze Aufnahme von einem Gespräch. Das Gespräch wird transkribiert und einige Beispiele von Prozessen/Realisierungen, die die Spracherkennung erschweren oder die berücksichtigt werden müssen, werden in der Übung vorgestellt. Am besten benutzt man dafür eine ppt-Folie mit Sounddateien.