1 / 45

Hidden Markov Modelle und ihre Anwendung in der Spracherkennung

tate
Download Presentation

Hidden Markov Modelle und ihre Anwendung in der Spracherkennung

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

    1. Hidden Markov Modelle und ihre Anwendung in der Spracherkennung Konstantin Postlep Jannick Schatz Viet Long Pham

    2. Andrei Andrejewitsch Markov * 14. Juni 1856 in Rjasan † 20. Juli 1922 in Petrograd Mathematiker, der wesentliche Beiträge zur Wahrscheinlichkeitstheorie und Analysis beisteuerte. Markov ist vor allem für die Theorie der stochastischen Prozesse bekannt

    3. Markov Ketten

    4. Markov Ketten Wie groß ist die Wahrscheinlichkeit einer Wetterprognose der nächsten 5 Tage von SRRWS wenn am ersten Tag die Sonne scheint?

    5. Markov Ketten Wie groß ist die Wahrscheinlichkeit einer Wetterprognose der nächsten 5 Tage von SRRWS wenn am ersten Tag die Sonne scheint? ? P(SRRWS | Model) = P(S) ? P(R|S) ? P(R|R) ? P(W|R) ? P(S|W) = ?S ? aSR ? aRR ? aRW ? aWS = 1 ? 0,25 ? 0,375 ? 0,675 ? 0,375 = 0,0237

    6. Hidden Markov Model Ein Hidden Markov Model ist ein stochastisches Modell, das sich durch zwei Zufallsprozesse beschreiben lässt Der erste Zufallsprozess entspricht dabei einer Markov-Kette Die Zustände der Kette sind von außen jedoch nicht direkt sichtbar (sie sind verborgen) Stattdessen erzeugt ein zweiter Zufallsprozess zu jedem Zeitpunkt beobachtbare Ausgangssymbole gemäß einer zustandsabhängigen Wahrscheinlichkeitsverteilung

    7. Erweiterung auf ein HMM

    8. Erweiterung auf ein HMM

    9. Formale Definition Ein HMM ist Formal definiert als ein 5-Tupel ?=(S,V,A,B,?) mit S = {S1,S2,…,SN}, der endlichen Anzahl der Zustände V = {V1,V2,…,VM}, dem Ausgabealphabet A={aij} , der Übergangswahrscheinlichkeitsmatrix, wobei aij die Wahrscheinlichkeit angibt, dass Zustand Si in Zustand Sj wechseln wird. 1 = i,j = N B={bj(k)}, der Matrix der Ausgabewahrscheinlichkeiten. 1 = j = N, 1 = k = M. ?i, der Anfangswahrscheinlichkeitsverteilung 1 = i = N

    10. Matrizendarstellung des HMM Anfangswahrscheinlichkeit Vorgegebene Werte, z.B. aus statistischen Daten ? = ( ?1 , ?2 , ?3 ) = (0.63 , 0.17 , 0.2 ) Zustandsübergangswahrscheinlichkeitsmatrix Sonne Wolken Regen Sonne 0,5 0,25 0,25 A = { aij } = Wolken 0,375 0,125 0,375 Regen 0,125 0,675 0,375 Ausgabewahrscheinlichkeitsmatrix Trocken Eher Trocken Eher Feucht Feucht Sonne 0,6 0,2 0,15 0,05 B = { bj(k) } = Wolken 0,25 0,25 0,25 0,25 Regen 0,05 0,1 0,35 0,5

    11. Grundlegende Aufgaben auf einem HMM Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen? (Evaluation) Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden? (Dekodierung) Wie lassen sich die Parameter eines HMM justieren, um P(O| ?) zu maximieren? (Training)

    12. Grundlegende Aufgaben auf einem HMM Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen? (Evaluation) ? Forward Algorithmus Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden? (Dekodierung) ? Viterbi Algorithmus Wie lassen sich die Parameter eines HMM justieren, um P(O| ?) zu maximieren? (Training)

    13. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen?

    14. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen? Initialisierung : a1(i) = ?ibi(O1) 1= i = N Induktion : at+1(j) = [ at(i) aij ] bj(Ot+1) 1 = t < T 1 = j = N Terminierung : P(O|?) = aT(i) ? at(i) ist die Wahrscheinlichkeit die Folge O1…Ot zu emittieren und dabei im Zustand i zu enden.

    15. Beispiel

    16. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen?

    17. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen?

    18. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen?

    19. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen?

    20. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen?

    21. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen?

    22. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen?

    23. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen?

    24. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie lässt sich die Wahrscheinlichkeit P(O| ?) berechnen?

    25. Der Viterbi Algorithmus Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden (Dekodierung) Wir definieren uns ähnlich dem Forward-Algorithmus eine Variable dt(i), die die Wahrscheinlichkeit der wahrscheinlichsten Folge von Zuständen ist, die in i endet und O1…Ot emittiert. Um den eigentlichen Pfad herauszufinden, speichern wir in ?t(i) den letzten Zustand dieser Folge vor dem Zustand i.

    26. Der Viterbi Algorithmus Initialisierung : d1(i) = ?ibi(O1) 1= i = N ?1(i) = 0 Rekursion : dt(j) = max [dt-1(i)aij]bj(Ot) 2 = t = T, 1 = j = N ?t(j) = argmax [dt-1(i)aij] 2 = t = T, 1 = j = N Terminierung : P* = max [dt(i)] qT* = argmax [dt(i)] Pfad (Zustandssequenz) Backtracking : qt* = ?t+1(q*t+1) t = T-1,T-2,…,1

    27. Der Viterbi Algorithmus Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden (Dekodierung)

    28. Der Viterbi Algorithmus Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden (Dekodierung)

    29. Der Viterbi Algorithmus Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden (Dekodierung)

    30. Der Viterbi Algorithmus Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden (Dekodierung)

    31. Der Viterbi Algorithmus Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden (Dekodierung)

    32. Der Viterbi Algorithmus Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden (Dekodierung)

    33. Der Viterbi Algorithmus Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden (Dekodierung)

    34. Der Viterbi Algorithmus Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden (Dekodierung)

    35. Der Viterbi Algorithmus Wie lässt sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zustände finden (Dekodierung)

    36. Ein Spracherkennungssystem

    37. Bearbeitung des Sprachsignals

    38. Subworterkennung

    39. Isolierte Worterkennung mit HMMs

    40. Isolierte Worterkennung mit HMMs

    41. Isolierte Worterkennung mit HMMs

    42. Syntaktische Überprüfung

    43. Semantische Überprüfung

    44. Quellen: „A Tutorial in Hidden Markov Models and Selected Applications in Speech Recognition“ Lawrence R. Rabiner, Fellow, IEE Februar 1989 http://www.comp.leeds.ac.uk/roger/HiddenMarkovModels/html_dev/main.html http://wwwuser.gwdg.de/~mherrma/v0/node76.html http://www.ikp.uni-bonn.de/dt/lehre/Milca/mmk/content/mmk_s121.xhtml

    45. Schönen Dank für die Aufmerksamkeit

More Related