Bayes Netze

1. Bayes Netze Seminar: Transkription in Sprachsynthese und -erkennung Vortragender: Thomas Jach

2. Überblick • Bayes Grundlagen • Wahrscheinlichkeitstheoretischer Ansatz zur Erkennung von Sprache • Ermitteln von Phonemwahrscheinlich-keiten durch Bayes Netze • Experimentelle Ergebnisse und Vergleiche

3. Bayes Grundlagen • Thomas Bayes 1702 – 1761 • Englischer Mathematiker • Bayes Theorem

4. Bayes Grundlagen • Durch Bayes Theorem kann direkte Beziehung zwischen den Wahrscheinlichkeiten, daß Hypothese eintrifft, wenn Vorbedingung erfüllt, und daß Vorbedingungen eintreffen, wenn Hypothese erfüllt, hergestellt werden

5. Bayes Grundlagen • Bayes Theorem • P(h) = a priori Wahrscheinlichkeit einer Hypothese • P(D) = a priori Wahrscheinlichkeit einer Bedingung • P(h|D) = Wahrscheinlichkeit von h gegeben D • P(D|h) = Wahrscheinlichkeit von D gegeben h

6. Bayes Grundlagen Familie weg (fw) Magenprobleme (mp) P(mp) = 1% P(fw) =15% Hund draussen (hd) Licht aus (la) P(hd|fw,mp) = 99% P(hd|fw,nicht mp) = 90% P(hd|nicht fw,mp) = 97 % P(hd|nichtfw,nicht mp) = 30% P(la|fw) = 60% P(la|nicht fw) = 5% Gebell (gb) P(gb|hd) = 70% P(gb|nicht hd) = 1 %

7. Bayes Grundlagen • Modellierung von komplexen Sachverhalten mit Hilfe von wenigen Parametern möglich • Bayes Netze typischerweise relativ klein im Vergleich zu Entscheidungsbäumen oder herkömmlichen neuronalen Netzen

8. Bayes Grundlagen • Bayes Netze verhalten sich ähnlich der Entscheidungsfindung eines menschlichen Experten z.B. Ärzten bei einer Diagnose • Bayes Netze können durch Experten manuell erstellt werden, oder auch vollständig oder teilweise automatisch trainiert werden (derzeitig intensives Forschungsgebiet)

9. Phonemerkennung • Formalisierung des Problems der Phonemerkennung:s‘ = argmaxs P(O|s,w)P(s|w) • 2 Stufiger Prozess: • Erzeugen der Aussprache s eines Wortes w mit seiner Wahrscheinlichkeit • Auffinden der Phonemsequenz s‘, die P(O|s,w) optimiert • O ist dabei eine Sequenz von akustischen Beobachtungen

10. Phonemerkennung • Im weiteren wird sich auf den 1. Schritt konzentriert • Automatische Transkription mit Hilfe von Bayes Netzen • > Transkription somit dynamisch durch die Anwendung anpassbar • Approximative Lösung durch Wahrscheinlichkeiten sinnvoll, um auch unbekannte Wörter einfach klassifizieren zu können.

11. Bayes Netze • Wort w = α1α2..αm Grapheme • Aussprache s = β1β2..βn Phoneme • Es gilt: P(s|w) = P (β1β2..βn| α1α2..αm)≈ ∏ P(βi| α1α2..αm) P(βi| βi-1…β1) • P(βi| βi-1…β1) Wahrscheinlichkeit der Auswahl von βi unter Berücksichtung der vorherigen Phoneme • P(βi| α1α2..αm) Wahrscheinlichkeit der Auswahl von βi unter Berücksichtigung einer bestimmten Anzahl von umgebenden Graphemen.

12. Bayes Netze • Phonemkontext P(βi| βi-1…β1) kann in unserer weiteren Betrachtung vernachlässigt werden. bzw. wird in den experimentellen Ergebnissen später im Vortrag nur durch den verkürzten Kontext P(βi| βi-1) berücksichtigt. • Eine weitere Erhöhung würde nicht mehr zu einer signifikanten Erhöhung der Erkennungsleistung führen

13. Bayes Netze • Lösung des Problems P(βi| α1,α2,..,αm) mit Hilfe von Bayes Netzen. • Wir verwenden dafür einen Kontext von 7 Graphemen αi-3,…,αi,..,αi+3 • Beim Design der Bayes Netze gehen wir von der Annahme aus, daß Grapheme in relativer Nähe zum betrachteten Graphem αi größere Auswirkung auf dessen Aussprache haben.

14. Bayes Netze A B C D P(a|p,a) = 0.01% …. P(z|p,a) = 0.02% P(a|p,b) = 0.002% ….. … P(z|p,b) = 0.03 % P(a|b,a) = 0.001 % …. E

15. Experimentelle Ergebnisse • Lernen der Wahrscheinlichkeiten mit Hilfe des CMU-Wörterbuches mit 58000 Wörtern • Bei Kontext von 7 ergeben sich 404405 Segmente von denen 322209 trainiert wurden, mit dem Rest wurde getestet • 3 fache Iteration des Trainings durch manuelle Korrektur der falsch erkannten Phoneme und Neuberechnung der Wahrscheinlichkeiten

16. Experimentelle Ergebnisse

17. Experimentelle Ergebnisse

18. Experimentelle Ergebnisse • Training der Netze eventuell sehr aufwendig • Effektives lösen von Bayes Netzen meistens nur approximativ möglich Trifft in konkretem Beispiel aber nicht zu, da verwendete Bayes Netze relativ klein, und Struktur in den meisten Fällen bekannt

19. Experimentelle Ergebnisse • Bayes Netze haben eine höhere Erkennungsleistung für unbekannte Wörter als Entscheidungsbäume vergleichbarer Komplexität • Bayes Netze benötigen durch ihre Struktur weniger Speicher als Entscheidungsbäume mit gleicher Erkennungsleistung • Bayes Netze benötigen weniger Rechenzeit als Entscheidungsbäume (ein erhöhter Kontext würde in der Praxis wesentlich schneller zu einem nicht mehr berechenbaren Baum führen)