Transduktoren für die Sprachverarbeitung

1. Transduktoren für die Sprachverarbeitung Determinisierung / Sequentialisierung nicht-sequentieller Transduktoren Karin Haenelt

2. Determinisierung: Definition Wir nennen einen Algorithmus, der es ermöglicht, einen nicht-sequentiellenTransduktor in einen endlich-subsequentiellen Transduktor zu überführen, Determinisierung (Mohri 1996) • Ziel • Zusammenfassung aller Startzustände zu einem Startzustand • Zusammenfassung aller ausgehenden Kanten mit demselben Symbol zu einer einzigen Kante • Eliminierung von Epsilonkanten

3. Beispiel 1 nicht-sequentieller Transduktor b r e c h 0 1 2 3 4 5 r a c h b r i n g 6 7 8 9 r a c h r e n n 10 11 12 13 r a n n endlich-subsequentieller Transduktor ech 2,ε 6,ε 10,ε 3,e 7,i 11,e b r ε ε ε 4,ec 8,in 5,ech 9,ing 0,ε 1,ε b r a c h ing en n 12,ε 13,ε n n

4. Beispiel 2 nicht-sequentieller Transduktor b r e c h 0 1 2 3 4 5 r a c h b i n g 6 7 8 a c c r e n n 9 10 11 12 r a n n a u 13 14 a u endlich-subsequentieller Transduktor 3,e 6,i 10,e 13,a ech 4,ec 7,in b r 5,ech 8,ing 2,ε 9,ε 0,ε 1,ε b r a c h ing en 11,ε 12,ε n n n au 14,ε u

5. b r e c h 0 1 2 3 4 5 r a c h b r i n g 6 7 8 9 r a c h ech b r 4,ec 8,in 5,ech 9,ing 2,ε 6,ε 3,e 7,i 0,ε 1,ε b r a c h ing Prinzip • Kombination der lokal ambigen Pfade zu einem Pfad, der keine Ausgabe erzeugt • Verzögerung der Ausgabe bis zur Auflösung der Ambiguität • Verzögerte Ausgabe kann mit einer Mehrzeichen-Ausgabe an einer Kante zusammengefasst werden

6. Konstruktion • ähnlich wie Potenzmengen-Konstruktion zur Determinisierung nicht-deterministischer Automaten • mit lazy implementation • hier zusätzlich: • Verzögerung der Ausgabe, falls zu einer Eingabe verschiedene Ausgaben vorkommen • neue Zustände gebildet aus Mengen von Paaren (stateT1,string) • stateT1: Zustand in T1 • string: weitergereichte, d.h. verzögerte Ausgabe 4,ec 8,in {(4,ec),(8,in)}

7. Notationskonventionen, 1 Mohri, 1996

8. Notationskonventionen, 2 Mohri, 1996

9. c:c 3,e 4 c:c 3,e c:n 7,i 8 c:n 7,i Notationskonventionen, 3 Abkürzungen Zustände einer zusammengefassten Zustandsmenge in T2 für die Eingabe a in T1 definiert ist alle Elemente des Repräsentanten {(3,e),(7,i)}, in denen gemäß T1 Eingabe c definiert ist J1(c) = {(3,e),(7,i)} Kanten einer zusammengefassten Zustandsmenge in T2 für die Eingabe a mit Zielzustand q‘ in T1 definiert ist alle Kanten des Repräsentanten {(3,e),(7,i)}, in denen gemäß T1 Eingabe c mit Zielzustand q‘ definiert ist J2(c) = {(3,e,4),(7,i,8)},

10. Algorithmus DETERMINIZATION_TRANSDUCER(T1,T2), Mohri 1996 Mohri, 1996 Eberhard/Niemann/Sejane, 2004

11. 2 Startzustände vereinigen 3 Repräsentant für Startzustände in Queue 4-14 Schleife über Queue 12 8 7 11 14 10 Endzustände Repräsentant für Zielzustand in Queue verzögerte Ausgabe als Endausgabe nächster Repräsentant aus Queue Ausgabe berechnen Repräsentant für Zielzustand berechnen Algorithmus: Struktur DETERMINIZATION_TRANSDUCER(T1,T2), Mohri 1996 Mohri, 1996 Eberhard/Niemann/Sejane, 2004

12. Kern des Determinisierungsalgorithmus DETERMINIZATION_TRANSDUCER(T1,T2), Mohri 1996

13. b T2 T1 0,ε 0 1 b Zustandsübergänge für {(0,ε)}

14. [σ2(q2,a)]-1 w σ1(q1,a,q1’)) [längste gemeinsame Ausgabe]-1∙angesammelte Gesamtausgabe wird links abgeschnitten von bisher verzögerter Ausgabe w, verkettet mit aktueller Ausgabe b T2 T1 0,ε 0 1 b Zustandsübergänge für {(0,ε)} Zustand q‘, verzögerte Ausgabe)

15. Transitionen für {(3,e),(7,i),(11,e)}, c T2 T1 c h 3 4 5 c h 2,ε 6,ε 10,ε 3,e 7,i 11,e b r 4,ec 8,in n g 0,ε 1,ε 7 8 9 c h c b r a n n 11 12 13 n n

16. Beispiel 1 nicht-sequentieller Transduktor b r e c h 0 1 2 3 4 5 r a c h b r i n g 6 7 8 9 r a c h r e n n 10 11 12 13 r a n n ech p-subsequentieller Transduktor 2,ε 6,ε 10,ε 3,e 7,i 11,e b r 4,ec 8,in 5,ech 9,ing 0,ε 1,ε b r a c h ing en n 12,ε 13,ε n n

17. σ2(q2,c) für {(3,e),(7,i),(11,e)}

18. σ2(q2,c) für {(3,e),(7,i),(11,e)} längstes gemein- sames Präfix von

19. Erweiterung des Algorithmus für endlich-subsequentielle Transduktoren • nicht nur eine, sondern endlich viele Endausgaben • Endausgabe muss eine Menge sein Mohri, 1996

20. Komplexität des subsequentiellen Transduktors • Zeit • allgemeine Form der Komplexitätskurve ist linear • Laufzeit • hängt nur von der Länge der Eingabezeichenreihe ab • nicht von der Größe des Automaten • keine Ambiguitäten zu verwalten

21. Komplexität des subsequentiellen Transduktors • Platz • theoretisch können Transduktoren mit mehr als 2Q Zuständen entstehen(Anzahl der Teilmengen, die aus n Zuständen gebildet werden kann, beträgt 2n, zusätzlich: Kombinationen mit verzögerten Ausgaben) • kommt in der Praxis der Sprachverarbeitung kaum vor, da • durch Abfolgebeschränkungen der Zeichen zur Modellierung menschlicher Sprachen (Laute, Buchstaben, Worte, Kategorien)nicht jeder Zustand mit jedem anderen durch eine Kante verbunden werden kann. • die Anzahl und Länge der Ambiguitäten praktisch begrenzt ist • praktisch sind die entstehenden endlich-subsequentiellen Transduktoren oft kleiner als die originalen nicht-sequentiellen Transduktoren • daher lazy implementation sinnvoll (Zustände nur bilden, wenn sie das Ergebnis einer Transition sind, die von einem bereits hinzugefügten Zustand ausgehen)

22. Komplexität: Beispiel 1 (Mohri, 1996)

23. Komplexität: Beispiel 2 Word lattice W1: Which flights leave Detroit and arrive at Saint- Petersburg around nine a.m.? Word lattice W2: Determinisierung von W1 Word lattice W3: Minimierung von W2 Mohri, 1997

24. Ersparnis durch Determinisierung • Ein gewichteter Transduktor word lattice für die Spracherkennung auf einem 2.000 Wörter Lexikon für den Satz Which flights leave Detroit and arrive at Saint-Petersburg around nine am? (Mohri, 1997: 32ff. über ARPA ATIS) Folie von:Eberhard/Niemann/Sejane, 2004: 26

25. Komplexität: Determinisierungsalgorithmus • zeitbestimmender Faktor des Algorithmus:Hashing-Methode, mit der festgestellt wird, ob ein erzeugter Repräsentant eines Zustandes neu oder bekannt ist:if ( is a new state)then ENQUEUE(Q, )

26. Determinisierbarkeit • alle azyklischen Transduktoren können determinisiert werden • zyklische Transduktoren können determinisiert werden, wenn die Zyklen eine Twins-Property haben • für nicht-determinisierbare Transduktoren können deterministische Bi-Maschinen konstruiert werden

27. Twins-Property / Zwillingseigenschaft • Choffrut, 1977, 1978 • allgemeiner Algorithmus • Nachweis der Entscheidbarkeit • Allauzen/Mohri • Algorithmus auf der Basis der Komposition von Transduktoren und einer Charakterisierung der Twins-Property über die Kombinatorik von Worten

28. Zwillingseigenschaft Mohri, 1997:310

29. Zwillingseigenschaft • q1 und q2 sind Geschwister, • wenn sie vom Startzustand über dieselbe Zeichenreihe x erreicht werden können • wenn es am Zustand q1 und q2 einen Zyklus mit Eingabe y gibt • Zwei Geschwister q1 und q2 sind Zwillinge • wenn die Minimalausgabe einer Schleife mit Eingabe y bei q1 und q2 identisch ist • ein Tranduktor T hat die Zwillingseigenschaft, wenn alle Geschwister Zwillinge sind Allauzen/Mohri, 2003

30. Nicht-sequentialisierbare Transduktoren Allauzen/Mohri 2003

31. Nicht-sequentialisierbare Transduktoren • Beispiel für eine Funktion, für die es keinen sequentiellen Transduktor gibt: x:a x:a 1 2 x:a 0 x:b x:b 3 4 x:b • Bedingung für sequentielle Funktion (Theorem von Ginsburg und Rose, 1966): Mohri, 1997:303

32. BiMaschinen • Geeignet zur Aufteilung eines funktionalen aber nicht sequentiellen Transduktors • Zwei sequentielle Transduktoren, die in Serie angewendet werden • 1. Hälfte der Bi-Maschine verarbeitet Eingabe von links nach rechts • 2. Hälfte der Bi-Maschine verarbeitet Ausgabe der 1. Hälfte von rechts nach links Karttunen 2003:353

33. BiMaschine: Beispiel Nicht-sequentieller Transduktor 1. Hälfte 2. Hälfte x:a x1:a x:a 1 2 x2:b x:x2 x:a x:x1 2 1 1 0 0 0 x:b x1:b x:b x:x1 3 4 x2:a x:b x:x1 x:x1 x:x2 0 1 2 1 b:x1 b:x1 b:x2 1 0 1 0 Mohri, 1997:304

34. Vielen Dank Für das Aufspüren von Fehlern in früheren Versionen und für Verbesserungsvorschläge danke ich Simone Eberhardt, Arndt Faulhaber, Julian Kunkel, Katja Niemann, Ineta Sejane Versionen 22.05.2007, 17.05.2007, 23.06.2005,07.05.2005,05.05.2005, 15.01.03

35. Literatur • Allauzen, Cyril und Mehryar Mohri (2003). Efficient Algorithms for Testing the Twins Property. In: Journal of Automata, Languages and Combinatorics 8, 2, S. 117-144. • Choffrut, Christian (1978). Contributions à l’étude de quelques familles remarquables de fonctions rationelles. PhD thesis (thèse de doctorat d’État), Université Paris 7, LITP: Paris. • Choffrut, Christian (1977). Une charactérisation des fonctions séquentielles et des fonctions sous-séquentielles en tant que relations rationelles. In: Theoretical Computer Science, 5, S. 325-338. • Eberhard, Simone; Niemann, Katja und Ineta Sejane (2004). Determinisierung von Transduktoren. Seminarrreferat 28.06.2004. http://kontext.fraunhofer.de/haenelt/kurs/Referate/Eberhard_Niemann_Sejane_S2004/AlgorithmusMohri.ppt bzw. pdf • Haenelt, Karin (2004). Determinisierung von Transducern. Eine Erläuterung des Algorithmus von Mohri. http://kontext.fraunhofer.de/haenelt/kurs/folien/FstDetermMohri.pdf • Haenelt, Karin (2004). Operationen auf endlichen Automaten und Transduktoren. Definitionen, Algorithmen, Erläuterungen und Beispiele – eine Übersicht. http://kontext.fraunhofer.de/haenelt/kurs/folien/FSOperationenDef.pdf

36. Literatur • Karttunen, Lauri (2003): Finite-State Technology. In: Ruslan Mitkov (Hg.): The Oxford Handbook of Computational Linguistics. Oxford University Press. • Mohri, Mehryar (1997): Finite State Transducers in Language and Speech Processing. In: Computational Linguistics, 23, 2, 1997, S. 269-311. http://citeseer.nj.nec.com/mohri97finitestate.html • Mohri, Mehryar (1996): On some Applications of finite-state automata theory to natural language processing. In: Journal of Natural Language Egineering, 2, S. 1-20. • Mohri, Mehryar und Michael Riley (2002). Weighted Finite-State Transducers in Speech Recognition (Tutorial).Teil 1: http://www.research.att.com/~mohri/postscript/icslp.ps, Teil 2: http://www.research.att.com/~mohri/postscript/icslp-tut2.ps