Konnektionismus 11. Sitzung (08.01.2009)

1. Konnektionismus11. Sitzung (08.01.2009) apl. Prof. Dr. Ulrich Schade

2. Inhalt • Methodologie • Techniken • Einleitung und historischer Rückblick • Spreading Activation • Error Backpropagation • Kohonen-Netze • Anwendungen • Sprachrezeption / Spreading Activation • Sprachproduktion / Spreading Activation • Spracherwerb (?) / Error-Backpropagation (+) 4 „falsche Anwendungen“

3. 3.3 Error-Backpropagation für Spracherwerb Zur Erinnerung: Beim Error-Backprpagation nutzt man dreischichtige Netze: Jeder Knoten der Eingabeschicht ist auf jeden Knoten der Zwischenschicht verbunden, und jeder Knoten der Zwischenschicht ist auf jeden Knoten der Ausgabeschicht verbunden.

4. 3.3 Error-Backpropagation für Spracherwerb Zur Erinnerung: Ein Inputmuster wird angelegt und dazu wird das Outputmuster berechnet. Beim Training wird aus der Abweichung des resultierenden Outputs vom gewünschten Output ein Fehler berechnet, mit dessen Hilfe dann alle Verbindungen adjustiert werden.

5. 3.3 Error-Backpropagation für Spracherwerb Zur Erinnerung: Das Netz arbeitet „parallel“ und theoretisch ohne einen Zeitverlauf. Je nach Problem sind aber die realen Zeiten für das Training sehr lang, da für jedes Anlegen eines jeden Trainingsmusters alle Leitungen adjustiert werden.

6. 3.3.1 Error-Backpropagation für Spracherwerb Klassisches Beispiel: Erlernen von Vergangenheitsformen des Englischen Rumelhart, D. E. & McClelland, J. L. (1986). On learning the past tenses of English verbs. In J.L. McClelland, D.E. Rumelhart, & the PDP Research Group (Eds.), Parallel Distributed Processing, Volume 2. Cambridge, MA: Bradford Books/MIT Press.

7. 3.3.1 Error-Backpropagation für Spracherwerb Klassisches Beispiel: Erlernen von Vergangenheitsformen des Englischen Eingabeschicht: Repräsentation der Verbstammform (go) Ausgabeschicht: Repräsentation der Vergangenheitsform (went)

8. 3.3.1 Error-Backpropagation für Spracherwerb Klassisches Beispiel: Erlernen von Vergangenheitsformen des Englischen Ergebnis: Es gibt drei Lernphasen: – korrektes Erlernen der häufigen Formen (go – went) – Übergeneralisierungsphase (go – goed / go – wented) – Korrektur der Übergeneralisierung (go – went)

9. 3.3.1 Error-Backpropagation für Spracherwerb Klassisches Beispiel: Erlernen von Vergangenheitsformen des Englischen Problem: Das Originalnetz benutzte Wickelfeatures.  sehr viele Knoten, unklare Repräsentation

10. 3.3.1 Error-Backpropagation für Spracherwerb Das „past tense“-Modell von Rumelhart und McCelland ist in der Literatur ausführlich und kontrovers diskutiert worden, weil es die Frage aufwirft, ob und in welcher Art der Mensch Regeln repräsentiert hat („Does the mind have rules in anything more than in a descriptive sense?“). Entsprechend gibt es auch zahlreiche Nachimplementierungen und Varianten des Modells, siehe dazu Abschnitt 3.5 in Marcus, G.F. (2001). The Algebraic Mind. Cambridge, MA: MIT Press.

11. 3.3.1 Error-Backpropagation für Spracherwerb Vorschlag für eine Hausarbeit: Nachimplementierung des Ansatzes mit einem rekurrenten Netz (entweder auf der Basis von Buchstaben oder auf der Basis von Phonemen) Ausgabeschicht Zwischenschicht copy Eingabeschicht Kontext

12. 3.3.2 Error-Backpropagation für Spracherwerb Zweiter Vorschlag für eine Hausarbeit: Zuordnung der Phoneme zu Merkmalsbündel Eingabeschicht: Repräsentation der phonologischen Merkmale (je nach Theorie) Ausgabeschicht: Repräsentation der Phoneme

13. 3.3.2 Error-Backpropagation für Spracherwerb Zweiter Vorschlag für eine Hausarbeit: Zuordnung der Phoneme zu Merkmalsbündel Vorteil: einfaches Back-Propagation-Netzwerk (kein rekurrentes Netzwerk) Nachteil: keine Verallgemeinerung beim Lernen ?: Gibt es Knoten der verdeckten Schicht, die sich auf die Unterscheidung zwischen Vokalen und Konsonanten spezialisieren?

14. 3.3.3 Error-Backpropagation für Spracherwerb Dritter Vorschlag für eine Hausarbeit: ein „Wissens“-Netzwerk (normales Back-Prop / „parallel“): Inputschicht (zwei Anteile): Entitäten und Relationen Outputschicht (vier Anteile): Entitäten, Qualitäten, Bestandteile und Aktionen

15. 3.3.3 Error-Backpropagation für Spracherwerb Dritter Vorschlag für eine Hausarbeit: ein „Wissens“-Netzwerk (normales Back-Prop / „parallel“): nach: Rumelhart, D.E. & Todd, P.M. (1993). Learning and connectionist representations. In: Meyer, D.E. & Kornblum, S. (Eds.), Attention and Performance XIV. Cambridge, MA: MIT Press.

16. 3.3.3 Error-Backpropagation für Spracherwerb Dritter Vorschlag für eine Hausarbeit: ein „Wissens“-Netzwerk (normales Back-Prop / „parallel“): Entitäten: lebendiges Objekt, Pflanze, Tier, Vogel, Fisch, Baum, Blume, Eiche, Pinie, Rose, Tulpe, Rotkehlchen, Kanarienvogel, Lachs, Hering Relationen: kann, is-a, hat (hat als Teil), ist (hat als Qualität) Teile: Rinde, Zweig, Blüte, Flügel, Feder, Schuppe, Kiemen, Blatt, Wurzel, Haut Qualität: schön, lebendig, grün, rot, gelb Aktion: wachsen, sich bewegen, schwimmen, fliegen, schwingen

17. 3.3.3 Error-Backpropagation für Spracherwerb Dritter Vorschlag für eine Hausarbeit: ein „Wissens“-Netzwerk (normales Back-Prop / „parallel“): Das Modell soll auf Eingaben wie „Vogel“ + „kann“ mit „fliegen“ („sich bewegen“ ...) antworten. „Rotkehlchen“ + „is-a“  „Vogel“, „Tier“, „lebendiges Objekt“ „Fisch“ + „hat“  „Schuppe“, „Kieme“ „Rose“ + „ist“  „rot“ (?) usw.

18. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing nach Mayberry, M.R. III & Miikkulainen, R. (1999). SARDSRN: A Neural Network Shift-Reduce Parser. 16th Annual Conference on Artificial Intelligence (IJCAI-99). Stockholm, Schweden. Ein wichtiger Aspekt bei dieser Arbeit ist „binding“. Das stellt ein Problem dar, auf das wir heute (noch) nicht näher eingehen werden.

19. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Eine Ausprägung des „Binding“-Problems: Wir verarbeiten Sätze wie Angela isst die Suppe mit dem Löffel. Dietmar isst die Suppe mit Appetit. Guido isst Suppe mit seinem Freund. und wollen wissen, welche semantische Rolle jeweils die mit „mit“ beginnende Präpositionalphrase erfüllt.

20. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Eine Ausprägung des „Binding“-Problems: Das ist natürlich erst dann ein Problem, wenn wir die Vorstellung haben, dass wir zu jedem Satzteil dessen thematische Rolle abfragen können. Parse: Angela isst die Suppe mit dem Löffel. Bindungen: Angela  Agens isst  Relation die Suppe  Thema mit dem Löffel  Instrument

21. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Beginnen wir mit dem Parsing. Welche Vorteile bietet überhaupt ein konnektionistisches Parsing? robust (gegen Verrauschen, unvollständige Eingaben) „constraint-based“ verbindet syntaktische, semantische und thematische Einschränkungen für dieAuswertung „läsionierbar“ Modellierung von Aphasie und Dyslexie

22. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing SARDSRN ist ein konnektionistischer Shift-Reduce Parser Shift-Reduce Parser nutzen einen Puffer (einen „Stack“). In diesen Puffer wird jeweils ein Wort eingelesen. Danach wird der Inhalt des Puffers so weit reduziert wie möglich. Ist eine Reduktion nicht mehr möglich, wird das nächste Wort eingelesen. Ist kein Wort mehr vorhanden, muss es möglich sein, den Puffer vollständig zu reduzieren.

23. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Shift-Reduce Parsing Wort vorhanden? Reduktion möglich? nein Erfolg ? nein Start ja ja Wort einlesen Reduktion Reduktion möglich? nein Reduktion ja

24. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Shift-Reduce Parsing Stack

25. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing s(np(name(Angela)) vp(v(mag) np(det(die) adj(leckeren) n(Beeren))))

26. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing s(np(name(Angela)) vp(v(mag) np(det(die) adj(leckeren) n(Beeren)))) „moderne“ Lösung dafür (XML): <s> <np> <name>angela</name> </np> <vp> <v>mag</v> <np> <det>die</det> <adj>leckeren</adj> <n>beeren</n> </np> </vp> </s>

27. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Prolog-Lösung: (klassisch, nicht konnektionistisch) parse(E, [Wort|WortL], Stack):- reduce(Stack,NewStack), parse(E, WortL, [Wort|NewStack]). parse(E, [ ],Stack):- reduce(Stack, [E]). reduce(Stack,NewStack):- reduce1(Stack, IStack), reduce(IStack, Stack). reduce(Stack, Stack). reduce1([angela|Rest],[name(angela)|Rest]). ... reduce1([vp(VP),np(np)],[s(np(NP),vp(VP)]).

28. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Shift-Reduce Parsing in einem rekurrenten Netz (SRN) Die Inputschicht repräsentiert die benutzten Wörter. Dabei wird ein Wort nach dem anderen eingelesen und propagiert (shift). Outputschicht Inputschicht Zwischen- schicht Kopie der Zwischen- schicht Kopie

29. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Shift-Reduce Parsing in einem rekurrenten Netz (SRN) Die Outputschicht repräsentiert die geparste Struktur. Die Outputschicht Ist eigentlich ein selbstassoziatives Netzwerk. Outputschicht Inputschicht Zwischen- schicht Kopie der Zwischen- schicht Kopie

30. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Shift-Reduce Parsing in einem rekurrenten Netz (SRN) Ein selbstassoziatives Netzwerk ist ein zwei- (Perceptron) oder dreischichtiges (BackProp) Netzwerk, das versucht, seine Repräsentation zu „reparieren“. Die „reduce“-Schritte finden also in dem selbstassoziativen Netzwerk der Output-schicht statt. Sobald die Outputschicht stabil bleibt, wird in der Inputschicht das nächste Wort eingelesen. Outputschicht Zwischen- schicht

31. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Shift-Reduce Parsing in einem rekurrenten Netz (SRN) Genauere Angaben in: Miikkulainen, R. (1996). Subsymbolic case-role analysis of sentences with embedded sub clauses. Cognitive Science, 20, 47-73.

32. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Shift-Reduce Parsing in einem rekurrenten Netz (SRN) Ergebnisse (positiv): Das Netz kann Sätze mit einem eingebetteten Relativsatz – The boy who liked the girl chased the cat. – parsen. Beim Verrauschen der Outputschicht arbeitet das Netz „kognitiv plausibel“: Das Ergebnis ist häufiger korrekt, wenn die Rollen semantisch deutlich verteilt sind (The boy who liked the book chased the cat.). Ist das Ergebnis falsch, so entspricht das Ergebnis einem Satz in dem Wörter vertauscht sind (The girl who liked the boy chased the cat.).

33. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Shift-Reduce Parsing in einem rekurrenten Netz (SRN) Ergebnisse (negativ): Es ist nicht möglich, Sätze korrekt zu parsen, in denen Wörter von einander abhängen, die im Satz weit von einander entfernt sind, weil das Wissen über die vorausgehenden Wörter in einem SRN mit zunehmenden Abstand schnell verblasst. Wird etwa der Relativsatz zu lang, so vergisst das Netz inhaltliche Informationen (etwa über das Bezugswort). Es erzeugt dann als Ergebnis die korrekte Struktur mit falschem Inhalt (The boy who liked the pretty girl so well chased the cat.  The dog who liked ...).

34. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing SARDSRN soll dieses Problem lösen. Dies geschieht dadurch, dass der Inputschicht eine SOM zugeordnet wird: Inputschicht Zwischen- schicht SOM Kopie der Zwischen- schicht Kopie

35. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing In der SOM reagiert ein Knoten maximal auf das jeweils eingegebene Wort. Dieser Knoten repräsentiert in der Folge dieses Wort. Für die weiteren Wörter steht dieser Knoten auch nicht mehr zur Verfügung. Inputschicht Zwischen- schicht SOM Kopie der Zwischen- schicht Kopie

36. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Der „SOM-Wortknoten“ erhält zunächst die Aktivation „1.0“, die im Laufe des weiteren Parsingprozesses langsam zerfällt. Auf diese Weise ist das Wort (und insbesondere dessen Bedeutung) länger präsent. Inputschicht Zwischen- schicht SOM Kopie der Zwischen- schicht Kopie

37. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing SARDSRN nutzt eine sehr komplexe Architektur, in der mehrere Typen von konnektionistischen Netzen eingebunden sind, um die erwünschten Effekte zu erzielen: • ein SRN, • ein SOM und • ein autoassoziatives Netz. Interessant ist SARDSRN vor allem wegen seiner Fähigkeit, mit Verrauschung und Läsionen umzugehen.

38. 3.3.4 Error-Backpropagation gemeinsam mit einem Kohonen-Netz für Parsing Interessant ist SARDSRN vor allem wegen seiner Fähigkeit, mit Verrauschung und Läsionen umzugehen. Idee: Ein durch Läsionen gestörtes Netz wird einem erneuten Lernen unterworfen. Dabei wird untersucht, welche Lernsets am effektivsten sind, um die Fehler, die aufgrund der Läsion entstehen, wieder zu vermeiden.  Simulation von Therapie nach Aphasie oder Dyslexie