Konnektionismus

1. Konnektionismus apl. Prof. Dr. Ulrich Schade

2. 0 Formalia Vorlesung Scheine • Teilnahmeschein: • Bitte nicht öfter als zweimal fehlen! • Protokoll von einer Sitzung • Benoteter Leistungsschein • schriftliche Hausarbeit (Programm plus dessen Beschreibung)

3. 0 Formalia Inhalt • Methodologie • Techniken • Einleitung und historischer Rückblick • Spreading Activation • Error Backpropagation • Kohonen-Netze • Anwendungen (auf Fragestellungen der Sprachverarbeitung)

4. 1 Methodologie

5. 1 Methodologie Anmerkungen zur Computerlinguistik Erste Funktion: Aufbau eines funktionierenden Systems Gütekriterium: Das System leistet das Gewünschte. Zweite Funktion: Modellierung eines kognitiven Prozesses Gütekriterium: Das Modell liefert Erkenntnisgewinn.

6. 1 Methodologie Der methodologische Zyklus Phänomene / Daten Intuition Evaluation Modell Experiment Vorhersagen Theorie Simulation

7. 1 Methodologie Anmerkungen zum methodologischen Zyklus Aus der Beobachtung von Phänomenen/Daten lassen sich Modelle ableiten, welche möglichst zu den beobachteten Phänomenen und Daten passen sollten.

8. 1 Methodologie Anmerkungen zum methodologischen Zyklus Komplexe Modelle müssen mit Simulationen auf ihre interne Widerspruchsfreiheit (Kohärenz) hin überprüft werden. Erst dann gilt: “Whether or not it is the right theory depends on whether it fits the facts, but at least it has succeeded in avoiding vagueness, confusion, and the mystical incantation of empty verbal formulae.” Johnson-Laird (1988, p. 26): The Computer and the Mind.

9. 1 Methodologie Anmerkungen zum methodologischen Zyklus Simulationen entsprechen nicht in allen Aspekten ihren Modellen. Die Analyse der Modelle und der Simulationsergebnisse führt zu (unerwarteten) Vorhersagen, die man experimentell testen sollte.

10. 1 Methodologie Anmerkungen zum methodologischen Zyklus Experimente bilden den Anker zur Wirklichkeit. Sie erlauben die Evaluation des Modells an der Wirklichkeit. Aus ihnen ergeben sich neue Daten zum Gegenstandsbereich und damit „Erkenntnisgewinn“.

11. 1 Methodologie Anmerkungen zum methodologischen Zyklus Aber: Experimente „bestätigen“ oft nur vorgefasste Meinungen. Die Messung beeinflusst das Ergebnis. Experimente benötigen den „Rückhalt“ von Modellen, möglichst von konkurrierenden Modellen. Modelle müssen die Experimente „lenken“.

12. 1 Methodologie Anmerkungen zum methodologischen Zyklus zur Güte von Modellen „Wahrheit“ Falsifizierbarkeit Einfachheit Generalisierbarkeit Erklärungsadäquatheit Ein Modell ist keine Theorie. Gefordert ist Beschreibungsadäquatheit. „Güterabwägung“ Ziel: „Bewährung“ des Modells

13. 1 Methodologie Anmerkungen zum methodologischen Zyklus zum Begriff der „Bewährung“ nach Karl Popper (1935): Logik der Forschung • Aus dem Modell M sowie aus allgemein akzeptierten Annahmen H lässt sich P ableiten. • P ist nicht bereits allgemein akzeptiert und nicht aus H allein ableitbar. • Es gibt kein bereits akzeptiertes Modell L, für das a) gilt. • Im Gegenteil: Aus allgemein akzeptierten Modellen und H ist P ableitbar.

14. 1 Methodologie Anmerkungen zum methodologischen Zyklus Das Ziel von Kognitionswissenschaft ist Erkenntnisgewinn zum Gegenstandsbereich (für uns: Sprachverarbeitung). Existieren konkurrierende Modelle (aus einem ist P, aus dem anderen Pableitbar), so ist dies eine besonders „gewinnbringende“ Situation. Ein entsprechendes Experiment kann dann die Entscheidung bringen.

15. 1 Hypothesenbildung • Grundlage eines Experiments ist eine Hypothese. • Hypothese: Vorläufige (vermutete) Antworten, die Forscher auf ihre Fragen geben, nennt man Hypothesen. Die Überprüfung eines spezifischen Teils dieser Hypothesen, nämlich kausaler Hypothesen, ist Gegenstand des Experiments. Hussy/Jain (2002:33) • Hypothesen müssen also empirisch überprüfbar sein. Operationalisierung

16. 1 Techniken • Einleitung und Historischer Rückblick • Spreading Activation • Error-Backpropagation • Kohonen-Netze

17. 1 Einleitung und Historischer Rückblick Konnektionismus (geleitet durch die Vorstellung neuronaler Netze)  Systemaufbau bzw. Modellbildung mittels konnektionistischer Netzwerke • Knoten • Verbindungen • Aktivierung

18. 1 Einleitung und Historischer Rückblick Konnektionismus ist die Alternative zu regelgeleiteten Systemen bzw. Modellen erster Ansatz: das Perzeptron Rosenblatt, Frank (1958): The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Reviews 65, 386-408.

19. 1 Einleitung und Historischer Rückblick Das Perzeptron ist eine Umsetzung (bzw. Erweiterung) der Hebb‘schen Regel. Hebb, D. (1949): Organization of Behaviour. New York: Wiley. Danach erfolgt Lernen durch eine Verstärkung einer Verbindung zwischen zwei Neuronen, sofern diese beide gleichzeitig aktiv sind.

20. 1 Einleitung und Historischer Rückblick das Perzeptron: Aufbau zwei Schichten von Knoten: Eingabeschicht und Ausgabeschicht Verbindungen: Jeder Knoten der Eingabeschicht ist auf jeden Knoten der Ausgabeschicht verbunden.

21. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Die Stärke der Verbindungen wird ganz zu Beginn per Zufall festgesetzt. Beim Lernen (Training) werden Muster in der Eingabeschicht angelegt.

22. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Dann wird das Ergebnis (zu dem angelegten Muster) in der Ausgabeschicht berechnet: oj = Σwij ei mit oj Aktivierung des Ausgabeknotens j ei Aktivierung des Eingabeknotens i wij Stärke der Verbindung von i nach j

23. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Das Ergebnis ist das Muster, das das Perzeptron zu dem Eingabemuster assoziiert. Um zu lernen, wird dann das erzielte Ergebnismuster mit dem eigentlich gewünschten Ergebnismuster verglichen. Δoj = ojgewünscht – ojtatsächlich (Fehler)

24. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Aus dem Fehler wird eine Änderung der Leitungsstärken berechnet: wij (neu) = wij (alt) + Δwij Δwij = α· Δoj· ei (α ist die Lernrate: 0 ≤ α ≤ 1)

25. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Aus dem Fehler wird eine Änderung der Leitungsstärken berechnet: wij (neu) = wij (alt) + Δwij Δwij = α· Δoj· ei (α ist die Lernrate: 0 ≤ α ≤ 1) positive Änderung: Δoj positiv

26. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Aus dem Fehler wird eine Änderung der Leitungsstärken berechnet: wij (neu) = wij (alt) + Δwij Δwij = α· Δoj· ei (α ist die Lernrate: 0 ≤ α ≤ 1) negative Änderung Δoj negativ

27. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Aus dem Fehler wird eine Änderung der Leitungsstärken berechnet: wij (neu) = wij (alt) + Δwij Δwij = α· Δoj· ei (α ist die Lernrate: 0 ≤ α ≤ 1) keine Änderung ei = 0

28. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Aus dem Fehler wird eine Änderung der Leitungsstärken berechnet: wij (neu) = wij (alt) + Δwij Δwij = α· Δoj· ei (α ist die Lernrate: 0 ≤ α ≤ 1) keine Änderung Δoj = 0

29. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Objekte Knoten, Verbindungen, Muster Eingabeknoten Ausgabeknoten Trainingsmuster Testmuster

30. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Objekte Attribut: Name (Sting, eindeutig) Knoten Attribut: Aktivierungswert (Float) Ausgabeknoten Attribute: Zielwert (Float), Fehler (Float)

31. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Verbindung Attribute: aktuelle Verbindungsstärke (Float) neue Verbindungsstärke (Float) Fehler (Float)

32. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Muster Attribute: Liste der Aktivierungsstärken der Eingabeknoten Liste der gewünschten, dazu assoziierten Aktivierungsstärken der Ausgabeknoten (jeweils Listen von Floats)

33. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Programmablauf (Lernzyklus) • wähle ein Trainingsmuster; • lege das Muster an den Eingabeknoten an; • berechne das Ergebnismuster; • berechne die Fehler der Ausgabeknoten; • berechne die Änderungen der Verbindungsstärken; • ändere die Verbindungsstärken;

34. 1 Einleitung und Historischer Rückblick das Perzeptron: Funktion Programmablauf: Training Lernzyklus Abbruch ? Test Verringerung der Lernrate ?

35. 1 Einleitung und Historischer Rückblick das Perzeptron:Problem Aufgabe: Erlerne das „Entweder – Oder“: Muster A R B

36. 1 Einleitung und Historischer Rückblick das Perzeptron: Problem Aufgabe: Erlerne das „Entweder – Oder“. Ergebnis: Das „Entweder – Oder“ kann durch das Perzeptron nicht erlernt werden. Minsky, Marvin L. & Seymore A. Papert (1969). Perceptrons. Cambridge, MA: MIT-Press. A R B