Neuronale Netze Die Lernmatrix nach Karl Steinbuch

1. Neuronale NetzeDie Lernmatrix nachKarl Steinbuch Simon Wehner Fachbereich Physik Nanowissenschaften Dozent: Prof. Dr. Buck Sommersemester 2010

2. 0. Gliederung • 1. Kurzbiographie Steinbuch • 2. Einleitung • 3. Die Lernmatrix • 3.1 Matrixelemente • 3.2 Neuronenschicht • 3.3 Schichtung • 4. Lernalgorithmus • 5. Kann-Phase • 6. Rückkopplung

3. 1. Kurzbiographie Steinbuch • Karl Steinbuch • geb. am 15. Juni 1917 in Stuttgart • war deutscher Kybernetiker, Nachrichtentechniker und Informationstheoretiker • Pionier der künstlichen neuronalen Netze • Mitbegründer der künstlichen Intelligenz

4. 1. Kurzbiographie Steinbuch • war langjähriger Direktor der Technischen Hochschule Karlsruhe • die Ausprägung des Begriffs „Informatik“ geht auf Steinbuch zurück (1957) • gest. am 4. Juni 2005 in Ettlingen

5. 2. Einleitung • künstliche neuronale Netze (KNN) werden weltweit erforscht, entwickelt und eingesetzt • die ersten brauchbaren KNN erfand und beschrieb Steinbuch in der Zeitschrift „Kybernetik“ unter dem Titel „Die Lernmatrix“ (1961) • allerdings bekam Steinbuchs Lernmatrix zunächst wenig Beachtung

6. 2. Einleitung • Blütezeit der künstlichen neuronalen Netze: 1955 - 1969 • 1969: Verdikt von Minsky und Papert • Ruhephase 1969 – 1985 • Renaissance 1985 - heute

7. 3. Die Lernmatrix • im heutigen Sprachgebrauch würde sie wohl „Das adaptive künstliche neuronale Netzwerk“ heißen • elektronisches System zur parallelen Verarbeitung analoger oder digitaler Datenmengen • Vorbild: biologische Systeme (natürliche neuronale Netze) • mit diesem System werden die Begrenzungen überwunden, die einem Vorgängermodell („Perceptron“ nach Rosenblatt) noch anhafteten

8. 3. Die Lernmatrix • originale Darstellung der Lernmatrix nach Steinbuch • Kreisförmige Elemente an Kreuzungspunkten • elektronisches „Auge“ wandelt Gestalten in el. Signale um (Eigenschaften) • Ausgangssignale werden nach links abgegeben (Bedeutungen) • Satz von Eigenschaften führt zu Satz von Bedeutungen Prinzip der Lernmatrix

9. 3. Die Lernmatrix 3.1 Matrixelemente • neu an Steinbuchs Lernmatrix: als Matrixelemente werden nicht nur Dioden mit der bekannten Kennlinie zugelassen, sondern auch Elemente mit ganz anderen Kennlinien • d.h., dass sich die Ausgangssignale aus einer Summe von Strömen ergeben, wobei jeder Strom aus dem Eingangssignal e und dem zugehörigen Matrixelement besteht • realisiert werden die Matrixelemente durch veränderbare Leitwerte

10. 3. Die Lernmatrix 3.1 Matrixelemente • a: Realisierung der Matrixelemente durch veränderbare Leitwerte • b: einige Kennlinien: • α: lineare Widerstände • β: Elemente mit abgerundetem Treppenstufenverlauf • γ: Elemente mit Treppenstufen-charakteristik

11. 3. Die Lernmatrix 3.1 Matrixelemente • (nichtlineare) Leitwerte befinden sich am Eingang und sind individuell einstellbar • jede Zeile der Matrix wird zusammengefasst zu einem „Neuron“ • vom „Neuron“ geht es direkt zum Ausgang b modernere Darstellung neuronaler Netze

12. 3. Die Lernmatrix 3.2 als Neuronenschicht Darstellung der Lernmatrix als Neuronenschicht

13. 3. Lernmatrix 3.3 Schichtung • Grundidee: die Bedeutungen dienen als neue Eigenschaften • die neuen Eigenschaften werden jeder Zeile einer neuen Matrix zugeführt • erhalten neuen Satz an Bedeutungen • diese können wiederum als neue Eigenschaften interpretiert werden • usw.

14. 3. Die Lernmatrix 3.3 Schichtung Schichtung von Lernmatrizen Neuronendarstellung

15. 4. Der Lernalgorithmus • dem System werden Eigenschaften e und Bedeutungen b zugeführt • Matrixelemente werden in ihren Werten verändert • nach einer Vielzahl solcher Lernvorgänge ergibt sich eine ausreichende Veränderung der Matrixelemente, damit jedem Eigenschaftssatz die jeweilige Bedeutung ausgegeben wird • komplementären Eigenschaftssignale e und ē repräsentieren fördernde und hemmende Einflüsse

16. 4. Der Lernalgorithmus • erster Nutzen und Anwendung: mit ausreichendem Arbeitsaufwand ließen sich die vorgeschlagenen Systeme in Hardware realisieren • das war vor allen Dingen ein Vorteil, wenn man bedenkt, dass es die heutzutage allseits gegenwärtigen Computer noch nicht gab

17. 5. Die Kann-Phase • nach Abschluss der Lernphase ist das Steinbuch´sche System einsatzbereit • System befindet sich in der „Kann-Phase“ • Lernmatrix Bedeutungsmatrix (reine Begriffsunterscheidung) • Matrizen haben die nicht nur Fähigkeit, erlernte Muster wiederzuerkennen, sondern sie erkennen, wenn ähnliche Muster auftauchen • Forschung bis heute

18. 5. Die Kann-Phase Prinzip der Bedeutungsmatrix

19. 6. Rückkopplung • Untersuchung des Verhaltens des Systems, wenn der Ausgang wieder mit dem Eingang verbunden wird Neuronenschicht mit Rückkopplung

20. 6. Rückkopplung • rückgekoppelte Schaltung hat wieder Ein- und Ausgänge rückgekoppelte Schaltung in Matrixform

21. 6. Rückkopplung • Anwendung: selbstprüfendes und selbstreparierendes System • zusätzliche Information über den Zustand des Systems wird gespeichert selbstprüfendes und selbstreparierendes System

22. Literatur • Hilberg, Wolfgang (1995). Karl Steinbuch, ein zu Unrecht vergessener Pionier der künstlichen neuronalen Systeme • Künstliches neuronales Netz, Online unter: http://de.wikipedia.org/wiki/Künstliches_neuronales_Netz. Stand: 8.7.2010 • Karl Steinbuch, Online unter: http://de.wikipedia.org/wiki/Karl_Steinbuch. Stand: 8.7.2010 • Karl Steinbuch, Online unter: http://xputers.informatik.uni-kl.de/papers/publications/karl-steinbuch.html. Stand: 8.7.2010 • http://www.cyranos.ch/doppel32.htm. Stand: 8.7.2010

23. Vielen Dank für dieAufmerksamkeit