Kohonen -Feature- Map Selbstorganisierende Neuronale Netze

1. Kohonen-Feature-MapSelbstorganisierende Neuronale Netze Achtung: Wir machen viele Vereinfachungen! Martin Reiche 2014

2. Leistung des Nervensystems • Das menschliche Gehirn empfängtNervenimpulse. (mit 100 MB/s) • Aus den eingehenden Impulsen erzeugt unser Gehirn die gesamte Wahrnehmung der Welt. (mit Hilfe des Gedächtnisses)UND • Das Gehirn sendetNervenimpulse.(mit 50 MB/sec) • Die ausgehenden Impulse steuern unseren Körper inklusive der Sprache. Martin Reiche 2014

3. Wirkungskreislauf bei der Verhaltenssteuerung Auge Neuronen Welt Gehirn Beine Martin Reiche 2014

4. Wichtige Leistung des Gehirns • Das Gehirn kann wiedererkennen d.h. einen Sinneseindruck einem Gedächtnisinhalt zuordnen. • Dazu ist es bei Geburt natürlich nicht in der Lage. (Simpler Grund: Die Beschaffenheit der Umwelt ist vor der Geburt ja nicht bekannt.) • Also muss das Gehirn diese Fähigkeit erwerben. Martin Reiche 2014

5. Konsequenz Wiedererkennen setzt Lernen voraus. Das wirft zwei Fragen auf: • Wie wird Gelerntes im Gehirn gespeichert? • Wie vollzieht sich der Lernvorgang? Diese Fragen wollen wir an einem Modell untersuchen. Martin Reiche 2014

6. Natürliches Neuron (schematisch) Martin Reiche 2014

7. t t t Vom Aktionspotenzial zur Erregung Erregung 1 0,5 0 Impulsfrequenz Martin Reiche 2014

8. W1 Σ W2 W3 Modell eines Neurons Synapsengewichte Output an andere Neuronen Input von anderen Neuronen Summation Schwellwertfunktion Martin Reiche 2014

9. Beispiel: Auge mit 3 Sehzellen Martin Reiche 2014

10. ? ? ? ? ? 0,8 0,8 0,8 ? ? ? ? Netzwerk zur Erkennung „Netzhaut“ „Gehirn“ Schwellwert-funktion Input-Neurone Output-Neurone Martin Reiche 2014

11. Bedeutsame Bilder A, B, C Wie müssen die Synapsengewichte gewählt werden, damit das Netzwerk die gewünschte Reaktion zeigt? (Bei allen anderen Mustern soll kein Output erfolgen) Martin Reiche 2014

12. 0,8 0,8 0,8 Lösung „Netzhaut“ „Gehirn“ Schwellen-funktion 0,5 -0,5 0,5 0,3 0,3 0,3 -0,3 1 -0,3 Input-Neurone Output-Neurone Martin Reiche 2014

13. Modell des Gedächtnisses Die Frage: Wie wird Gelerntes im Gehirn gespeichert? Beantworten wir: Das Gelernte steckt in den Synapsengewichten! Nächste Frage: Wie kommt es dahin? Martin Reiche 2014

14. Lernregel nach Hebb (1949) „Sind zwei miteinander verbundene Neuronen gleichzeitig aktiv,so verstärkt sich die synaptische Verbindung zwischen ihnen.“ Diese Regel konnte an natürlichen Neuronen experimentell nachgewiesen werden! Martin Reiche 2014

15. Kohonen-Netzwerk Martin Reiche 2014

16. Kohonen-Netzwerk Kohonen-Schicht (rot) Eingangsschicht (blau) Martin Reiche 2014

17. Lernen im Kohonen-Netzwerk • Man definiert Trainingsmuster, die wiedererkannt werden sollen. • Diese Muster werden wiederholt auf die Eingangsschicht gelegt. • Nach jedem Schritt wird die Hebb‘sche Lernregel angewendet. Martin Reiche 2014

18. Lernen in NeuroLab Start Synapsengewichte auf Zufallswerte setzen Ein Trainingsmuster zufällig wählen Neuron mit maximaler Erregung = gewinnendes Neuron (GN) finden Synapsengewichte des GN sowie seiner Nachbarn gemäß der Hebb‘schen Regel etwas an das Trainingsmuster anpassen Lernrate und Kopplungsradius verringern Martin Reiche 2014

19. Kohonen-Netzwerk • Die Eingangsneuronen stehen in keinem Nachbarschaftsverhältnis zueinander. Ihre Anordnung ist bedeutungslos. • Benachbarte Neuronen der Kohonen-Schicht dagegen erregen sich gegenseitig. • Diese Erregung nimmt mit der Entfernung ab. („Mexican Hat“) • Modellvereinfachung: Letztere 2 Punkte treffen nur für den Lernvorgang zu. (Der erste Punkt gilt immer) Martin Reiche 2014

20. Lernen in NeuroLabC# Quellcode Für alle Neuronen der Kohonenschicht und alle Eingabeneuronen i,j: w[i,j] += hat * eps * (iL.eNorm[i,j] - w[i,j]); Wirkung: Die Synapsengewichte w des Neurons werden ein Stück in Richtung des Eingabemusters iL.eNorm verschoben. Martin Reiche 2014

21. Lernen in NeuroNet Die Neuronen der Kohonenschichtorganisieren sich: • Einzelne Neuronen werden durch bestimmte Eingangsmuster erregt, sie repräsentieren diese. • Ähnliche Eingangsmuster erregen benachbarte Bereiche. • Es entstehen Karten. Martin Reiche 2014

22. Lernen in NeuroNet: somatotopische Karte (1) Eingangsversuch: Beschreibe den Handteller deines Nachbarn - der die Augen geschlossen hält - mit den Buchstaben eines Wortes. Er wird dir das Wort sagen können. Was muss da funktioniert haben? Im Kopf muss eine Abbildung des Handtellersexistieren, von der das Gehirn die Buchstaben ablesen kann. Diese Abbildung kann aber von Geburt an nicht existieren, denn dazu müsste eine exakte „Verdrahtung“ der afferenten Neurone erfolgen. Die gibt es nicht. Martin Reiche 2014

23. Lernen in NeuroNet: somatotopische Karte (2) Aber was man nicht kann, kann man ja lernen! Das Gehirn macht sich die Tatsachen zunutze, dass typischerweise immer mehrere Sensoren zeitgleich aktiviert werden. Das dient dem Gehirn als Hinweis auf Nachbarschaft. So puzzelt sich das Gehirn im Laufe tausender Berührungen an der Körper-oberfläche eine Karte zusammen, die sogenannte somatotopische Karte. Ähnliches geschieht auch beim Sehen und Hören (retinotopische und tonotopische Karten) Martin Reiche 2014

24. Lernen in NeuroNet: somatotopische Karte (3) Eine 5x5 Eingangsschicht wird mit einer 10x10 Kohonenschicht verbunden. Die Neuronen der Eingangsschicht sollen den Tastsinn von 5x5 benachbarten Hautbereichen, z.B. des Handtellers darstellen. Nun „berühren“ wir den „Handteller“ mit bestimmten Mustern und erwarten, dass sich in der Kohonenschicht eine somatotopische Karte einstellt. Martin Reiche 2014

25. Lernen in NeuroNet: somatotopische Karte (4) Der Eingangsschicht werden tausende Male folgende Muster präsentiert: Martin Reiche 2014

26. Lernen in NeuroNet: somatotopische Karte (5) Nach der Lernphase werden die Eingangsneuronen wie folgt abgebildet: e y a e u y a u Martin Reiche 2014