Wissensextraktion mittels künstlicher neuronaler Netze Wettbewerbslernen

1. Wismar Business School Wissensextraktion mittelskünstlicher neuronaler NetzeWettbewerbslernen Uwe Lämmel www.wi.hs-wismar.de/~laemmel Uwe.Laemmel@hs-wismar.de

2. Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie Inhalt

3. N Neuronen,Gewinnerneuron nx k-dim. Eingabevektor x Wettbewerbslernen • Aktivierung eines Neurons nicht nur von Eingabe abhängig • Vergleich mehrere Neuronen notwendig • Netzausgabe durch ein Gewinner-Neuron • Architektur: • Ziel:ähnliche Eingabe aufbenachbarte Neuronen abbilden

4. Wettbewerbslernen: Voronoi-Mosaik • Voronoi-Tesselation • Voronoi-Mengen eines Neurons s: Menge aller Punkte, für die das Neuron s das Gewinner-Neuron ist Referenzvektor Ähnliche Eingaben auf benachbarte Neuronen abbilden

5. Netze und Verfahren Architektur • variabel • Wachsende Neuronale Gase • Wachsende Zellstrukturen • fest • SOM • Neuronales Gas • LBG Lernverfahren • hart – nur Gewinner–Neuron wird adaptiert: • LBG • weich – auch andere Neuronen modifizieren: • SOM, • Neuronale Gase, • wachsende Zellstrukturen

6. Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie Inhalt

7. Selbstorganisierende Karten (SOM) • Fähigkeit des Gehirns zur Selbstorganisation nachbilden • räumliche Lage eines Neurons im Kopf bedeutend (wurde bisher vernachlässigt) • existieren Beziehungen räumlicher Art zur Umgebung • Kohonen Feature Map •  zweischichtiger Muster-Assoziator • Eingabe-Schicht voll vernetzt mit Karten-Schicht • Neuronen der Karten-Schicht untereinander voll vernetzt (virtuell)

8. f ai Ausgabe B Eingabemenge A Clusterung • Ziel: Alle Eingaben einer Klasse werden auf genau ein Neuron abgebildet • Problem: Klassifikation im Eingaberaum allgemein nicht bekannt. • Netz nimmt eine Clusterung vor.

9. Winner Neuron Input-Layer Kohonen- Layer Gewinner-Neuron

10. Lernen in SOM • Wahl einer Eingabe kzufällig aus dem Problemraum • Das Neuron z mit maximaler Erregung wird bestimmt • Anpassung der Gewichtsvektoren in der Nachbarschaft von z: Neuronen i innerhalb eines Radius r von z. • Stopp – falls gewünschte Zahl von Lernzyklen erreicht, Sonst – Lernfaktor und Radius verkleinern und mit 1. fortfahren.

11. Erregungszentrum • Prinzip: Neuronen (-gruppe) mit starker Erregung hemmen Gruppen in der Umgebung, um eigene Wirksamkeit zu erhöhen! • Problem: Finden des Erregungszentrums – 2 Möglichkeiten: • Neuron j mit maximalen Nettoinput • Neuron j, dessen Gewichtsvektor wjder Eingabe am ähnlichsten ist (euklidischer Abstand):z:  x - wz= minj x - wj

12. Mexican-Hat-Annäherung 1 0,5 0 0 1 2 3 -3 -2 -1 Anpassen der Gewichte • Gewichte zu Neuronen innerhalb eines Radius r werden erhöht: • Grad der Beeinflussung durch den räumlichen Abstand zum Erregungszentrum? • Lernrate (t) sowie • Radius r(t) laufen gegen null • Kohonen benutzt Funktion :

13. input pattern mp Wj Kohonen layer SOM Training – Summary • find the winner neuron zfor an input pattern p(minimal Euclidian distance) • adapt weights of connections input – neurons to • winner neuron • neighbours • Reduce  and r (see parameter (H) and (R) in JavaNNS – Kohonen • Randomize training patterns

14. Beispiel Bankkunde A1: Kredit Geschichte A2: Schulden A3: Sicherheiten A4: Einkommen • Klassifikation bleibt unbeachtet • SOM nimmt Clusterung vor

15. Bank-Kunde • gut = {5,6,9,10,12} • normal = {3, 8, 13} • schlecht = {1,2,4,7,11,14}

16. Credit Scoring • Pascal tool box (1991) • 10x10 neurons • 32,000 training steps

17. Visualisation of a SOM • Colour reflects Euclidian distance to input • Weights used as coordinates of a neuron • Colour reflects cluster NetDemo ColorDemo TSPDemo

18. Das Rundreiseproblem Travelling Salesman Problem (TSP): Es sind mehrere Orte zu besuchen und danach ist zum Ausgangsort zurückzukehren. Welches ist der kürzeste (schnellste) Weg für eine derartige Rundreise?

19. Stralsund Rostock Greifswald Wismar Schwerin Neubrandenburg Komplexität des Rundreiseproblems • Aufwand zum Durchsuchen aller Möglichkeiten: (Pascal-Programm, PC Technik, Stand ca. 1998) • 18 Kreis- und kreisfreie Städte in MV !

20. SOM solves TSP Kohonen layer Draw a neuron at position: (x,y)=(w1i,w2i) input w1i= six X w2i= siy Y

21. SOM löst TSP • Initialer Kreis expandiert zu Rundkurs • Lösungen für mehrere hundert Orte in kurzer Zeit möglich • Rundkurs muss nicht optimal sein

22. Beispiele • Probieren sie die Clusterung von Tieren (Kruse) aus.Verändern Sie den Trainingssatz (Austausch eines Tieres) und vergleichen Sie die entstehende Clusterung. • Machen Sie sich mit der Lösung des Rundreiseproblems mittels einer SOM vertraut. • Greifen Sie auf das Beispiel Wetter-Spiel zurück und clustern Sie diese Daten. Vergleichen Sie das Ergebnis mit der gegebenen Klassifikation

23. Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie Inhalt

24. Neuronales Gas • für Eingabesignal werden alle Neuronen nach ihrem Abstand zur Eingabe geordnet • Adaption entspricht dem Rang des Neurons • Adaption gemäß Zeit- und Reichweiten-Faktor • Wachsende Gase: • Einfügen eines neuenNeurons zwischen Neuronmit größtem Fehler undeinem Nachbarn

25. Hebb‘sches Wettbewerbslernen • Zwischen Gewinner-Neuron und „zweitem“ Gewinner wird neue Verbindung eingefügt: • Wird in Zusammenhang mit anderen Verfahren verwendet, z.B. Neuronalen Gasen,

26. Wachsende Zellstrukturen/Gitter • Zellstrukturen: • Verbindungen bilden Simplex, z.B. Dreieck • Gitter: • rechteckige Gitterstruktur

27. LBG - Linde, Bozo, Gray (1980) • Batch-Verfahren • Referenzvektor wird in Richtung des Schwerpunktes der Voronoi-Menge bewegt • hartes Lernverfahren

28. Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie Inhalt

29. Adaptive Resonance Theory (ART) • Bisher: Training eines neuen Musters kann Gewichte so zerstören, dass alte Muster nicht mehr erkannt werdenStabilitätsproblem • Wie neue Muster und deren Klassifizierungen lernen, ohne dass vorhandene Klassifizierungen verlernt werden? Plastizitätsproblem • ART: (entwickelt von Grossberg und G. Carpenter) • zufällige Folge von Eingaben (Vektoren) unüberwacht klassifizieren (ohne äußere Einwirkung) • Annäherung an biologisches Verhalten • Familie hybrider neuronaler Netze; hier: ART1: binäre Eingabevektoren

30. w1 Winkel p: Aufmerksamkeitsabstand Klassifikationsraum w2 ART - Modell

31. ART - Arbeitsweise • Arbeitsweise: • Netz versucht Eingabevektor in vorhandene Kategorie zu klassifizieren; • Falls KEINE Ähnlichkeit mit gespeicherten Kategorien neue Kategorie; • Falls Kategorie gefunden, wird gespeichertes Muster leicht korrigiert, um Ähnlichkeit mit neuer Eingabe zu erreichen; • Muster ohne Ähnlichkeit zur Eingabe bleiben unverändert

32. Erkennungsschicht F2 + + ... j - g2 U T Matrix WijR Matrix Wji(binär) V S - - v + + + ... i g1 Vergleichssschicht F1 Eingabe I Binärvektor ART - Architektur

33. + + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Architektur - Arbeitsweise Komponenten: • Vergleichschicht (Comparison layer) F1 • Erkennungsschicht (recognition layer) F2 • zwei Verstärkungsfaktoren (je ein Neuron), • gain (Gewinn) • Reset-Komponente (ein Neuron) Vigilance (Wachsamkeit) Arbeitsweise: (1) Erkennungsphase (3) Suchphase (2) Vergleichsphase (4) Adaption der Gewichte

34. + + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Initialisierung • i,j : wij < L/(L-1+m) (von F1 nach F2)iF1, jF2 , m=length( I ),L - Konstante L>1, oft L=2 • j,i : wji = 1 (von F2 nach F1) • Toleranzparameter: 0p1 ; nahe 1: feine Unterschiede; nahe 0 grobe Klassifizierung

35. + + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Erkennungsphase • Eingabe=Nullvektor  Verstärkung g2=0 und alle j abgeschaltet,  V=Nullvektor • Anlegen einer Eingabe I Nullvektor g1=1, g2=1 alle Neuronen i , deren Eingabe Ii=1 ist feuern (nach 2/3-Regel)  S ist Duplikat von I Bilden aller Skalarprodukte WjS (drückt Ähnlichkeit aus) J mit max. WjS “gewinnt”! und feuert(oJ=1), alle anderen gebremst(oj =0 für jJ)uJ=1 alle anderen Komponenten von U sind 0 • nur ein Neuron der Erkennungsschicht feuert

36. + + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Vergleichsphase • jedes Neuron der Vergleichsschicht erhält vi=wJi (0 oder 1) vi =  ujwji = wJi • da nun UNullvektor:g1=0, nun feuern nur Neuronen i mit Ii=1 und vi=1, damit werden Komponenten von S auf 0 gestellt, wo Speichermuster und Eingabe unterschiedlich sind;S = V  I = WJ I • enthält S viele Nullen und I an diesen Positionen 1 dann ex. kein zur Eingabe ähnliches Muster Reset-Komponente feuert  Neuron J (lieferte einzige 1) wird auf 0 gesetzt |S|/|T| = |WJ I | / | I |  pReset erfolgt für |S|/|T|<p p=1  totale Übereinstimmung, p=0  nur eine Klasse  üblich: 0.7p0.99

37. + + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Suchphase • Falls Reset=1 (keine Ähnlichkeiten entdeckt) U=(0,..,0) und g1=1 undS wird wieder zur Kopie von I  Suche nach neuem Gewinner-Neuron • Prozess wird wiederholt bis: a) gespeichertes Muster gefunden, welches I genügend ähnlich ist b) kein gespeichertes Muster ähnlichneues Neuron j benutzt und WJ entsprechend Eingabe I gesetzt

38. + + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Adaption der Gewichte • Fast training:Eingabe solange angelegt, bis Gewichte stabil werden: • WJ - Gewichtsmatrix von F (wandelt S in T um: von F1 nach F2 ) • wiJ= Lsi / (L - 1 + sk) si- Komponente des Ausgabevektrors von F1J- Nummer des Gewinnerneurons von F2L- Konstant s.o. L=2 • wJi = si • Der sogenannte top-down-Vektor Wj = (wj1,...,wjm) ist binäres Abbild des reellwertigen bottom-up Vektors Wj = (w1j,...,wmj)

39. ART - Theorem und Beispiele • Nachdem Training stabilisiert ist, aktiviert ein Trainingsvektor das korrekte Neuron der Erkennungsschicht ohne Suche. • Der Suchprozess ist stabil; Das Training ist stabil; Der Trainingsprozess terminiert. • ART1 Beispiele aus SNNS: Buchstaben lernen: art1_letters.*Aufgabe: Bilden Sie das ART1-Neuronale Netz neu, benutzen Sie dazu die Option BigNet.Achten Sie auf korrekte Bias-Werte. Trainieren Sie das Netz. • Entwickeln Sie ein ART1-Netz zur Klassifikation von Würfelzahlen.

40. ART-Netz im SNNS

41. Ende