420 likes | 577 Views
Wismar Business School. Wissensextraktion mittels künstlicher neuronaler Netze Wettbewerbslernen. Uwe Lämmel. www.wi.hs-wismar.de/~laemmel Uwe.Laemmel@hs-wismar.de. Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie. Inhalt.
E N D
Wismar Business School Wissensextraktion mittelskünstlicher neuronaler NetzeWettbewerbslernen Uwe Lämmel www.wi.hs-wismar.de/~laemmel Uwe.Laemmel@hs-wismar.de
Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie Inhalt
N Neuronen,Gewinnerneuron nx k-dim. Eingabevektor x Wettbewerbslernen • Aktivierung eines Neurons nicht nur von Eingabe abhängig • Vergleich mehrere Neuronen notwendig • Netzausgabe durch ein Gewinner-Neuron • Architektur: • Ziel:ähnliche Eingabe aufbenachbarte Neuronen abbilden
Wettbewerbslernen: Voronoi-Mosaik • Voronoi-Tesselation • Voronoi-Mengen eines Neurons s: Menge aller Punkte, für die das Neuron s das Gewinner-Neuron ist Referenzvektor Ähnliche Eingaben auf benachbarte Neuronen abbilden
Netze und Verfahren Architektur • variabel • Wachsende Neuronale Gase • Wachsende Zellstrukturen • fest • SOM • Neuronales Gas • LBG Lernverfahren • hart – nur Gewinner–Neuron wird adaptiert: • LBG • weich – auch andere Neuronen modifizieren: • SOM, • Neuronale Gase, • wachsende Zellstrukturen
Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie Inhalt
Selbstorganisierende Karten (SOM) • Fähigkeit des Gehirns zur Selbstorganisation nachbilden • räumliche Lage eines Neurons im Kopf bedeutend (wurde bisher vernachlässigt) • existieren Beziehungen räumlicher Art zur Umgebung • Kohonen Feature Map • zweischichtiger Muster-Assoziator • Eingabe-Schicht voll vernetzt mit Karten-Schicht • Neuronen der Karten-Schicht untereinander voll vernetzt (virtuell)
f ai Ausgabe B Eingabemenge A Clusterung • Ziel: Alle Eingaben einer Klasse werden auf genau ein Neuron abgebildet • Problem: Klassifikation im Eingaberaum allgemein nicht bekannt. • Netz nimmt eine Clusterung vor.
Winner Neuron Input-Layer Kohonen- Layer Gewinner-Neuron
Lernen in SOM • Wahl einer Eingabe kzufällig aus dem Problemraum • Das Neuron z mit maximaler Erregung wird bestimmt • Anpassung der Gewichtsvektoren in der Nachbarschaft von z: Neuronen i innerhalb eines Radius r von z. • Stopp – falls gewünschte Zahl von Lernzyklen erreicht, Sonst – Lernfaktor und Radius verkleinern und mit 1. fortfahren.
Erregungszentrum • Prinzip: Neuronen (-gruppe) mit starker Erregung hemmen Gruppen in der Umgebung, um eigene Wirksamkeit zu erhöhen! • Problem: Finden des Erregungszentrums – 2 Möglichkeiten: • Neuron j mit maximalen Nettoinput • Neuron j, dessen Gewichtsvektor wjder Eingabe am ähnlichsten ist (euklidischer Abstand):z: x - wz= minj x - wj
Mexican-Hat-Annäherung 1 0,5 0 0 1 2 3 -3 -2 -1 Anpassen der Gewichte • Gewichte zu Neuronen innerhalb eines Radius r werden erhöht: • Grad der Beeinflussung durch den räumlichen Abstand zum Erregungszentrum? • Lernrate (t) sowie • Radius r(t) laufen gegen null • Kohonen benutzt Funktion :
input pattern mp Wj Kohonen layer SOM Training – Summary • find the winner neuron zfor an input pattern p(minimal Euclidian distance) • adapt weights of connections input – neurons to • winner neuron • neighbours • Reduce and r (see parameter (H) and (R) in JavaNNS – Kohonen • Randomize training patterns
Beispiel Bankkunde A1: Kredit Geschichte A2: Schulden A3: Sicherheiten A4: Einkommen • Klassifikation bleibt unbeachtet • SOM nimmt Clusterung vor
Bank-Kunde • gut = {5,6,9,10,12} • normal = {3, 8, 13} • schlecht = {1,2,4,7,11,14}
Credit Scoring • Pascal tool box (1991) • 10x10 neurons • 32,000 training steps
Visualisation of a SOM • Colour reflects Euclidian distance to input • Weights used as coordinates of a neuron • Colour reflects cluster NetDemo ColorDemo TSPDemo
Das Rundreiseproblem Travelling Salesman Problem (TSP): Es sind mehrere Orte zu besuchen und danach ist zum Ausgangsort zurückzukehren. Welches ist der kürzeste (schnellste) Weg für eine derartige Rundreise?
Stralsund Rostock Greifswald Wismar Schwerin Neubrandenburg Komplexität des Rundreiseproblems • Aufwand zum Durchsuchen aller Möglichkeiten: (Pascal-Programm, PC Technik, Stand ca. 1998) • 18 Kreis- und kreisfreie Städte in MV !
SOM solves TSP Kohonen layer Draw a neuron at position: (x,y)=(w1i,w2i) input w1i= six X w2i= siy Y
SOM löst TSP • Initialer Kreis expandiert zu Rundkurs • Lösungen für mehrere hundert Orte in kurzer Zeit möglich • Rundkurs muss nicht optimal sein
Beispiele • Probieren sie die Clusterung von Tieren (Kruse) aus.Verändern Sie den Trainingssatz (Austausch eines Tieres) und vergleichen Sie die entstehende Clusterung. • Machen Sie sich mit der Lösung des Rundreiseproblems mittels einer SOM vertraut. • Greifen Sie auf das Beispiel Wetter-Spiel zurück und clustern Sie diese Daten. Vergleichen Sie das Ergebnis mit der gegebenen Klassifikation
Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie Inhalt
Neuronales Gas • für Eingabesignal werden alle Neuronen nach ihrem Abstand zur Eingabe geordnet • Adaption entspricht dem Rang des Neurons • Adaption gemäß Zeit- und Reichweiten-Faktor • Wachsende Gase: • Einfügen eines neuenNeurons zwischen Neuronmit größtem Fehler undeinem Nachbarn
Hebb‘sches Wettbewerbslernen • Zwischen Gewinner-Neuron und „zweitem“ Gewinner wird neue Verbindung eingefügt: • Wird in Zusammenhang mit anderen Verfahren verwendet, z.B. Neuronalen Gasen,
Wachsende Zellstrukturen/Gitter • Zellstrukturen: • Verbindungen bilden Simplex, z.B. Dreieck • Gitter: • rechteckige Gitterstruktur
LBG - Linde, Bozo, Gray (1980) • Batch-Verfahren • Referenzvektor wird in Richtung des Schwerpunktes der Voronoi-Menge bewegt • hartes Lernverfahren
Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie Inhalt
Adaptive Resonance Theory (ART) • Bisher: Training eines neuen Musters kann Gewichte so zerstören, dass alte Muster nicht mehr erkannt werdenStabilitätsproblem • Wie neue Muster und deren Klassifizierungen lernen, ohne dass vorhandene Klassifizierungen verlernt werden? Plastizitätsproblem • ART: (entwickelt von Grossberg und G. Carpenter) • zufällige Folge von Eingaben (Vektoren) unüberwacht klassifizieren (ohne äußere Einwirkung) • Annäherung an biologisches Verhalten • Familie hybrider neuronaler Netze; hier: ART1: binäre Eingabevektoren
w1 Winkel p: Aufmerksamkeitsabstand Klassifikationsraum w2 ART - Modell
ART - Arbeitsweise • Arbeitsweise: • Netz versucht Eingabevektor in vorhandene Kategorie zu klassifizieren; • Falls KEINE Ähnlichkeit mit gespeicherten Kategorien neue Kategorie; • Falls Kategorie gefunden, wird gespeichertes Muster leicht korrigiert, um Ähnlichkeit mit neuer Eingabe zu erreichen; • Muster ohne Ähnlichkeit zur Eingabe bleiben unverändert
Erkennungsschicht F2 + + ... j - g2 U T Matrix WijR Matrix Wji(binär) V S - - v + + + ... i g1 Vergleichssschicht F1 Eingabe I Binärvektor ART - Architektur
+ + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Architektur - Arbeitsweise Komponenten: • Vergleichschicht (Comparison layer) F1 • Erkennungsschicht (recognition layer) F2 • zwei Verstärkungsfaktoren (je ein Neuron), • gain (Gewinn) • Reset-Komponente (ein Neuron) Vigilance (Wachsamkeit) Arbeitsweise: (1) Erkennungsphase (3) Suchphase (2) Vergleichsphase (4) Adaption der Gewichte
+ + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Initialisierung • i,j : wij < L/(L-1+m) (von F1 nach F2)iF1, jF2 , m=length( I ),L - Konstante L>1, oft L=2 • j,i : wji = 1 (von F2 nach F1) • Toleranzparameter: 0p1 ; nahe 1: feine Unterschiede; nahe 0 grobe Klassifizierung
+ + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Erkennungsphase • Eingabe=Nullvektor Verstärkung g2=0 und alle j abgeschaltet, V=Nullvektor • Anlegen einer Eingabe I Nullvektor g1=1, g2=1 alle Neuronen i , deren Eingabe Ii=1 ist feuern (nach 2/3-Regel) S ist Duplikat von I Bilden aller Skalarprodukte WjS (drückt Ähnlichkeit aus) J mit max. WjS “gewinnt”! und feuert(oJ=1), alle anderen gebremst(oj =0 für jJ)uJ=1 alle anderen Komponenten von U sind 0 • nur ein Neuron der Erkennungsschicht feuert
+ + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Vergleichsphase • jedes Neuron der Vergleichsschicht erhält vi=wJi (0 oder 1) vi = ujwji = wJi • da nun UNullvektor:g1=0, nun feuern nur Neuronen i mit Ii=1 und vi=1, damit werden Komponenten von S auf 0 gestellt, wo Speichermuster und Eingabe unterschiedlich sind;S = V I = WJ I • enthält S viele Nullen und I an diesen Positionen 1 dann ex. kein zur Eingabe ähnliches Muster Reset-Komponente feuert Neuron J (lieferte einzige 1) wird auf 0 gesetzt |S|/|T| = |WJ I | / | I | pReset erfolgt für |S|/|T|<p p=1 totale Übereinstimmung, p=0 nur eine Klasse üblich: 0.7p0.99
+ + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Suchphase • Falls Reset=1 (keine Ähnlichkeiten entdeckt) U=(0,..,0) und g1=1 undS wird wieder zur Kopie von I Suche nach neuem Gewinner-Neuron • Prozess wird wiederholt bis: a) gespeichertes Muster gefunden, welches I genügend ähnlich ist b) kein gespeichertes Muster ähnlichneues Neuron j benutzt und WJ entsprechend Eingabe I gesetzt
+ + ... j - g2 U T WijR Wji(binär) V S - - v + + + ... i g1 ART - Adaption der Gewichte • Fast training:Eingabe solange angelegt, bis Gewichte stabil werden: • WJ - Gewichtsmatrix von F (wandelt S in T um: von F1 nach F2 ) • wiJ= Lsi / (L - 1 + sk) si- Komponente des Ausgabevektrors von F1J- Nummer des Gewinnerneurons von F2L- Konstant s.o. L=2 • wJi = si • Der sogenannte top-down-Vektor Wj = (wj1,...,wjm) ist binäres Abbild des reellwertigen bottom-up Vektors Wj = (w1j,...,wmj)
ART - Theorem und Beispiele • Nachdem Training stabilisiert ist, aktiviert ein Trainingsvektor das korrekte Neuron der Erkennungsschicht ohne Suche. • Der Suchprozess ist stabil; Das Training ist stabil; Der Trainingsprozess terminiert. • ART1 Beispiele aus SNNS: Buchstaben lernen: art1_letters.*Aufgabe: Bilden Sie das ART1-Neuronale Netz neu, benutzen Sie dazu die Option BigNet.Achten Sie auf korrekte Bias-Werte. Trainieren Sie das Netz. • Entwickeln Sie ein ART1-Netz zur Klassifikation von Würfelzahlen.