120 likes | 222 Views
Proseminar SS 2002 Technische Informatik Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning. Carola Huthmacher. Vortragsüberblick. Clusterbildung Lernen in Neuronalen Netzen Prinzip von Competitive Learning Architektur Unüberwachter Lernalgorithmus Simulation
E N D
Proseminar SS 2002 Technische InformatikUnüberwachtes Lernen in neuronalen Netzen: Competitive Learning Carola Huthmacher
Vortragsüberblick • Clusterbildung • Lernen in Neuronalen Netzen • Prinzip von Competitive Learning • Architektur • Unüberwachter Lernalgorithmus • Simulation • Vorteile und Nachteile • Anwendung: SOM • Zusammenfassung Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning
Clusterbildung • Ziele: • Unterschiede zwischen Objekten eines Clusters sind minimal • Unterschiede zwischen Objekten verschiedener Cluster sind maximal Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning
Lernen in Neuronalen Netzen Lernen in Neuronalen Netzen Überwachtes Lernen Feste Lernaufgabe: Geg.: EingabeE,AusgabeA Unüberwachtes Lernen Freie Lernaufgabe: Geg.: EingabeE Correlation Learning Competitive Learning Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning
Prinzip von Competitive Learning • Konkurrenzprinzip (Competition) • Ziel: pro Eingabegruppe wird ein Neuron aktiviert (Clusterbildung) Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning
Architektur eines Competitive Learning Netzwerks Ausgabe ( 1 0 ) 0 ) Competitive Layer ... ... Input Layer 1 2 3 n ... ... Eingabe ( 1 0 0 1 1 1 1 ) = x Rn ) = x Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning
Abstand Eingabe/Gewichtungsvektor: Sj = iwijxi = |w||x|cos Gewinner: Neuron j mit Sj > Sk für alle k j Ausgabe: aGewinner = 1, aVerlierer = 0 („winner take all“) Prozesse im Competitive Layer j wj1 wj2 wjn ) = x Rn x1 x2 xn ( Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning
Unüberwachter Lernalgorithmus • Initialisierung: • Zufällige Anfangsgewichtung • Vektoren aus Trainingseingaben als Anfangsgewichtungen • Konkurrenzprozess • Lernen: • Neuberechnung der Gewichtungen des Gewinnerneurons: wj(t+1) = wj(t) + (t)[xk - wj(t)] • Termination: • Ende bei Erfüllung eines Terminationskriteriums ( x – wj (t) ) 1 wj (t) wj (t+1) x 0 1 Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning
Vorteile und Nachteile • Nachteile: • schwierig, gute Initialisierung zu finden • Instabilität • Problem: # Neurone in Competitive Layer • Vorteile: • gute Clusterbildung • einfacher und schneller Algorithmus • Baustein für komplexere Netzwerke Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning
Anwendung: SOM • Self Organizing Map (Kohonen Map) • ähnliche Cluster werden durch benachbarte Neurone des Competitive Layers repräsentiert Competitive Layer ... Input Layer Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning
Zusammenfassung • Algorithmus zur Clusterbildung: Daten werden aufgrund ihrer Ähnlichkeit in repräsentative Gruppen eingeteilt • Baustein für größere Netzwerke: z. B. SOM, Counter-Propagation Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning