Carola Huthmacher

1. Proseminar SS 2002 Technische InformatikUnüberwachtes Lernen in neuronalen Netzen: Competitive Learning Carola Huthmacher

2. Vortragsüberblick • Clusterbildung • Lernen in Neuronalen Netzen • Prinzip von Competitive Learning • Architektur • Unüberwachter Lernalgorithmus • Simulation • Vorteile und Nachteile • Anwendung: SOM • Zusammenfassung Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning

3. Clusterbildung • Ziele: • Unterschiede zwischen Objekten eines Clusters sind minimal • Unterschiede zwischen Objekten verschiedener Cluster sind maximal Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning

4. Lernen in Neuronalen Netzen Lernen in Neuronalen Netzen Überwachtes Lernen Feste Lernaufgabe: Geg.: EingabeE,AusgabeA Unüberwachtes Lernen Freie Lernaufgabe: Geg.: EingabeE Correlation Learning Competitive Learning Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning

5. Prinzip von Competitive Learning • Konkurrenzprinzip (Competition) • Ziel: pro Eingabegruppe wird ein Neuron aktiviert (Clusterbildung) Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning

6. Architektur eines Competitive Learning Netzwerks Ausgabe ( 1 0 ) 0 ) Competitive Layer ... ... Input Layer 1 2 3 n ... ... Eingabe ( 1 0 0 1 1 1 1 ) = x  Rn ) = x Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning

7. Abstand Eingabe/Gewichtungsvektor: Sj = iwijxi = |w||x|cos Gewinner: Neuron j mit Sj > Sk für alle k  j Ausgabe: aGewinner = 1, aVerlierer = 0 („winner take all“) Prozesse im Competitive Layer j wj1 wj2 wjn ) = x  Rn x1 x2 xn ( Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning

8. Unüberwachter Lernalgorithmus • Initialisierung: • Zufällige Anfangsgewichtung • Vektoren aus Trainingseingaben als Anfangsgewichtungen • Konkurrenzprozess • Lernen: • Neuberechnung der Gewichtungen des Gewinnerneurons: wj(t+1) = wj(t) +  (t)[xk - wj(t)] • Termination: • Ende bei Erfüllung eines Terminationskriteriums  ( x – wj (t) ) 1 wj (t) wj (t+1) x 0 1 Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning

9. Vorteile und Nachteile • Nachteile: • schwierig, gute Initialisierung zu finden • Instabilität • Problem: # Neurone in Competitive Layer • Vorteile: • gute Clusterbildung • einfacher und schneller Algorithmus • Baustein für komplexere Netzwerke Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning

10. Anwendung: SOM • Self Organizing Map (Kohonen Map) • ähnliche Cluster werden durch benachbarte Neurone des Competitive Layers repräsentiert Competitive Layer ... Input Layer Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning

11. Zusammenfassung • Algorithmus zur Clusterbildung: Daten werden aufgrund ihrer Ähnlichkeit in repräsentative Gruppen eingeteilt • Baustein für größere Netzwerke: z. B. SOM, Counter-Propagation Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning