1 / 28

Artificial Neurons

Artificial Neurons. Perceptrons and the perceptron learning rule. Sebastian Frühling – 29.04.2004. Themen:. Definition KNN Vorbild aus der Biologie Simple Perceptrons Training eines Perzeptrons Schwellwerteinheiten Beispiel „ODER-Perzeptron“ Lineare Einheiten. Definition KNN.

olivia-rivera
Download Presentation

Artificial Neurons

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Artificial Neurons Perceptrons and the perceptron learning rule Sebastian Frühling – 29.04.2004

  2. Themen: • Definition KNN • Vorbild aus der Biologie • Simple Perceptrons • Training eines Perzeptrons • Schwellwerteinheiten • Beispiel „ODER-Perzeptron“ • Lineare Einheiten

  3. Definition KNN „[…] a System composed of many simple processing elements operating in parallel whose function is determined by network structure, connecting strengths, and the processing performed at computing elements or nodes “ DARPA Neural Network study, Fairfax, VA: AFCEA International Press 1988

  4. Vorbild aus der Biologie Biologisches Neuron Künstliches Neuron

  5. Ziel: Output = gewünschte Ausgabe Simple Perceptron ε1 w1 ε2 w2 w3 ε3 w4 ε4 O = Output Knoten g() = Aktivierungsfunktion wy = Gewicht Input y εk = k-ter Input

  6. Training eines Perceptrons

  7. Simple Perceptrons Schwellwerteinheiten - Threshhold – Units -

  8. Schwellwerteinheiten (Threshhold – Units) • Mit: • und:

  9. w Schwellwerteinheiten (Threshhold Units) (2) • Die Projektion des Gewichtsvektors auf den Input-Vektor soll das gleiche Vorzeichen haben, wie die gewünschte Ausgabe • Die grenze zwischen +1 und -1 ist also genau die Ebene (Gerade oder Hyperebene wo wε= 0) • Die Ebene geht durch den Ursprung, falls kein Schwellwert gegeben

  10. 1 1 Schwellwerteinheiten(Threshhold Units) - OR-Funktion • Ist die OR-Funktion durch ein einfaches Perzeptron darstellbar? • Lineare Separierbarkeit 0,5 0,5

  11. Schwellwerteinheiten(Threshhold-Units) - Lösung 2 Möglichkeiten: • Lösung ausrechnen und fertig • Lösung „lernen“ lassen Lernen = suk. Anpassung der Gewichte

  12. Schwellwerteinheiten (Threshhold Units) - Beispiel ε1 w1 g(h) = sgn(h) ε1 || ε2 ε2 w2 Schwellwert: Θ = 0,5 Initial Gewichte: w1 = 0,5 w2 = 0,7

  13. Ein einfacher Lernalgorithmus START: Choose any Value for w TEST: Choose an e in F- || F+ If (e in F+) && (w.e – S > 0) goTo TEST If (e in F+) && (w.e - S<= 0) goTo ADD If (e in F-) && (w.e - S < 0) goTo TEST If (e in F-) && (w.e - S>=0) goTo SUB ADD: w := w + e goTo TEST SUB: w := w – e goTo TEST 1 w 1 Unter der Bedingung, dass es eine Lösung gibt (linear Separierbare Probleme) findet das Perzeptron sie (effizient) in einer endlichen Anzahl von Schritten

  14. Schwellwerteinheiten(Threshhold-Units) - Beispiel Schwellwert 0.5 !!! START: Choose any Value for w TEST: Choose an e in F- || F+ If (e in F+) && (w.e – S > 0) goTo TEST If (e in F+) && (w.e - S <= 0) goTo ADD If (e in F-) && (w.e – S < 0) goTo TEST If (e in F-) && (w.e – S >=0) goTo SUB ADD: w := w + e goTo TEST SUB: w := w – e goTo TEST

  15. w w Schwellwerteinheiten(Threshhold-Units) - Beispiel w e e TEST: Choose an e in F- || F+ If (e in F+) && (w.e – S > 0) goTo TEST If (e in F+) && (w.e - S <= 0) goTo ADD If (e in F-) && (w.e – S < 0) goTo TEST If (e in F-) && (w.e – S >=0) goTo SUB ADD: w := w + e goTo TEST SUB: w := w – e goTo TEST

  16. w w w w Schwellwerteinheiten (Threshhold-Units) - Beispiel e Schwellwert TEST: Choose an e in F- || F+ If (e in F+) && (w.e – S > 0) goTo TEST If (e in F+) && (w.e - S <= 0) goTo ADD If (e in F-) && (w.e – S < 0) goTo TEST If (e in F-) && (w.e – S >=0) goTo SUB ADD: w := w + e goTo TEST SUB: w := w – e goTo TEST w

  17. Beweis über Konvergenz • Zu zeigen: Falls eine Lösung existiert, so findet sie der Lernalgorithmus in endlicher Zeit • Ziel: finde obere Schranke für n (n Anzahl updates) • Vorbedingungen: • W* ist der Optimal-Gewichtsvektor der Länge 1 • W ist unser zufällig gewählter Gewichtsvektor • Alle Pattern-Vektoren sind normiert • Es gilt: w* 1 δ

  18. Beweis über Konvergenz • Betrachte Zähler und Nenner getrennt: • Zähler: • Nach n-maliger Anwendung:

  19. Beweis über Konvergenz (2) • Nenner: • Nach n-maliger Anwendung:

  20. Beweis über Konvergenz (3) • Mit Damit ist gezeigt, daß eine obere Schranke für die Updates des Gewichtsvektors mit endlicher Anzahl von Schritten gefunden wird.

  21. Diskriminante D • Es gibt eine Möglichkeit die Lösbarkeit von Problemen zu prognostizieren: • D < 0  nicht mit einfachen Perzeptron lösbar • D > 0  lösbar • max(D)  optimales Perzeptron

  22. Simple Perceptrons Lineare Einheiten - linear Units -

  23. Linear Units • g ist eine lineare, kontinuierliche und differenzierbare Funktion • Ansonsten bleibt alles gleich ;-)

  24. Linear Units - Explizite Lösung • Errechnen der exakten Werte; keine sukzessive Verbesserung Nur bei linear unabhängigen !!!

  25. Linear Units - Lernen mit absteigenden Gradienten • Definiere eine Kostenfunktion • Im Minimum der Kostenfunktion ist die Ausgabe = gewünschte Ausgabe  suche nach Min

  26. Linear Units – Lernen mit absteigenden Gradienten (2) • Ein kleiner Schritt in Richtung des Minimums: • Wenn man das für jede Eingabe extra macht:

  27. Zusammenfassung Simple Perceptrons können viele, sehr komplexe Probleme effizient lösen. D.h. aber NICHT, dass sie deshalb auch alle einfachen Probleme lösen können. Wenn es eine Lösung gibt (das Problem ist linear Separierbar), dann findet der Lernalgorithmus des Perceptrons sie mit endlicher Anzahl von Schritten.

  28. Simple Perceptrons Danke …

More Related