1 / 7

Neuronale Netze Nachtrag Perzeptron

Neuronale Netze Nachtrag Perzeptron. SS 2009 Gunther Heidemann. Perzeptron. Eine Menge von Mustern { x  },  = 1, 2, …, soll von M Diskriminanten y i ( x  ) = ∑ j =1…, L w ij ∙  j ( x  ), i = 1 … M ,

allegra-obrien
Download Presentation

Neuronale Netze Nachtrag Perzeptron

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Neuronale NetzeNachtrag Perzeptron SS 2009 Gunther Heidemann

  2. NN Perzeptron Perzeptron Eine Menge von Mustern {x},  = 1, 2, …, soll vonM Diskriminanten yi(x) = ∑j=1…,Lwij ∙ j(x), i = 1 … M, klassifiziert werden, die jedem x eine Klasse   {1…M} zuordnen gemäß (x) = arg maxiyi(x).

  3. NN Perzeptron Perzeptron-Lernregel • Wähle ein Beispiel x und berechne yi(x) = ∑j=1…,Lwij ∙ (x). • Ist y(x) > yi(x)  i ≠  ? • Ja: Korrekte Antwort, goto 1. • Nein: Es gibt ein m ≠  mit ym(x) > yi(x) )  i ≠ m. Lernschritt: • ∆wmj= − j(x), • ∆wj = j(x). • Goto 1.

  4. NN Perzeptron Perzeptron-Konvergenzsatz Es existiere ein  > 0 und ein Satz von Gewichten {w*ij}, i = 1…M, j = 1…L, so dass für alle Trainings-Paare (x,(x)),  = 1, 2, … , gilt y*(x) ≥ y*j(x) +   j ≠ (x). Dann konvergiert die Perzeptron-Lernregel in endlich vielen Schritten zu Gewichten wmj, für die kein Klassifikationsfehler mehr auftritt.

  5. NN Perzeptron Beweis der Perzeptron-Konvergenz Betrachte Q = A/(B ∙ B*)1/2 = (∑ijwij∙ w*ij)/((∑ijwij2)1/2 ∙ (∑ijw*ij2)1/2) ≤ 1, mit A = ∑ijwij∙ w*ij B = (∑ijwij2) B* = (∑ijw*ij2) Beweisidee: Zeige, dass Q für jeden Lernschritt um mindestens eine feste Größe ∆Q wächst.

  6. NN Perzeptron Beweis der Perzeptron-Konvergenz Betrachte A unter einem Lernschritt: ∆A = ∑ijw*ij∙ ∆wij = ∑jw*mj∙ ∆wmj+ w*j∙ ∆wj (m = fälschlicher Gewinner) = ∑jw*mj∙ (−j(x))+ ∑j w*j∙ j(x) ≥  ∆B = ∑ij((wij+ ∆wij)2 − wij2) = ∑ij 2wij ∙ ∆wij + ∆wij2 = 2 ∑j(wj ∙ j(x) − wmj ∙ j(x)) + 2 ∑j j2(x) = 2 ∑j(y(x) − ym(x)) + 2 ∑j j2(x) < 2 ∑j j2(x) <  denn y(x) − ym(x) < 0 wegen der Fehlerbedingung.

  7. NN Perzeptron Beweis der Perzeptron-Konvergenz Nach n Lernschritten: A(n) = A(0) + n ∙  B(n) = B(0) + n ∙  • Q >(A(0) + n ∙ )/((B(0) + n ∙ ) ∙ B*)1/2 ≤ 1 Da der Zähler linear in n, der Nenner weniger als linear in n wächst, wird Q immer größer und muss nach endlich vielen Schritten 1 erreichen. Abschätzung der erforderlichen Anzahl von Lernschritten: Einfachster Fall: wij(0) = 0, A(0) = 0, B(0) = 0. Q > (n1/2 ∙ )/ (1/2∙ B*) ≤ 1 n ≤  ∙ B*2 / 2≤ 2 ∙ maxx ∑j j2(x) ∙ B*2 / 2

More Related