1 / 18

Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí

Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí. Vedúci / Konzultant : prof. Ing. Peter Sin čák, Csc. Ing. Rudolf Jakša, PhD Ing. Juraj Koščak. Úvod. zjednodušenie implement á c i e algoritmu BPTT pre rozne topologie siete.

kamal
Download Presentation

Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Experimentálna analýza algoritmu náhodného výberu váhpre učenie neurónových sietí Vedúci / Konzultant: prof. Ing. Peter Sinčák, Csc. Ing. Rudolf Jakša, PhD Ing. Juraj Koščak

  2. Úvod • zjednodušenie implementácie algoritmu BPTT pre rozne topologie siete. • BPTT –implementačne náročný • overenie modifikácie na jednoduchom FF BP učení • využitie náhodného výberu váh pri učení

  3. Rozdiel:Poradie preratávania váh BP rBP

  4. Motivácia: použiť menej váh

  5. Werbos - základnáimplementácia • plné prepojenie siete – neexistujú vrstvy • Werbos – batch learning (prip. online)

  6. Werbos vsersusNasa Modifikácia

  7. Kruh v štorci – BP, rBP, rBP+BP • topológia: 2x5x2 • topológia: 2x10x6x2 • iterácii:2500 • alfa moment: 0.95 • gama: 0.01 • lambda: 0.5 • 10 x nahodna inicializácia, spriemerované hodnoty

  8. Predpoklad • Naša modifikácia by mala chodiť pomalšie • Ale mala by chodiť

  9. Kruh v štvorci2x5x2 E iteracia

  10. Kruh v štvorci2x10x6x2 E iteracia

  11. Kruh v štvorci2x10x6x2 E iteracia

  12. Synteticke dáta (SantaFe) – BP, rBP • topológia: 2x5x1 • topológia: 2x10x6x1 • iterácii:4000 • alfa moment: 0.95 • gama: 0.01 • lambda: 0.5 • 10 x nahodna inicializácia, spriemerované hodnoty

  13. Experimenty 2

  14. Synteticke dáta

  15. Umelé data2x5x2 E iteracia

  16. Umelé data 2x10x6x1 E iteracia

  17. Stratégia do zirtačnej práce • Prvotný experiment – diplomová práca • Preskúmatmetódu náhodného výberu váh v učení • Vzorová implementácia pre rekurentný BP • Reálne dáta - predikcia

  18. Ďakujem

More Related