1 / 15

Vedúci / Konzultant diplomovej práce: Ing. Rudolf Jakša, PhD Juraj Koščak

Experimentálna analýza algoritmu backpropagation through time pre učenie rekurentných neurónových sietí. Vedúci / Konzultant diplomovej práce: Ing. Rudolf Jakša, PhD Juraj Koščak. T eóri a algoritmu BPTT. myšlienka BPTT je rovnaká ako u BP

faye
Download Presentation

Vedúci / Konzultant diplomovej práce: Ing. Rudolf Jakša, PhD Juraj Koščak

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Experimentálna analýza algoritmu backpropagation through time pre učenie rekurentných neurónových sietí Vedúci / Konzultant diplomovej práce: Ing. Rudolf Jakša, PhD Juraj Koščak

  2. Teória algoritmu BPTT • myšlienka BPTT je rovnaká ako u BP • RNN pretransformuje - „rozvinie“ do viacvrstvovej FFNN, na ktorú je možné s istými úpravami aplikovať klasický BP • každá vrstva vzniknutej FFNN predstavuje jednu rekurenciu v čase z pôvodnej RNN • počet vrstiev FNN -T počet rozvití RCNN

  3. Werbos – vlastná implementácia • plné prepojenie siete – neexistujú vrsvy • Werbos – batch learning • moja implementácia – online learning

  4. Modifikácia implementovaného algoritmu

  5. Funkcia rBPTT BPTT rBPTT

  6. Experimenty

  7. Jednoduchý posunutý signál

  8. Vytrácanie gradientového efektu

  9. rBPTT – počet prepočítaní váh 12/15

  10. Predikcia

  11. Záver • Werbos fullconection BPTT – overenie • rBPTT – navrhnúť • rBPTT – zjednodušenie výpočtu • rBPTT vs. Werbos

  12. Ďakujem

More Related