1 / 17

Neurónové siete založené na “echo” stavoch

Neurónové siete založené na “echo” stavoch. Matej Makula Fakulta informatiky a informačných technológií STU 20. januára 2006. “dynamical reservoir”. output layer. input layer. ESN – princíp. Prístup založený na architekturálnom biase Dynamika siete je predurčená náhodnou inicializáciou

morton
Download Presentation

Neurónové siete založené na “echo” stavoch

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Neurónové siete založené na “echo” stavoch Matej Makula Fakulta informatiky a informačných technológií STU 20. januára 2006

  2. “dynamical reservoir” output layer input layer ESN – princíp • Prístup založený na architekturálnom biase • Dynamika siete je predurčená náhodnou inicializáciou • Charakter dynamiky určujú vstupné a rekurentné váhy • Trénované sú len výstupné váhy

  3. “dynamical reservoir” output layer input layer ESN - obmedzenia • Presné definovanie kedy je vhodné ESN použiť • Nejasný vplyv parametrov na kvalitu predikcie • Dynamický rezervoár (štruktúra, váhy) • Vstupné váhy (rozsah) • Výstupné váhy (aktivačná funkcia)

  4. Testovanie Trénovanie ESN - stabilita Generovanie periodickej sekvencie Bez pridania šumu Vstup zo šumom – state wobbling Inicializácia Testovanie Inicializácia Testovanie

  5. ESN - stabilita Pri generovaní dôjde po niekoľkých periodách k skresleniu výstupu ESN siete Pridanie šumu k vstupu pri trénovaní zlepšuje stabilitu Initialization Testing Inicializácia Testovanie Inicializácia Testovanie

  6. ESN – stabilita • Veľkosť šumu?? • Príliš malé hodnoty alebo veľké hodnoty šumu nedokážu zabezpečiť stabilitu • Veľkosť šumu ~ veľkosť chyby • Vylepšená verzia učenia – šum je nahradený skutočnou chybou (pri jednokrokovej predikcii)

  7. ESN - zlepšená verzia učenia • Prvý krok: ESN je trenovaná klasickou metódou. Výsledkom trénovania sú výstupné váhy wout . • Druhý krok: Vytvorenie novej učiacej postupnosti d'(n), ktorá je získaná pomocou d(n) and váh wout • Tretí krok: Použitie d'(n) ako novej učiacej postupnosti a pretrénovanie ESN. Výsledkom sú výstupné váhy wout

  8. ESN – Mackey-Glass predikcia MGS predikcia (delay 17) Vylepšená verzia učenia + priemerovanie viacerých modelov • ESN prístup • log10(NRMSE84) = –5.09 • Iné prístupy • log10(NRMSE84) = –1.7

  9. ESN - online adaptácia • Využitie online adaptácie pre nájdenie stabilného riešenia Dotrénovanie pomocou RLS Inicializácia Testovanie

  10. ESN - online adaptácia • Least mean squares • Výpočtovo nenáročné • Suboptimálne riešenia • Recursive least squares • Exponenciálny faktor zabúdania – nevhodné pre dlhé postupnosti? • Numerická stabilita • Predikcia symbolickej sekvencie Biblia • Abeceda 26 znakov + medzera • Dĺžka postupnosti: 2 740 000 symbolov • Nie je možné použiť výpočet pseudoinverznej matice • Oprava textu použitím ESN • Viterbiho algoritmus

  11. Ďakujem

  12. ESN– štruktúra DR • Dopredná ESN – existujú len dopredné prepojenia v DR • Toto obmedzenie má minimálny vplyv na kvalitu predikcie výslednej siete input history hidden units inputunit output unit output unit

  13. ESN– štruktúra DR hidden units • DR zostavený z viacerých “modulov” podsietí • Medzi podsieťami sú len dopredné prepojenia • Postupné pridávanie neurónov, resp. podsietí do DR podľa potreby • Pri trénovaní stači dotrénovať novopridané výstupné váhy inputunit output unit

  14. S X S T X B P P V V T ESN – vstup / výstup Požadovaný výstup = trénovacia postupnosť Požadovaný výstup = aktivity automatu B P “BPTVVBPVPSBTSSXXTVPSB....” V hidden layer output layer input layer T B B P P X V V T T S X X t t S S

  15. The Laser time series 20 ESNs with 300 neurons the task was to predict the next 100 steps

  16. ESN – vstup / výstup State space of untrained RNN Príklad Postupnosť:“assssbsscsabssscs”

  17. ESN a vstupna postupnost hidden layer output layer input layer a a b b c c s s

More Related