Neurónové siete

1. Neurónové siete identifikácia, modelovanie a riadenie neurónovými sieťami

2. Úvod problémy aproximácie funkcií riadenie procesov transfomácia signálov riešenie predikčných problémov klasifikácia do tried, klasifikácia situácií učenie a zovšeobecňovanie ukladanie znalostí = váhy aproximačné funkcie nelineárne, časovo premenlivé procesy procesy s neznámym matematickým opisom model regulátor predikčný člen mikročipy - kremíkové hradlá

3. Opis neurónu oui = f(xi) y vstup do neurónu Prah neurónu s hodnotou i Aktivačná funkcia neurónu f ,ktorej výstupom je xi Výstupná funkcia neurónu outi.

4. Aktivačné funkcie D D G G g •Lineárna funkcia •Skoková funkcia •Binárny sigmoid ••Bipolárny sigmoid 1, ini 0 f(ini)= 0, ini < 0 alebo -1, ini < 0

5. Modely neurónov Von Neumannov model McCulloch – Pittsov váhový model Rosenblattov model Adaptive Linear neuron •• xi>=P y=1 inak y=-1 <0;1> •F(q) = 1/(1+e-kq) ; <-1;1> F(q) = tanh(q);q=xiwi. •• asociatívna a reaktívna vrstva •• q=xiwi, y=sgn(q)), y=1,-1

6. Topológia neurónových sietí Dopredná a rekurentná neurónová sieť •••učiteľ(asociatívne pamäte) • bez učiteľa • pevné váhy (Hammingova a Hopfieldova sieť) • adaptívne učenie •• sekvenčné •• blokovo – sekvenčné •• asynchrónne • synchrónne

7. Opis reaktorov G(s) = Konštanty k1 = 50 h-1 k2 = 100 h-1 k3 = 100 h-1 CAF = 10 mol.l-1 V = 1 l CA0 = 3 mol.l-3 CB0 = 1,12 mol.l-3 F0/V = 34,3 y = CB

8. Opis reaktorov Perióda vzorkovania – 7s Vstup <0; 0.4> Dĺžka experimentu – 80s • Perceptron NNARX • Riadenie •• Perceptron – NNOE • NN s lineárnou vrstvou •• Radial bias Perióda vzorkovania – 0,05s Vstup <0; 0.5> Dĺžka experimentu – 1s

9. Perceptron - NNARX Trénovací & testovací

10. Perceptron, MPL f(x)=e-ini^2 •Senzorová vrstva •••Asociatívna vrstva •Výstupný neurón ••• Bez skrytej vrstvy •• MPL + skrytá vrstva

11. Perceptron - NNARX • dopredná neuónrová sieť ••• marquartdov algoritmus učenia •8x neurón so sigmoidálnou aktivačnou funkciou •1x neurón s lineárnou aktivačnou funkciou •••4 posledné vzorkyIN, OUT signálu sú použité v regresnom vektore

12. Režimy učenia • Gradientová metóda (jednoduchý perceptron) • Backpropagation (R) - gradientová optimalizačná metóda • Marquardtov algoritmus (RT) ••Levenberg – Marquardtov algoritmus (MR) - aproximácia Newtonovej optimalizačnej metódy Hebbovo pravidlo : wij(t+1)= ai(t) j(t) Delta pravidlo : wij(t+1)= (di(t) – ai(t)) j(t) • režim učenia a režim života •korektné a stabilné váhy za efektívny čas ••• trénovacie dáta = najširšia množina (učí sa) • ••• učenie s a bez učiteľa ( (ne)kontrolované )

13. Perceptron - NNARX priebeh chýb pri trénovaní NN • • 80 iterácií • pretrénovanie pomocou OBS ( Optimal Brain Surgeon • odmormovanie

14. Dáta pre perceptron – NNOE, RBF, Lind Trénovacie & testovacie dáta

15. Radial Bias Function • novšia verzia mnohovrstvového perceptronu • dopredná neurónová sieť s jednou skrytou vrstvou •• prenosová funkcia je typu radiálna bázová • výstup - uzly (euklidovská vzdialenosť) • Act RBF Gaussian – gaussovská funkcia.

16. Radial Bias Function SSE = 4.1599e-004.

17. Perceptron - NNOE • dopredná neuónová sieť ••• marquardov algoritmus učenia • 4x neurón so sigmoidálnou aktivačnou funkciou •1x neurón s lineárnou aktivačnou funkciou ••• 4 posledné vzorkyIN, OUT signálu sú použité v regresnom vektore

18. Perceptron - NNOE Riadenie vnútorným modelom • • 100 iterácií • odmormovanie • NSSE = 9.8073e-012

19. Lind • [W b] * [vstup; matica jednotiek] = výstup ••• nulová chyba

20. Perceptron – NNARX - Riadenie Bloková schéma učenia neurónovej siete Kritérium off line učenia • Inverzné riadenie nie je adaptívne UNS nemá inf o výstupe z procesu

21. Perceptron – NNARX - Riadenie • 2 neurónové siete •nie je vhodné pre systémy nestabilné v oro • Vnútorným modelom

22. Perceptron – NNARX - Riadenie Kritérium optimalizácie • NPC

23. Perceptron – NNARX - Riadenie ••• PID Využíva na neurónový model na predikciu výstupov

24. Perceptron – NNARX - Riadenie • Special 1 •• Special 2 • Special 3

25. Perceptron – NNARX - Riadenie ••• Rekurzívny back-propagation algoritmus • Rozdielne variácie rekurzívnych Gauss-Newtonových algoritmov pseudo - lineárna regresia • Special 1 •• Special 2 • Special 3 rekurzívna predikčná chyba

26. Perceptron – NNARX - Riadenie Zmeny konvergencie kroku: • Metóda konštantnej trasy (Constant trace) • • Algoritmus s exponenciálnym zabúdaním a resetom (angl. Exponential forgetting and Resetting Algorithm - EFRA) • Exponenciálne zabúdanie (angl. Exponential forgetting ff) •• Special 2 • Special 3

27. Perceptron – NNARX - Riadenie penalizácia kvadrátu kritéria riadenia Trénovanie pomocou modifikovaného Gauss-Newton-ovho algoritmu Zmena gradientu sa prejaví ako zmena váh • Optimálne

28. Perceptron – NNARX - Riadenie •Vnútorným modelom • Inverzné riadenie • NPC • APC ••• PID • Special 1 •• Special 2 • Special 3 - efra • Optimálne N1 = 1 (ako oneskorenie!) N2 = 5 ( >= nb ) Nu = 3 rho = 0.7 N1 = 1 (ako oneskorenie!) N2 = 5 ( >= nb ) Nu = 3 rho = 1 K=5 Td=1 alf=1 Wi=0.5 (1/Ti) Exponenciálny krok zabúdania trparms = [0.995 10]; ( ff [lambda p0] ) Exponeciálny krok zabúdania trparms = [0.995 0.001 0.98] efra [alfa beta delta lambda] Konštantný krok zabúdania ) trparms = [0.995 100 0.001] ct [lambda alpha_max alpha_min] 8x sigmoid, 1 linearny NN = [ 4 4 1]

29. Neurónové siete identifikácia, modelovanie a riadenie neurónovými sieťami