RBF siete

1. RBF siete Prednášky FEI KASR 2005 Stefan Kozák

2. Vstupná vrstva Nelineárna bázická funkcia Lineárna fcia výstupná vrstva . . . RBF architektúra

3. RBF siete a bázické funkcie • Formy výstupnej funkcie zo skrytej vrstvy • f definuje množinu bázických funkcií

4. Radial Basis Funkcie (RBF) • Štruktúra siete s RBF • Jedná skrytá vrstva • Aktivačná funkcia v skrytej vrstve je funkciou vzdialenosti medzi vstupným vektorom a vzorom Výstup Radialne báz. jednotky Vstupy

5. Porovnanie sietí RBF – MLP : Viacvrstvový perceptrón RBF sieť Výstup Nelineárna aktiv. funkcia Nelineárna báz. funkcia Vstupné údaje Vstupné údaje RBF - iba jedná skryta vrstva MLP - viacero skrytých vrstiev

6. Architektúra RBF siete Skrytá vrstva Vstupné údaje

7. MLP versus RBF • Klasifikácia • MLP oddeľuje triedy hyperovinou • RBF oddeľuje jednotlivé triedy hyperguľami • Učenie • MLP distribuované učenie • RBF lokalizované učenie • RBF rýchle trénovanie • Structure • MLP má jednú alebo viac vrstiev • RBF má len jednú vrstvu • RBF vyžaduje oveľa viac neurónov v skrytej vrstve MLP X2 X1 X2 RBF X1

8. Typické RBF používané v modelovaní a riadení • Hardy Multiquadratic • Inverse Multiquadratic • Gaussian

9. Gaussian Basis Function (s=0.5,1.0,1.5)

10. Nenatrénované vzorky Neznáma funkcia na aproximáciu y Trénovacie údaje x Aproximácia pomocou RBF

11. Netrénované vzorky y x Výstup z RBF siete y = w1*f(x) + w2*f(x) + w3*f(x) + b

12. Neural network RBF - príklad Problem – aproximačný pomocou RBF : - merania vstupov a výstupov - určenie centier a šírky RBF funkcií Príklad :Merané údaje (tri vstupy, dva výstupy (žiadané hodnoty). Určiť váhové parametre RBF siete ? vstupy výstupy

13. x1x2x3 yout Gaussian neurons

14. Neural network RBF riešenie Pokračovanie príkladu – updatovanie váh v sieti Výpočet výstupov zo siete W1, W2 W3, W4 … W19, W20

15. Neural network RBF riešenie Učenie RBF siete z nameraných údajov: Pokračovanie príkladu : Vstup Výstup Kritérium

16. Neural network RBF riešenie Učenie na základe meraných údajov Pred učením Po naučení

17. RBF skrytá vrstva zložená z funkcií, ktoré majú svoje centra • Funkcia RBF v skrytej vrstve je Gausova funkcia • Výstup zo skrytej vrstvy je • Výstupná vrstva je lineárna funkcia

18. Trénovanie RBF siete • Dve nezávislé etapy: • 1. vstupná vrstva • Výpočet centier RBF a centier zo I/O data. (E. g. K-means (EM algorithms) • Posuv údajov do 2. vrstvy • 2. výstupná vrstva: • Výpočet váhových koeficientov • Aplikácia metódy učenia. • Ako vypočítať váhy vo výstupnej vrstve ? • is a linear function (Least Mean Square (LMS)algorithm).

19. Nastavovanie váh v RBF sieti - zovšeobecnenie • Kriteriálna funkcia pre nastavovanie váh RBF sieť je trénovana tak aby udatovaním váh sa minimalizoval rozdiel medzi výstupom zo siete a nameranými (cieľovými hodnotami) na základe vstup. údajov • Zmena váh sa realizuje podľa vzťahu kde je koef. rýchlosti učenia. je gradient . pričom . Ak je lineárna, potom Updatovanie váhpodobne ako u MLP Tkp cieľové hodnoty Okp výstup z RBF

20. Summary of RBF Algoritmu • Step 1: Výpočet centierRBFa šíriekz I/O údajov. • Step 2: Výpočet výstupu z RBF (skrytá vrstva) • Step 3: updatovanie váh • kde • Step 4: Opakovanie krokov 2-3 pre každý „súbor“vstupnej množiny. • Step 5: Opakovanie krokov 2-4 podľa hodnoty krit. funkcie, podmienok ukončenia trénovania, alebo iných ukončovacích podmienok .

22. RBF siete modelovanie dynamických procesov na základe I/O údajov

23. Štruktúra siete

24. Proces