Metódy adaptívneho kritika

1. Metódy adaptívneho kritika Ján Kašprišin

2. Osnova prezentácie • Základné pojmy • Heuristické dynamické programovanie (HDP) • Duálne heuristické programovanie (DHP) • Aplikácia: Realizácia Kalmanovho estimátora stavu použitím DHP. • Zhodnotenie vhodnosti použitia metódy na riešenie daného problému

3. Základné pojmy • ACD • optimalizačné metódy • zahŕňajú v sebe výhody RL a dynamického programovania • Základné moduly v ACD • Action • Critic • Model

4. Základné pojmy • Typy ACD • Heuristické dynamické programovanie (HDP) • Duálne heuristické programovanie (DHP) • Globalizované duálne heuristické programovanie (GDHP) • Action-dependent design (Q-learning)

5. Heuristické dynamické programovanie • je založené na myšlienke aproximácie riešenia Bellmanovej rovnice • ktorú je možné nahradiť približným vzťahom • kde U je kvadratickým kritériom • funkcia užitočnosti J v zmysle riadenia odpovedá Ljapunovovej funkcii

6. Heuristické dynamické programovanie • zavedieme si nasledujúce označenie • z Pontryaginovho principu minima vyplíva, že u(k) musí byť také, že platí • na základe čoho je možné odvodiť chybu siete Action

7. Chyba siete Critic je na základe Bellmanovej rovnice určená ako Základná schéma HDP Heuristické dynamické programovanie

8. Duálne heuristické programovanie • je založené na diferenciácii Bellmanovej rovnice • chyba siete Action sa získava rovnakým spôsobom ako u (HDP), rozdiel je v získavaní chyby pre sieť Critic • výstupom siete Critic nie je odhad funkcie J, ale priamo jej derivácia • diferenciáciou Bellmanovej rovnice je možné získať žiadanú hodnotu výstupu siete Critic

9. Duálne heuristické programovanie

10. Realizácia KE použitím DHP • Popis systému • Rovnice Kalmanovho estimátora • Popis duálneho systému

11. Realizácia KE použitím DHP

12. Zhodnotenie výsledkov • Závislosť koeficientov matice K (získaných pomocou DHP) na čase

13. Ďakujem za pozornosť ;o)