Optimalizácia chôdze robota AIBO na báze interaktívnych evolučných výpočtov

1. Optimalizácia chôdze robota AIBO na báze interaktívnychevolučných výpočtov Diplomová práca Juraj Eperješi

2. Obsah • Ciele • Prehľad metód pri riadení robotov • IEV • Návrh a implementácia systému • Experimenty • Záver 2/24

3. Ciele • Vytvoriť prehľad metód používaných pri riadení robotov a metód IEV na znižovanie záťaže používateľa • Na základe toho vytvoriť systém, ktorý umožní porovnanie vybraných metód IEV 3/24

4. Prehľad metód pri riadení robotov • Prvé návrhy robené ručne, evolúcia neskôr • Evolúcia váh NS, ktorá riadi pohyb, alebo evolúcia parametrov pre vopred navrhnutý model chôdze • Funkcia vhodnosti zvyčajne rýchlosť pohybu 4/24

5. Prehľad metód pri riadení robotov • Koevolúcia NS – jedna pre každý kĺb aj senzor • Vytvorenie metamodelu v počiatkoch evolúcie, ktorý potom následne umožňuje porovnať dvoch jedincov vstupujúcich do turnaja bez ich reálnej prezentácie – zníženie opotrebovávania robota a skrátenie času experimentov 5/24

6. Prehľad metód pri riadení robotov • Evolúcia v simulátore môže znamenať problém, preto bol navrhnutý aj systém, kde kompletný EA beží na robotovi, vyhodnotenie jedinca je tak možné len na základe hodnôt získaných zo senzorov • Na výsledky evolúcie majú veľký vplyv vlastnosti podložky (sklon, priľnavosť), ako aj napríklad sila kĺbov robota 6/24

7. Prehľad metód pri riadení robotov • Pre potreby ohodnocovania pohybu vo všetkých smeroch je možné pohyb nôh chápať ako pohyb kolies 7/24

8. Interaktívne evolučné výpočty • IEV vychádzajú z evolučných algoritmov • Používajú sa v prípade, že nie je možné definovať funkciu vhodnosti, alebo ak je nutné vyhodnocovať kandidátov na riešenie na základe preferencií používateľa 8/24

9. Problémy • Tieto metódy umožňujú spoluprácu človeka a stroja, čo vedie k únave na strane používateľa – hlavný problém • Iným problémom je kolísanie preferencií používateľa v priebehu evolúcie 9/24

10. Návrh systému • Chôdza – oscilačný pohyb kĺbov • Prvý návrh • Vzorkovanie pohybu • Vyhovujúca reprezentácia pri cca 20Hz • Veľké množstvo informácií – problém z pohľadu evolúcie • Okrem toho problematické určenie obmedzení 10/24

11. Návrh systému • Použitý návrh • Robot začína pohyb vždy z konkrétneho postoja • Čas kroku – spoločný pre všetky kĺby • Čas prechodu z počiatočnej polohy do prvého extrému • Hodnota prvého extrému • Čas prechodu z prvého extrému do druhého • Hodnota druhého extrému • Výsledná dĺžka jedinca – 12 kĺbov po 4 hodnoty – 48 génov 11/24

12. Porovnanie reprezentácií 12/24

13. AIBO • AIBO ERS-7 • 576 MHz 64-bitový procesor • 64 MB RAM • 3 stupne voľnosti na každej nohe • Komunikácia – wi-fi sieťová karta 13/24

14. Implementácia systému • Kód – kombinácia C++ a URBI • Systém testoval tieto metódy redukcie únavy • Binárne vyhodnocovanie pri turnaji • Aktívny zásah používateľa • Predikcia vhodnosti jedinca 14/24

15. Experimenty – Čisté IEV • Diskrétne ohodnocovanie – 1-5 • Prezentácia jedinca – cca 4 sekundy • Parametre evolúcie – rovnaké pre všetky nasledujúce experimenty • Populácia – 30 jedincov • Pravdepodobnosť kríženia – 0,7 • Pravdepodobnosť mutácie – 0,05 • Pravdepodobnosť mutácie génu – 0,1 15/24

16. Experimenty – Čisté IEV • Evolúcia trvala cca 45 minút • Prebehlo okolo 20 generácií • Pre bezpečnosť robota – podložka • Táto verzia slúžila na porovnanie s metódami znižovania záťaže 16/24

17. Experimenty – binárne ohodnocovanie • Interakcia pri výbere rodičov • Odprezentovali sa 2 kandidáti a používateľ lepšieho z nich vybral • Rýchlejšia konvergencia z pohľadu počtu generácií • Väčší počet prezentácií – výber 30 rodičov = 60 prezentácií 17/24

18. Experimenty – aktívny zásah používateľa • Evolúcia prebiehala osobitne pre pohyb každej nohy • Potom sa evolvoval fázový posun medzi jednotlivými nohami • Podstatné zmenšenie priestoru prehľadávania • Sledovanie pohybu len jednej nohy – okrem evolúcie fázových posunov • Dlhšia výdrž na batérie 18/24

19. Experimenty – predikcia vhodnosti jedinca • Parametre kohonenovej siete • Neurónov 3x3 • Učiaci parameter – 0,2 • Adaptačná výška – 1 • Polomer funkcie susednosti – 1 • Počet cyklov učenia – 30 • Na začiatku ohodnotení všetci jedinci • Vytvorenie zhlukov a ich ohodnotenie – priemer • Ďalej prezentovaných len niekoľko najlepších 19/24

20. Vyhodnotenie • Najvhodnejšia – priama interakcia • Menší priestor prehľadávania • Sledovanie jednoduchšieho pohybu • Dlhšia výdrž na batérie • Výhodou by bol simulátor - riziká 20/24

21. Video - počiatky 21/24

22. Video – dobre vyzerá 22/24

23. Video - chodí 23/24

24. Ďakujem za pozornosť

25. Reinforcement learning v IEV • Interakcia s jedným jedincom • Pridáva genetický materiál do populácie • Môžu prebiehať etapy, reinforcementu a evolúcie na striedačku

26. Iné možnosti reprezentácie • Spomínané vzorkovanie pohybu – príliš dlhý jedinec, problém pre evolúciu • V niektorých experimentoch boli používané iné popisy, definované množinou parametrov, ale prepočet ako sa parametre premietajú do pohybu nebol uvedený

27. Použitie IEV na riadenie chôdze • Keďže IEV zahŕňa preferencie používateľa, je možné takýto systém nasadiť do domáceho robota, ktorý potom v priebehu „života“ pomaly vytvorí v interakcii s majiteľom špecifický spôsob pohybu • Ak by bol nasadený na všetky kĺby, prípadne iné súčasti, dali by sa vytvoriť aj nejaké choreografie ap.