Porovnanie symbolického a subsymbolického prístupu emergencie stratégie hry

1. Porovnanie symbolického a subsymbolického prístupu emergencie stratégie hry Peter Lacko Ústav aplikovanej informatiky Fakulta informatiky a informačných technológií

2. Strojové hranie hier Problém hrania hier je pre nás zaujímavý hlavnez nasledovných dôvodov: • hra je štruktúrovaný dobre definovaný problém • pravidlá sú presne definované • dá sa jednoducho rozoznať úspech alebo neúspech • ľubovoľný stav hry má presnú reprezentáciu • hráč má všetky informácie o prostredí hry • hráčove informácie sú presné • dobre sa dá merať úspešnosťriešenia

3. Porovnanie prístupov umelej inteligencie • Dnešná umelá inteligencia ponúka dva rôzne prístupy riešenia problémov: • klasické prístupy v umelej inteligencii (symbolický) - tieto presadzujú symbolickú reprezentáciu vedomostí a ich sekvenčné spracovanie • moderné prístupy v umelej inteligencii (subsymbolický) - tieto sú založené vo veľkej miere na neurónových sieťach, vo väčšine prípadov používajú nesymbolickú reprezentáciu vedomostí a sú vhodne použiteľné v oblastiach rozpoznávania vzorov.

4. História hrania hier • Arthur L. Samuel • Pôsobil na MIT, IBM, DOD • IBM 704 (1954) • Prvý masovo produkovaný počítač s aritmetikou pohyblivej desatinnej čiarky • cca 4000 operácií za sekundu

5. História hrania hier • Učenie naspamäť • Zapamätávajú sa všetky pozície odohrané a ohodnotené počas hry • Učenie zovšeobecňovaním • Zlepšenie – skúsenosti zovšeobecniť a ukladať len zovšeobecnenia • Riešenie – program je schopný vyberať si sám termy ohodnocovacieho polynómu a meniť im ich koeficienty. (možných termov je 38, v polynóme ich je 16)

6. Algoritmus MiniMax • vygenerujú sa všetky stavy, ktoré môžu počas hry z aktuálneho stavu nastať • rozhodne sa, ktorý nasledovný stav je najlepší • listy vygenerovaného stromu sa ohodnotia bodovaciou funkciou • postupne sa ohodnotia stavy na vyšších úrovniach • najlepší nasledovný ťah je ten, ktorý maximalizuje hodnotu koreňa stromu • vykoná sa ťah, ktorý vedie k najlepšiemu nasledovnému stavu

7. Symbolický prístup • Veľkosti prehľadávacích stromov pre rôzne hry • Nieje možné vygenerovať celé stromy hier • Orezávanie do hĺbky s heuristickou funkciou • a-b orezávanie

8. Symbolický prístup • Výpočet časovej náročnosti vyriešenia hry šach

9. Hranie dámy - Chinook • Chinook zaviedol niečo úplne nové na poli počítačovej dámy – databázu koncoviek • táto dávala programu perfektné znalosti o všetkých pozíciách na šachovnici s osem a menej figúrkami vo forme víťazstvo/remíza/prehra • celá osem-figúrková databáza mala približne 6GB v komprimovanej forme a obsahovala 443 miliárd pozícií • v roku 1996 program Chinook skončil na prvom mieste amerického šampionátu • poradie najlepších hráčov sveta americkej federácie dámy bolo nasledovné: • Chinook 2816 • Ron King 2632 • Asa Long 2631z

10. Hranie šachu • víťazstvo počítačového systémy Deep Blue v turnaji proti svetovému šampiónovi Garry Kasparovi v roku 1997 • Deep Blue bol masívny paralelný systém navrhnutý na prehľadávanie stromov hry šach. Pri prehľadávaní do hĺbky bola rýchlosť približne od 100 do 330 miliónov ťahov za sekundu. • vyhodnocovacia funkcia bola implementovaná v hardvéri šachových čipov, čo zabezpečovalo vysoký výkon. Vyhodnocovala 8000 rôznych „vzorov“, ktorým priraďovala ohodnotenie • knižnica otvorení obsahovala približne 4000 pozícií. • databáza koncoviek obsahovala všetky možné hry s 5 a menej figúrkami na šachovnici.

11. v11 1 y1 x1 v1i v1I w1 yj wj r j 1 xi wJ vJ1 vJi yJ vJI J xI . . . . . . . . . . . . Subsymbolický prístup • tvorený novými prístupmi v umelej inteligencií ako neurónové siete a evolučné algoritmy. • neurónové siete • štrukturálna plasticita, ktorá znamená, že sa napríklad mení počet skrytých neurónov • parametrická plasticita, ktorá zodpovedá zmene váh spojov a prahových koeficientov skrytých a výstupných neurónov.

12. TD-Gammon • Učenie s trestom a odmenou • Vyžadoval len malé množstvo znalostí hry backgammon a dokázal sa naučiť túto hru extrémne dobre • Po odohraní 300000 hier, kedy TD-Gammon (so 40 skrytými neurónmi) hral sám proti sebe, bol schopný hrať asi na rovnakej úrovni ako ostatné programy • Vylepšený TD-Gammon, ktorý mal 160 skrytých neurónov a prehľadával strom hry 3 ťahy dopredu, dosahoval už majstrovské výsledky • Naučil sa hrať niektoré otvorenia inakšie ako boli dovtedajšie konvencie medzi najlepšími hráčmi. Po ďalších analýzach začali aj ľudský hráči hrať tieto otvorenia.

13. Evolučné princípy • Stochastická metóda optimalizácie • Základnou myšlienkou je napodobnenie biologických procesov evolúcie • Genetický algoritmus prebieha nad množinou jedincov, ktorí tvoria populáciu. Každý jedinec je ohodnotený jeho fitness • Kvázináhodným výberom sa vyberú dvaja rodičovskí jedinci. Výber zabezpečuje vyššiu pravdepodobnosť vstupu do reprodukcie jedincom s vyšším fitness. • Reprodukcia prebieha len s určitou pravdepodobnosťou. Ak jedinci neprechádzajú reprodukciou, vracajú sa nezmenení do populácie. Reprodukcia prebieha v dvoch krokoch – kríženie a mutácia. • Vrátenie nových potomkov do populácie.

14. Evolučné hranie dámy • Tento prístup bol založený na evolučne optimalizovaných neurónových sieťach. Neurónová sieť ohodnocovala hracie plochy. Toto ohodnotenie bolo potom spracované algoritmom MiniMax, ktorý bol zodpovedný za výber ťahu • Úprava váh prebiehala evolučne, teda populácia sietí hrala turnaje hier. Výsledok turnaja siete predstavoval jej fitness. Po odohraní turnajov sa jedinci s najväčším fitness reprodukovali. Počiatočná populácia mala váhové vektory neurónovej siete nastavené na náhodné hodnoty. • Vypočítali 100 generácií sietí, z tejto populácie vybrali najlepšiu sieť • Neurónová sieť dosiahla po 100 hrách ohodnotenie 1825 čo je dobrý výsledok, keďže počiatočné ohodnotenie siete bolo 1600. Sieť teda bola schopná poraziť živých hráčov, ktorí nevedeli, že hrajú so strojom.

15. Budúcnosť • Stále existujú hry, ktoré počítač nie je schopný riešiť lepšie ako človek • Príklad – GO • Stavový priestor 10360 • Počiatočné vetvenie 361 • Komplexné stratégie • Rozpoznávanie vzorov

16. Zhrnutie • v niektorých hrách sa dosiahli vynikajúce výsledky • stále existujú problémy, ktoré nieje počítač schopný riešiť lepšie ako človek • každý z prístupov, keď je použitý správne, je schopný hrať hru na majstrovskej úrovni • pri symbolickej umelej inteligencii sa pokúšame vytvoriť algoritmy, ktoré by priamo používali znalosti, ktoré máme o danej hre • pri subsymbolickom prístupe si tieto znalosti vytvára algoritmus akoby sám • stále sa zvyšujúci výkon počítačov a kapacity ich pamätí zlepšuje výsledky klasických algoritmov a umožňuje skúšanie nových prístupov

17. Ďakujem za Vašu pozornosť