Inteligentní agenti

Inteligentní agenti

Agent • vnímá své okolí prostřednictvím senzorů • zasahuje do okolí prostřednictvím efektorů • člověk, robot, softwarový agent Racionální agent • agent, který dělá správné věci Správná akce • akce, která způsobí, že agent bude nejús-pěšnější

Agent senzory vjemy akce prostředí efektory

Problém: kdy a jak vyhodnocovat úspěch agenta Míra výkonu (performance measure) • objektivní kritéria pro měření úspěšnosti agenta • výkon za dlouhou dobu (směna, životnost) Racionalita versus vševědoucnost • očekávaný úspěch na základě vnímaného

Racionálnost akce • míra výkonu, která definuje stupeň úspěchu • všechny vjemy vnímané do daného okamžiku (posloupnost vjemů) • znalosti agenta o prostředí • akce, které agent může vykonat

Ideální racionální agent • pro každou možnou posloupnost vjemů ideální racionální agent na základě faktů získaných posloupnosti vjemů a veškerých zabudovaných znalostí vykoná akci, u které je možné očekávat, že maximalizuje míru jeho výkonnosti

Autonomie • systém je autonomní do té míry, jakou jeho vlastní zkušenost ovlivňuje jeho chování • jestliže se akce agenta zakládají pouze na zabudovaných znalostech, pak agent postrádá autonomii • opravdu autonomní inteligentní agent by měl být schopen úspěšně fungovat v rozmanitých prostředích, jestliže mu je poskytnut dosta-tečný čas na adaptaci

Struktura inteligentních agentů • program agenta: • funkce zobrazující vjemy na akce • architektura: • výpočetní prostředek (počítač, speciální HW) • agent = architektura + program

Zobrazení vjem  akce Zobrazení posloupnosti vjemů na akce • ke každé posloupnosti vjemů přiřadíme akci • výčet všech možností: ideální zobrazení • nemusí být explicitní (např. funkce)

rozdíl mezi ”skutečným” a ”umělým” prostředím není důležitý • důležitá je složitost vztahu mezi • chováním agenta • posloupností vjemů vytvořenou prostředím • cíli, kterých má agent dosáhnout

Příklad: • robot kontrolující součástky na běžícím pásu • softbot řídící let Boeingu 747 na simulátoru • softbot třídící informace z on-line zdrojů • prostředí Turingova testu

Programy agenta function Kostra-agenta (vjem) akce • paměť, agentova paměť obsahující svět • paměť Aktualizace_paměti (paměť, vjem) • akce  Výběr_nejlepší_akce (paměť) • paměť Aktualizace_paměti (paměť, akce) • return akce • vstupní údaj je jeden vjem • cíl nebo míra výkonu není součástí programu

Nejjednodušší program: tabulka function agent_řízený_tabulkou (vjem) akce • vjemy; posloupnost, na počátku prázdná • tabulka; tabulka, indexovaná podle posloup-ností vjemů, na počátku plně definovaná • přidej vjem na konec posloupnosti vjemů • akce  Vyhledej (vjemy, tabulka) • return akce

Nevýhody • tabulka pro jednoduchého agenta hrajícího šachy by obsahovala 35100 položek • programátorovi by trvalo dlouho sestavit takovou tabulku • agent nemá žádnou autonomii • i s mechanismem učení by trvalo dlouho naučit se správné hodnoty pro všechny položky tabulky

Příklad:automatizovaný řidič taxíku

Čtyři typy programu agenta • agent jednoduchého reflexu • agent zaznamenávající změny ve světě • agent řízený cílem • agent řízený užitečností

Agent jednoduchého reflexu • místo tabulky shrneme společně se vyskytující asociace vstup-výstup do pravidel • funguje správně, jestliže je možné správnou akci zvolit pouze na základě aktuálního vjemu

Reflex agent Senzory Prostředí Jaký je svět teď Pravidla podmínka-akce Jakou akci mám vykonat teď Efektory

Fungování agenta function agent_jednoduchého_reflexu (vjem) akce • pravidla, množina pravidel podmínka-akce • stav  interpretace_vstupu (vjem) • pravidlo  nalezení_pravidla (stav, pravidla) • akce  akce_pravidla (pravidlo) • return akce

Agent zaznamenávající změny světa • znalosti o tom, jak se mění svět nezávisle na agentovi • znalosti o tom, jak akce agenta ovlivňují svět

Reflex agent s interním stavem Senzory Stav Prostředí Jaký je svět teď Jak se svět vyvíjí Co dělají moje akce Pravidla podmínka-akce Jakou akci mám vykonat teď Efektory

Fungování agenta function agent_reflexu_se_stavem (vjem) akce • stav, popis aktuálního stavu světa • pravidla, množina pravidel podmínka-akce • stav  aktualizace_stavu (stav, vjem) • pravidlo napasování_pravidla (stav, pravidla) • akce  akce_pravidla (pravidlo) • stav  aktualizace_stavu (stav, akce) • return akce

Agent řízený cílem • poznatky o světě ne vždy postačují k rozhod-nutí co dělat • cíl popisuje situace, které jsou žádoucí • agent může kombinovat cíle s informací o důsledcích svých možných akcí při výběru akce vedoucí k cíli

Agent řízený cílem • rozhodování agenta řízeného cílem bere v úvahu budoucnost: • Co se stane, když udělám to a to? • Budu mít z toho radost? • agent řízený cílem je pružnější

Agent s cíli Senzory Stav Prostředí Jaký je svět teď Jak se svět vyvíjí Jaký by byl svět, jestliže vykonám akci A Co dělají moje akce Jakou akci mám vykonat teď Cíle Efektory

Agent řízený užitečností • cíle nepostačují k vytvoření chování vysoké kvality, ten samý cíl je možné dosáhnout různými způsoby Užitečnost • jestliže nějakému stavu světa dáme přednost před jiným, pak ten stav je užitečnější

Výhody funkce užitečnosti • cíle si navzájem odporují • několik cílů, žádný není dosažitelný s jistotou • každý racionální agent může být popsán jako agent řízený užitečností

Agent s užitečností Senzory Stav Prostředí Jaký je svět teď Jak se svět vyvíjí Jaký by byl svět, jestliže vykonám akci A Co dělají moje akce Jak šťastný bych byl v takovém světě Užitečnost Jakou akci mám vykonat teď Efektory

Prostředí - vlastnosti • dostupné vs. nedostupné • všechny aspekty důležité pro výběr akce jsou dostupné prostřednictvím senzorů • deterministické vs. nedeterministické • příští stav je plně určen současným stavem a akcemi agenta • epizodické vs. neepizodické • události následujících epizod nesouvisí se současnými událostmi

Prostředí - vlastnosti • statické vs. dynamické • prostředí se mění během agentova uvažování • diskrétní vs. spojité • počet jasně definovaných vjemů a akcí je konečný • nejobtížnější prostředí je nedostupné, neepi-zodické, dynamické a spojité

Prostředí – příklady

Inteligentní agenti