Introdução aos Agentes Autónomos (UD2) Teorias de Agentes e Agentes Deliberativos IST- 2003/2004

1. Introdução aos Agentes Autónomos(UD2) Teorias de Agentes e Agentes DeliberativosIST- 2003/2004

2. Definições • "An agent is a computational system that inhabits a complex, dynamic environment. An agent can sense, and act on, its environment, and has a set of goals or motivations that it tries to achieve through these actions" (P. Maes, 1994). • "An agent is a software based computer system that enjoys the properties of: autonomy, social-ability, reactivity and pro-activeness" (Wooldridge e Jennings, 1995).

3. Os agentes e o ambiente: como abordar o estudo de agentes • “um agente como uma entidade sistémica que observa e interpreta o ambiente que o cerca através de sensores e que intervém sobre o ambiente através de actuadores (Russell e Norvig, 1994)”.

4. Tipos de Agentes • Agentes Reactivos • Agentes Declarativos (intencionais) • Agentes Híbridos • Agentes emocionais

5. Uma Arquitectura Abstracta de Agentes • Assume-se que o ambiente pode ser descrito como um conjunto finito discreto de estados instantâneos. E = { e, e´, ….} • Considere-se que os agentes têm um reportório de acções possíveis que lhes permite transformar o estado do ambiente. Ac = { a, a´, ….} • Considere-se run (r) de um agente num dado ambiente é uma sequência de alternadamente estados e acções, da seguinte forma: r: a0 a2 au-1 a1 e1 e0 e2 eu e3 …..

6. Uma Arquitectura Abstracta de Agentes (2) Seja • R o conjunto de todas as sequências possíveis (em E e r) • RAc o subconjunto destas que terminam numa acção • RE o subconjunto destas que terminam num estado do ambiente

7. Função de Transformação de Estado Uma função de transformação de estado representa o comportamento do ambiente, e é: • T : RAc -> p (RE) Ou seja: a função de transformador de estado faz o mapeamento do run (que termina numa acção do agente) num conjunto possível de estados do ambiente – na realidade os que resultam da execução da acção. os ambientes são: - dependentes do historial - não determinísticos

8. Função de Transformação de Estado • Se T (r) = Ø, então não há sucessores possíveis para r, pelo que o sistema termina. • Diz-se que um AMBIENTE é o triplo Env = <E, e0, T > • Em que E é o conjunto dos estados do ambiente • e0 pertence a E e é o estado inicial do ambiente • e T é a função de transformação.

9. Agentes • Um agente, tendo em conta esta nomenclatura é a função que mapeia runs em acções: Ag :RE-> Ac Ou seja, um agente toma a decisão acerca da acção a executar baseando-se na história do sistema que ele presenciou até ao momento.

10. Sistemas de Agentes • Um SISTEMA é um par contendo um Agente e um Ambiente • Qualquer sistema terá associado um conjunto possível de runs… • Um sistema multi-agente contém um ambiente e diversos agentes.

11. Agentes puramente reactivos • Alguns tipos de agentes decidem o que fazer sem qualquer referência ao seu historial. As suas decisões são situadas no ambiente e dependem simplesmente do presente. • São chamados agentes “puramente reactivos” • Do ponto de vista formal um agente puramente reactivo pode ser visto como uma função: Ag :E-> Ac (ou seja em vez de RE o agente decide simplesmente baseando-se em E).

12. Percepção/Acção Action : Per* -> Ac see : E -> Per See Action Agente Ambiente

13. Agente Reactivo Simples function Agente_Jardineiro(percepção) returns acção static regras % as regras de condição acção estado <- INTERPRET-INPUT(percepção) regra <- RULE-MATCH(estado,regras) acção <- RULE-ACTION(regra) return acção Agente jardineiro reactivo simples (veja-se (Russell e Norvig, 1994) Regra que relaciona as percepções com as acções: Se flor-murchar ENTAO regar

14. Agente Reactivo Com Estado function Agente_Jardineiro(percepção) returns acção static regras % as regras de condição acção estado-mundo % estado do mundo estado-mundo <- UPDATE-STATE(estado-mundo,percepção) regra <- RULE-MATCH(estado-mundo,regras) acção <- RULE-ACTION(regra) estado-mundo <- UPDATE-STATE(estado-mundo,acção) return acção Agente jardineiro reactivo com representação do estado (veja-se (Russell e Norvig, 1994) Que alterações temos de introduzir no modelo?

15. Percepção/Acção Action : Per* -> Ac see : E -> Per See Action State Next Ambiente

16. Agente Com Objectivos function Agente_Jardineiro(percepção) returns acção static regras % as regras de condição acção estado-mundo % estado do mundo objectivos % objectivos estado-mundo <- UPDATE-STATE(estado-mundo,percepção) regra <- RULE-MATCH(estado-mundo,regras,objectivos) acção <- RULE-ACTION(regra, objectivos) estado-mundo <- UPDATE-STATE(estado-mundo, acção) objectivos <- UPDATE-GOALS(objectivos, estado-mundo, acção) return acção Agente jardineiro com objectivos (veja-se (Russell e Norvig, 1994) Que alterações temos de introduzir no modelo? Necessitamos modelos bastante mais sofisticados!

17. Construção de Agentes:Teorias de Agentes • Teorias de Agentes: representam “as especificações dos agentes, nomeadamente as suas propriedades” • Perguntas que se vai tentar responder: • Como conceptualizar um agente no seu ambiente? • Que propriedades possui esse agente? • Como é que representamos formalmente estas propriedades? • Que raciocínio e inferências são possíveis executar tendo em conta essas propriedades?

18. Teorias de Agentes • As teorias dos agentes são especificações formais, e visam responder a perguntas centrais, tais como: Como vamos conceptualizar os agentes, através do recurso à teoria da Decisão, da Filosofia, ou ainda da Ciência da Computação?

19. Primeiro ponto de partida... • Um possível ponto de partida, é a noção de agente como entidade sujeita a crenças e a desejos (Dennett, 1987). Mais tarde, (Dennett, 1987) ao observar as descrições da actividade humana, através de frases, como a seguinte: O Luis trabalhou muito porque queria obter um "canudo". designou essas atitudes, como queria, de “sistemas intencionais”, caracterizando assim as entidades cujo comportamento pode ser previsto pelo método de atribuição de crenças, e de desejos.

20. Graus de intencionalidade Dennett identifica diferentes graus de sistemas intencionais: • Sistemas intencionais de primeira ordem, é um sistema que tem crenças e desejos mas não crenças e desejos acerca de crenças e desejos. • Sistemas intencionais de segunda ordem são mais sofisticados na medida que `têm crenças e desejos acerca de crenças e desejos… A questão no entanto mantém-se: • - É legítimo atribuir crenças e desejos a sistemas computacionais?

21. Legitimidade de uma aproximação intencional… McCarthy defendeu, em 1979, que por um lado é legítimo atribuir atitudes mentais às máquinas (agentes artificiais), tais com crenças, livre arbítrio, intenções, consciência, capacidades ou quereres, quando tal atribuição expressar a mesma informação sobre a máquina do que sobre uma pessoa, e numa certa situação.

22. Legitimidade de uma aproximação intencional…(2) • Que objectos podem ser descritos como sistemas intencionais? • …. Segundo vários investigadores…. Quase tudo! • “It is perfectly coherent to treat a light switch as a (very cooperative!) agent with the capability of transmitting current at will, who invariably transmits current when it believes that we want it transmitted and not otherwise; flicking the switch is simply a way of communicating our desires (Shoham)” Absurdo?

23. Legitimidade de uma aproximação intencional…(3) • A descrição de um programa como sistema intencional é consistente, mas… … it doesn’t buy us anything, since we essentialy understand the mechanism sufficiently to have a simpler, mechanistic description of its behaviour (Shoham). • Quanto mais sabemos do sistema menos temos que lhe atribuir qualidades como crenças ou desejos. • Os SISTEMAS INTENCIONAIS aparecem então como metáforas para explicar comportamentos complexos.

24. Teorias de Agentes: Intencionalidade • Além disso, podem tornar-se também uma “ferramenta de abstracção” para a construção de sistemas complexos. De qualquer modo as noções intencionais não são mais do que “ferramentas abstractas” que permitem de forma conveniente descrever, explicar e prever o comportamento dos sistemas multi-agentes complexos.

25. Sistemas Intencionais surgem assim como Ferramenta de Abstracção para a construção de sistemas complexos…. Caracterização de sistemas <Uso na representação interna e na representação de outros sistemas>

26. Daí surgem os…Agentes Deliberativos

27. Categorias de Atitudes de Agentes Que categorias são então as mais apropriadas para representar os agentes? Não existe um consenso quanto à lista dessas categorias, mas (Wooldridge e Jennings, 1995) adoptaram a proposta de (Searle, 1984) que distingue dois tipos de categorias: 1) atitudes informativas: crença e conhecimento, relacionadas com a informação que um agente tem sobre o mundo que ocupa, 2) pró-atitudes: desejo, intenção, expectativa, obrigação, empenhamento, e escolha, as quais servem para guiar as acções do agente, determinando o seu comportamento. Dada uma tão grande diversidade de atitudes possíveis, qual é então a combinação de atitudes que se torna mais conveniente para caracterizar um agente?

28. Que Atitudes Mentais? • Davidson (1980) argumentou: • que as crenças e as intenções são os estados básicos e que todos os outros se podem reduzir a estes. • Bratman (1987 e 1990) defendeu que: • as intenções não podem ser reduzidas aos desejos e às crenças. Sendo agentes entidades com recursos limitados não podem avaliar continuadamente os seus desejos e as suas crenças de molde a actuarem racionalmente. Após algum raciocínio, os agentes devem empenhar-se em algumas acções e manter um tal empenhamento.

29. Papel das Intenções Bratman defendeu três papeis funcionais das intenções: 1) as intenções colocam problemas ao agente que precisa de achar formas de os resolver; 2) as intenções devem ser auto-consistentes (o agente não pode adoptar uma intenção que entre em conflito com as intenções anteriores); e, 3) o agente deve descobrir o êxito das suas intenções epersistir em caso de falhanço.

30. Agentes Deliberativos:Teorias BDI • A teoria mais conhecida é designada de BDI e resultam do reconhecimento de que os agentes racionais são formalizados através de “crenças”, “desejos” e “intenções”. • O que faz o modelo BDI tão atractivo? • É baseado em teorias de racionalidade reconhecidas (Dennett, Searle) • Foram implementados com sucesso em diversas aplicações • Foi formalizada através de uma família de lógicas BDI

31. Crenças e Desejos • Crenças: (conhecimento do agente). Expressão do estado do mundo visto pelo agente. Além disso as crenças podem dar a visão de como o agente considerar que o mundo se vai alterar se executar determinadas acções (conhecimento de como agir). • Desejos: a noção abstracta que especifica as preferências do agente sobre os estados futuros do mundo.

32. Como formalizar? • Hipótese de formalização • bel (jardineiro, ladra(cao,jardim)) Esta formalização não funciona: • Problema sintático (o segundo argumento é um predicado) logo bel não é uma forma em lógica de primeira ordem. • Problema semântico- se as constantes “cao” e “tobi” são as mesmas deveria ser possível inferir: • bel (jardineiro, ladra(tobi,jardim))

33. Formalização através de uma lógica modal • Partindo da lógica modal e identificando os quatro axiomas fundamentais (conjunto TD45): T (o da relação de acessibilidade reflexiva), D (relação de acessibilidade serial), 4 (relação de acessibilidade transitiva) e 5 (relação de acessibilidade euclidiana): • T: ‚ f => f D: ‚ f => ◊ f • 4: ‚ f => ‚ ‚ f 5: ◊  => ‚ ◊ f Como é que podemos usar para formalizar os conceitos de crença e de intenção que queremos no nosso modelo dos agentes?

34. Conhecimento • Substituindo ‚ por Ki (o agente i sabe ) e ◊ por Bi (o agente i acredita). Estes operadores são duais e ◊ f‚f • O axioma D (Ki f => Bi f) diz que as crenças de um agente são não contraditórias. • Pode ser re-escrito como: Ki f =>  Ki f, com a seguinte leitura: se i conhece f, então i não conhece f. Este axioma parece ser uma propriedade razoável do conhecimento/crença.

35. Relação entre atitudes mentais CRENÇAS  DESEJOS  INTENÇÕES (caminhos (caminhos (melhores possíveis) desejáveis) caminhos)

36. Em termos práticos… • As crenças são representadas explicitamente e representam o conhecimento do agente sobre o mundo. • A representação sobre a forma a atingir um estado futuro do ambiente pode ser feita á custa de planos. • Cada intenção que o sistema forma pela adopção de um dado plano corresponde a uma “intenção” e pode ser usado um sistema convencional de pilhas de planos hierarquicamente relacionados. Podem existir várias pilhas de planos, cada uma correndo em paralelo.

37. Arquitecturas Deliberativas

38. O que são arquitecturas de agentes? • Representam as estruturas computacionais e as funcionalidades associadas a um sistema que irá representar um agente.

39. Trabalho de Rao e Georgeff • Foi proposta uma forma de ultrapassar os problemas associados com as teorias de agentes (e associadas com as suas formalizações) tendo estabelecido uma ligação entre teorias e arquitecturas. • Solução: simplificação….(que implica uma redução do poder expressivo do framework BDI)

40. PRS (Procedural Reasoning System) • PRS é um sistema para raciocínio sobre a execução de tarefas em ambientes dinâmicos. • As atitudes mentais dos agentes são: crenças, desejos e intenções, todos representados explicitamente. Monitor KA library (Plans) Database (beliefs) Sensors Interpreter (Reasoner) Environment Intention structure Goals (desires) Effectors Command generator

41. PRS: A estrutura de intenções • A estrutura de intenções do PRS contém as tarefas que o agente se COMPROMETEU a executar (imediatamente ou num futuro próximo). • As intenções podem ter três estados possíveis: • “activas” • “suspensas”: quando uma intenção foi adoptada mas ainda não foi tomada a decisão da sua execução (será mais tarde no plano) • “condicionalmente suspensas”: quando espera que certa condição seja verificada.

42. OASIS: Aplicação da PRS • PRS foi usada num sistema de controlo de tráfego aéreo denominado OASIS (com financiamento da NASA) • O sistema tem os seguintes tipos de agentes: • Um agente de aviação para cada avião • Um sequenciador • Um modelador de vento • Um coordenador • Um verificador da trajectória • A cada instante o sistema tem cerca de setenta a oitenta agentes a correr em paralelo • Os agentes de aviação são os responsáveis pelo voo de cada avião. • A incerteza do ambiente surge da utilização de agente do ambiente como o modelador do vento.

43. OASIS: Aplicação da PRS • Cada agente de aviação tem como opções possíveis voar a uma velocidade mínima ou máxima bem como alterar a altitude. • Os agentes sequenciador e coordenador têm uma perspectiva mais global (por exemplo, o agente sequenciador tem como objectivo aterrar todos os agentes de aviação de forma segura).

44. Finalmente: o Interpretador BDI Algorithm Practical Reasoning Agent Control Loop B <- Bo; /* Bo are initial beliefs */ I <- Io; /* Io are the initial intentions */ while true do get next percept pp through see() function; B <- brf(N,pp); D <- options(B,I); I <- filter(B,D,I); P <- plan (B,I,Ac); while not (empty(P) or suceeded(I,B) or impossible(I,B)) do alpha <- head(P); execute(alpha); P <- tail(P); get next percept pp through see() function; B <- brf(B,pp) if reconsider (I,B) then D <- options(B,I); I <- filter(B,D,I); end-if if not sound(P,I,B) then P <- plan (B,I,Ac) end-if end-while end-while

45. Descrição • brf: belief revision function (permite o update das crenças do agente tendo em conta nova informação sobre o mundo) • plan: função que, baseado nas crenças dos agentes na sua estrutura de intenções e na descrição das acções dos agente, determina um plano para atingir as intenções. • options: função que toma as crenças do agente e as suas intenções e determina os proximos desejos • filter: para seleccionar opcões (desejos) do agente, há que filtrar (excolher) as melhores opções às quais o agente se comprometerá. Basicamente toma um conjunto de crenças, de desejos e se intenções e determina o proximo conjunto de intenções.

46. “Commitments” • O mecanismo que é usado pelo agente para determinar quando e como desistir de intenções é conhecido como “a estratégia de compromisso” Tipos de compromisso: • Compromisso cego: o agente tenta atingir as suas intenções até acreditar que as intenções foram atingidas; • Compromisso “single-minded”: o agente tenta atingir as suas intenções até acreditar que as intenções foram atingidas ou que não é mais possível atingir a intenção; • Compromisso “open minded”: o agente tenta atingir as suas intenções enquanto acreditar que são possíveis.

47. Como criar agentes que seguem uma BDI

48. JAM

49. JAM (2)

50. JAM- Ciclo do Interpretador else { selectedElement = last_apl.getHighestRandomUtility(); intentionStructure.intend(selectedElement); intentionStructure.run(); last_apl = null; break; } } else { last_apl = apl; metaLevel++; } } // Inner, metalevel loop // Clear the World Model of APL elements. getWorldModel().retract("APL"); } // Outer infinite loop } public int run() { // loop forever until agent completes all of its goals while (true) { // outer, infinite loop // execute the Observer procedure returnValue = intentionStructure.executePlan(observer); metaLevel = 0; while (true) { // metalevel loop // generate an Applicable Plan List (APL) if necessary apl = new APL(planLibrary, worldModel, intentionStructure, metaLevel); // If the new or previous APL is not empty then add // entry to the World Model to trigger the next level of // reasoning. if (apl.getSize() != 0) worldModel().assert("APL", metalevel, apl, aplSize); // If this APL is empty then no new level of reasoning if (apl.getSize() == 0) { if ((intentionStructure.allGoalsDone())) return 0; // If the previous APL was empty then execute // something in the intention structure, otherwise // select something from the previous APL, intend it, // and then run something in the intention structure. if (last_apl == null || last_apl.getSize() == 0) { intentionStructure.run(); break;}