Problemas a resolver

1. Agentes Inteligentes e Sistemas Multi-agente(UD7 e UD10) Interacção, Negociação e Cooperação entre Agentes

2. Problemas a resolver Problema dos comportamentos sociais e individuais • Como especificar os comportamentos sociais dos agentes? • Como é que os comportamentos dos outros e da sociedade influenciam o comportamento individual? Problema da estrutura da organização • Como organizar uma sociedade de agentes para que no global, esta execute a tarefa desejada? • Qual o tipo de estrutura mais adequada para a tarefa em causa?  • Como definir os aspectos do comportamento individual para que sejam integrados na sociedade levando a um comportamento global desejado? •  Que tipos de mecanismos há que levem ao surgimento e desaparecimento de sociedades? 

3. Problemas a resolver • Problema da comunicação entre agentes • Que tipo de comunicação entre agentes é a mais adequada à estrutura escolhida?  • Que linguagens de comunicação existem e podem ser usadas para a comunicação entre agentes numa sociedade de agentes?  • Que conceitos (ontologias) são necessários ser partilhados para que os elementos da sociedade consigam interpretar as mensagens recebidas?  • Cooperação, colaboração e negociação • Que mecanismos de cooperação são necessários para que os agentes executem cooperativamente uma dada tarefa?  • Que estruturas de organização são as mais adequadas para determinados tipos de cooperação?  • Que linguagens existem que podem ser usadas para permitir a cooperação e negociação entre agentes numa sociedade? 

4. Sistema multi-agente

5. Depêndencia dos Agentes Aspecto importante, existe se: Um dos agentes requer o outro para atingir os seus objectivos Relações de dependência: • Independência- não há dependência • Unilateral- um agente depende de outro mas não viceversa • Mútua- ambos os agentes dependêm um do outro em relação ao mesmo objectivo • Dependência reciproca- um agente depende do outro para atingir um dado objectivo, e o segundo depende do primeiro para atingir um outro objectivo. Relações acreditadas: localmente e mutuamente

6. Chegar a acordo: leilões, negociação, argumentação Agentes necessitam de interagir com outros com quem não partilham objectivos comuns; Normalmente é possível chegar-se a um acordo com benefício mútuo nos assuntos de interesse comum: Chegar a acordo é essencial! • Negociação • Argumentação

7. Como chegar a um “acordo” Constituintes para o cenário: • Protocolos de negociação - regras que governam as interacções (encontro) entre agentes • Design mechanism • Estratégia dos agentes - estratégia de modo a actuar segundo o protocolo, tendo em vista atingir os objectivos propostos e maximizar o seu bem estar individual.

8. Protocolos para negociação Propriedades de protocolos de negociação: Sucesso garantido- o protocolo garante que há sucesso na negociação. Maximização do bem social- o protocolo maximiza o bem social garantindo que o resultado maximiza a soma das utilidades dos participantes na negociação. Pareto efficiency- O resultado da negociação é Pareto efficient se não há outro resultado possível que coloque pelo menos um agente em melhor situação sem que coloque outro agente em pior situação. Individual Rationality – um protocolo é fundamentado em racionalidade individual se garantir os interesses dos participantes na negociação .

9. Protocolos para negociação (cont) Propriedades de protocolos de negociação: Estabilidade- um protocolo diz-se estável se der aos agentes um incentivo para agirem de determinada forma atingindo uma estabilidade na cooperação (por exemplo atingir o Equilibrio de Nash). Simplicidade- um protocolo diz-se simples se tornar a estratégia apropriada de negociação óbvia – ao usá-lo o agente descobre facilmente (tratabilidade) a estratégia óptima. Distribuição- um protocolo diz-se distribuído se assegura que não existe um ponto de falha (por exemplo, um só árbitro) minimizando a comunicação entre agentes.

10. Leilões Uma forma de resolver problemas de alocação de tarefas e de venda de serviços é através de leilões. Um leilão ocorre entre um leiloeiro e um conjunto de agentes que fazem ofertas (bidders). O objectivo do leilão é o leiloeiro alocar o bem ou serviço a um dos bidders por um determinado valor. Aspectos dos leilões: • Existe um “bem ou serviço” a leiloar. • Se esse bem ou serviço tem um valor conhecido diz-se que esse é o valor publico (comum) • Cada agente pode atribuir ao bem ou serviço um valor privado. • Por vezes os valores têm também um valor correlacionado que envolve o valor privado mais aspectos de sociedade como a possibilidade de vender o valor futuramente.

11. Leilões (2) Variáveis que determinam o carácter dos leilões: 1) Determinação do vencedor: ou quem ganha o bem ou serviço. • first-price: o agente que fez a oferta mais alta ganha o bem ou serviço. • second-price: o agente que fez a oferta mais alta ganha o bem ou serviço mas paga o valor da segundfa oferta. 2) Ofertas conhecidas ou não pelos outros agentes • Open cry: as apostas/ofertas são conhecidas por todos (common knowledge) • Sealed-bid : as ofertas são seladas 3) Procedimento de oferta : • one-shot: só existe uma sessão de oferta. • ascending: o valor começa baixo (reservation price) e vai subindo com as ofertas até não haver mais nenhuma oferta • descending: o valor começa alto e vai descendo.

12. Tipos de Leilões (3) 1) Leilão Inglês First-price, open-cry,ascending. 2) Leilão Holandês Open-cry, descending. 3) Leilões First-price sealed-bid First-price, sealed-bid, one-shot. 4) Lelões Vickrey Second-price, sealed-bid, one-shot.

13. Leilão InglêsFirst-price, open-cry,ascending. Starting value: 80.000€

14. Leilão Holandês Open-cry, descending. Starting value: 280.000€

15. Leilões First-price sealed-bid First-price, sealed-bid, one-shot

16. Lelões Vickrey Second-price, sealed-bid, one-shot

17. Tipos de Leilões (4) 1) Leilão Inglês First-price, open-cry,ascending. Estratégia: fazer licitações sucessivas com pequenos incrementos até atingir o nosso valor e desistir depois. Se houver incerteza no valor do bem pode ser perigoso oferecer mais do que os restantes agentes (winner’s curse) 2) Leilão Holandês Open-cry, descending. Estratégia: Não há estratégia dominante. É susceptível à winner’s curse

18. Tipos de Leilões (5) 3) Leilões First-price sealed-bid First-price, sealed-bid, one-shot. Estratégia: licitar um pouco abaixo do seu valor para o agente (pensar no valor da 2º mais alta licitação). Não há solução geral para o “pouco abaixo”. 4) Lelões Vickrey Second-price, sealed-bid, one-shot. Estratégia: faz com que a estratégia dominante seja licitar o valor próprio do agente Não é usado em leilões com humanos – interessante para a área de Agentes É susceptível a comportamento anti-social

19. Tipos de Leilões (6) Do ponto de vista do leiloeiro: maximizar o proveito – depende muito dos agentes Nenhum dos tipos de leilões está imune a “concertação” entre os agentes licitadores – coligação de agentes que acordam entre si um preço abaixo do valor real do bem – dividir os lucros entre si. - Só se evita através de um protocolo que assegure que os agentes licitadores não se conhecem

20. Exemplos de Aplicação: Auction Bots Auction Bots: Agentes que se movimentam de site em site e participam em leilões de bens online. Exemplos conhecidos: Kasbah Spanish Fish Market

21. Exemplo 1: Kasbah (Chavez & Maes) Sistema para a Web no qual os utilizadores podem criar agentes que compram e vendem bens em seu nome. • O utilizador que vende pode especificar 3 parâmetros: • Data desejada para venda do bem • Preço desejado para a venda • Mínimo preço para a venda. • Os agentes vendedores começam por oferecer um bem a um preço desejado e com o aproximar do deadline de venda o preço começa a ser reduzido até ao preço mínimo. • Os utilizadores podem especificar a função de decay do preço (linear, quadrática ou cúbica) • O utilizador confirma sempre a venda tendo direito a veto.

22. Exemplo 1: Kasbah (Chavez & Maes) • Os agentes compradores • Também têm um conjunto de parâmetros associados: • A data de compra do artigo • O preço desejado • E o preço máximo • O utilizador pode especificar a função de crescimento do preço. Os agentes em Kasbah operam sob um modelo de mercado, com um gestor que pode gerir um conjunto de leilões em paralelo.

23. Negociação Como é que um grupo de agentes chega a acordo em assuntos de interesse mútuo? Constituintes: • Conjunto de negociação – define o espaço das propostas possíveis que os agentes podem fazer • Protocolos de negociação – define as regras que governam as interacções entre agentes – as propostas legais que os agentes podem fazer • Estratégias – cada agente tem a sua estratégia e ela determina quais as propostas que o agente irá fazer. Normalmente as estratégias são privadas • Regra de acordo final- regra que determina que se chegou a acordo final e qual o acordo encontrado

24. Negociação Em geral: • Série de voltas • Todos os agentes fazem propostas em todas as voltas: • Cada proposta: • Depende e é definida pela estratégia dos agentes, •  conjunto de negociação • legal (tal como definido pelo protocolo) • Se se chegou a acordo (pela regra) termina

25. Negociação • Várias pontos de variabilidade + • Um atributo vs vários: • Preço / (Preço, extras, garantia, etc.) • Crescimento exponencial do espaço do conjunto de negociação – impossível explicitar todo o conjunto para determinar a proposta a efectuar • Por vezes difícil determinar os atributos em negociação • Número de agentes • Um-a-um – venda de um carro • Muitos-a-um – leilões • Muitos-com-Muitos – n*(n-1)/2 threads

26. Negociação • A maior parte das propostas são para: • Um atributo, simétricas, um-a-um • Negociação: • Domínios orientados para as tarefas – discute atribuição de tarefas • Domínios orientados para o valor – discute definição de planos conjuntos • Há outros tipos de abordagens: • Distribuída (competitiva) – ganhar-perder • Integrativa (cooperativa) – ganhar-ganhar • Mista

27. Domínio Orientado a Tarefas Tarefa: 3 estudantes querem vir para o Tagus todos os dias da linha de Sintra (um tem um familiar que o traz e dois têm carro). Dois vêm de Sintra e um vêm do Cacém. Levar um estudante num troço de trajecto – tarefa indivísivel Os agentes podem negociar e podem melhorar a sua situação: • chegar a um acordo - por exemplo, os de Sintra irem só até ao Cacém. • partilhados – melhora a situação actual • Não se entendem – não piora a situação actual- vêm todos por si só. • Diferentes soluções. Por exemplo: cada dia leva um. Os de Sintra levam até ao Cacém...O do Cacém leva até ao Tagus somente 2 dias. .... • COMO CHEGAR A UM ACORDO??????

28. Domínio Orientado a Tarefas TOD=<T,Ag,c> • T- conjunto finito de todas as tarefas possíveis • Ag-conjunto finito de agentes que participa na negociação; • c- função que define custo de executar um subconjunto de tarefas. Domínio TiC T. Contradomínio R+ • Restrições c: • Monótona: T1 CT2, c(T1 ) < c(T2) • Custo de não fazer nada é 0 • “Encontro” = Coleção de tarefas, onde: Atribuição Ti aos Agi <T1,T2,… , Tn>

29. Domínio Orientado a Tarefas Cenário um-a-um: Encontro: <T1,T2> Negócio (deal): d = <D1,D2> • negócio ~ encontro D1U D2 = T1 U T2 • Os agentes comprometem-se a realizar as tarefas que lhe foram atribuídas: Agente 1 compromete-se a realizar D1, e agente 2 compromete-se a realizar D2. • Custo de negócio para o agente i • custoi (di) = c(Di) • Utilidade de negócio para o agente i • utilidadei (d) = c(Ti) - custoi (d) • c(Ti) = custo atribuição original Ti no encontro • custoi (d) = custo tarefas atribuídas a i no negócio • Deve ser > 0 • Se não há acordo -> faz as tarefas iniciais • Negócio de conflito: Q = <T1,T2>

30. Domínio Orientado a Tarefas Dominância, d1 >d2 : • Negócio d1 é pelo menos tão bom para todos os agentes como d2 • Para todos os agentes i: Utilidadei (d1) ³ Utilidadei (d2) • Negócio d1 é melhor que d2 para pelo menos para um agente • Existe um agente i: Utilidadei (d1) > Utilidadei (d2) • Se um negócio domina outro então ele é melhor para qualquer participante

31. Domínio Orientado a Tarefas • Um negócio domina fracamente outro se apenas a primeira condição é verificada • Negócio d1 é pelo menos tão bom para todos os agentes como d2 Para todos os agentes i: Utilidadei (d1) ³ Utilidadei (d2) • Um negócio é pareto óptimo se não é dominado por nenhum outro (não é possível melhorar o negócio a não ser à custa de piorar a situação de um dos outros agentes) • Um negócio é individualmente racional se domina fracamente o negócio de conflito Q • Se não é individualmente racional pelo menos um agente fica melhor na atribuição original

32. Domínio Orientado a Tarefas Utilidade para i Quadrante que interessa – Individualmente racional conjunto de negociação Linha pareto óptima Negócio de conflito Utilidade para j

33. Domínio Orientado a Tarefas Utilidade para i Quadrante que interessa – Individualmente racional conjunto de negociação B Linha pareto óptima Negócio de conflito Utilidade para j

34. Domínio Orientado a Tarefas Utilidade para i Quadrante que interessa – Individualmente racional conjunto de negociação B Linha pareto óptima C Negócio de conflito Utilidade para j

35. Domínio Orientado a Tarefas Utilidade para i Quadrante que interessa – Individualmente racional conjunto de negociação B Linha pareto óptima C Negócio de conflito Utilidade para j

36. Protocolo de concessão monótono (Rosenschein 94) Negociação por série de rondas, propostas de negócio dos agentes efectuadas em simultâneo, termina sempre (com ou sem acordo) Na primeira volta ambos os agentes propõem um negócio ( conjunto de negociação) Há acordo se ambos os agentes 1, 2 propõem negócios d1d2 e: Utilidade1 (d2) ³ Utilidade1 (d1) OU Utilidade2 (d1) ³ Utilidade2 (d2) (o outro faz-nos uma proposta tão ou melhor do que a nossa) Se há acordo, então o negócio de acordo escolhido será: • Se ambos verificam a condição: um aleatóriamente • Se só um verifica: o que verifica a condição Se não há acordo: nova ronda de propostas simultaneas em que nenhum agente pode propor um negócio menos preferido para o outro agente que o proposto na ronda anterior Se nenhum concede (ceder) numa determinada volta a negociação termina com o negócio de conflito

37. Mas como é que os agentes devem negociar????Qual deverá ser a primeira proposta?Ceder?Não ceder?Se ceder, quanto é que devo ceder?

38. Estratégia Zeuthen - Primeira proposta? - o nosso negócio mais preferido

39. Quando ceder?Willingness to Risk Conflict: Arriscar conflito ou não? • Suppose you have conceded a lot. Then: • Your proposal is now near the conflict deal • In case conflict occurs, you are not much worse off • You are more willingto risk confict • An agent will be more willingto risk conflict if the difference in utility between its current proposal and the conflict deal is low

40. Estratégia Zeuthen - Quando ceder? - arrisco mais se a diferença entre utilidade da proposta de negócio corrente e a do negócio de conflito for baixa - risco (0-1) (ucorrente – uproposta)/ucorrente se ~1 não tem muito a perder; arrisca mais pelo conflito e não concede se ~0 tem mais a perder

41. Estratégia Zeuthen Quanto ceder? o suficiente para equilibrar o risco. se ambos têm = risco ambos devem ceder pode não ceder – não se consegue negócio alternativa – cara ou coroa. Propriedades: • não garante sucesso, • Garante que se há sucesso é pareto óptimo e individualmente racional • Não precisa de árbitro • Pode crescer exponencialmente com o número de tarefas • Está em equilibrio de Nash – é uma vantagem conhecer a estratégia – evita conflitos

42. “Deception” (Engano) em Domínios orientados à tarefa • Pode haver a situação que os agentes “enganam outros”: • “Phantom and Decoy tasks”Os agentes “fingem” que têm tarefas alocadas que na realidade não têm. • Hidden tasksOs agentes “fingem” que não lhes foi alocadas tarefas, que na realidade foram.

43. Domínios Orientados a Valor Negociação de planos conjuntos WOD=<E,Ag,J, c> • E- conjunto estados do ambiente possíveis • Ag- conjunto finito de agentes que participa na negociação; • c- função que define custo a cada plano de cada agente • J- Planos conjuntos • Encontro =<e, W>, estado inicial, função que dado um estado do ambiente e um agente representa o valor do estado para o agente.

44. Negociação: Conclusões • By appropriately adjusting the rules of encounter by which agents must interact, we can influence the private strategies that designers build into their machines • The interaction mechanism should ensure the efficiency of multi-agent systems Rules of Encounter Efficiency

45. Negociação: conclusões • To maintain efficiency over time of dynamic multi-agent systems, the rules must also be stable • The use of formal tools enables the design of efficient and stable mechanisms, and the precise characterization of their properties Stability Formal Tools

46. Argumentação • “Argumentação” é o processo de tentar convencer os outros de algo….(por exemplo, “Vir às aulas”) • Importância: • Quando um agente negoceia deve ser capaz de justificar as suas ofertas – crucial na delegação; • As nossas preferências mudam.

47. Argumentação Gilbert (1994) identificou 4 modos de argumentar: • Logical mode (modo lógico)“If you accept that A and that A implies B, then you must accept that B” • Emotional mode (modo emocional) “How would you feel if it happened to you?” • Visceral mode (modo visceral)“Cretin!” • Kisceral mode (modo kisceral)“This is against Christian teaching!”

48. “Logic-based Argumentation” Basic form of logical arguments is as follows:Database|-(Sentence, Grounds) where: • Databaseis a (possibly inconsistent) set of logical formulae • Sentenceis a logical formula known as the conclusion • Groundsis a set of logical formulae such that: • GroundsÍDatabase; and • Sentencecan be proved from Grounds

49. Ataque e Derrota • Let (f1,G1) and (f2,G2) be arguments from some database D…Then (f2,G2) can be defeated (attacked) in one of two ways: • (f1,G1)rebuts(f2,G2) if f1 ºf2 • (f1,G1)undercuts(f2,G2) if f1 ºy2 for some y ÎG2 A rebuttal or undercut is known as an attack Há 5 tipos de argumentos: - tautologias são os mais fortes - argumentos que podem ser derivados são os mais fracos - entre os dois: a classe de argumentos que não tem undercut, que não tem rebut, etc. Há vários tipos de diálogos de argumentos: (seq de argumentos de 2 agentes): inquéritos (determinar sobre algo), deliberação (acção), etc.

50. Argumentação Abstracta • Concerned with the overall structure of the argument (rather than internals of arguments) • Write x y • “argument xattacks argument y” • “xis a counterexample of y” • “xis an attacker of y” where we are not actually concerned as to what x, yare • An abstract argument system is a collection or arguments together with a relation “” saying what attacks what • An argument is outif it has an undefeated attacker, and inif all its attackers are defeated