MultiStage Um Protocolo para Resolução de Conflitos em Negociação Multiagente

1. Emerson Luís dos Santos Fabiano Mitsuo Hasegawa Márcio Roberto Starke MultiStageUm Protocolo para Resolução de Conflitos em Negociação Multiagente

2. Introdução • IAD • Sistemas Distribuídos  IA • Resolução Distribuída de Problemas • Sistemas Multiagentes • Melhor utilização de recursos • Visão local das partes de um problema • Diversos problemas reais são distribuídos • Sistemas Multiagentes • Alto nível de autonomia • Flexibilidade e Escalabilidade

3. Sistemas Multiagentes • Ambiente • Recursos • Influências • Unidade básica: Agente • Simples • Monolítico • Modular • Composto

4. Sistemas Multiagentes • Organizações • comunidade vivendo em prol dos mesmos interesses • Sociedade • Conjunto de organizações que compõem um sistema • Regras • Homogêneas/Heterogêneas

5. Características de uma Sociedade • Colaboração • Cooperação • Competição • Evolução • Adaptação • Aprendizado • Ciclo de vida • Migração • Comportamentos Sócio-naturais

6. Composição de um Agente • Reativo • Mapeamento estado/ação • Percepção • Baixo nível de autonomia

7. Composição de um Agente • Cognitivo • Self-Model • Acquaintance-Model • Comunicação • Coordenação • Planejamento • Aprendizado • Negociação • Competências (Controle de recursos) • Raciocínio • Emoção • Objetivos • Percepção • Alto nível de autonomia

8. Tipos de Coordenação • Padronização • Regras • Arquitetura • Supervisão • Hierarquia • Ajuste Mútuo • Consenso

9. Negociação • Tipos que se poderia identificar no mundo real • Contrato • Acordo • Troca • Oferta • Híbridos • Problemas • Conflitos por escassez de recursos • Causas externas (Falhas)

10. Protocolo Contract-Net • Recebimento de tarefa • Decomposição da tarefa em sub-tarefas * • Anúncio de sub-tarefa • Ofertas dos candidatos • Premiação da melhor oferta • Confirmação da oferta

11. Protocolo Contract-Net • Delegação da sub-tarefa ao contratado • Execução ou repasse da sub-tarefa • Devolução do Sub-resultado ao contratante • Recomposição dos sub-resultados

12. O Protocolo Multistage • Generalização do protocolo contract-net • Primitivas adicionais • Restabelecimento de contrato • Comunicação e recursos limitados • A satisfação de um objetivo pode impedir a satisfação de outro ou ser inalcançável por si • Capacidades preemptivas na alocação de recursos para conexões de diferentes prioridades

13. O Protocolo Multistage • Através da troca de informações, os agentes tratam os conflitos de recursos modificando seu comportamento • Decisões sobre o impacto de escolhas locais na satisfação de objetivos globais • Informações incompletas ou inválidas atualizadas dinamicamente • Geração e manutenção de planos • Atividade rápida e baixo overhead em um ambiente dinâmico

14. Domínio das Telecomunicações • Recursos limitados • Cada agente detém o controle de uma área e seus respectivos recursos interconectados por links de dados • Agentes trocam informações através de links de comunicação exclusivos com baixa largura de banda • A conexão entre dois recursos exige a reserva de banda nos links pertencentes ao caminho • Uma falha em qualquer equipamento de comunicação pode causar a instanciação de vários objetivos que devem ser satisfeitos em tempo real

15. Domínio das Telecomunicações

16. Conexões • Instanciadas independentemente e ao mesmo tempo em cada um dos agentes das extremidades • Cada agente sabe quais são os agentes da extremidade de cada conexão • Constituição • Recurso Inicial • Recurso Final • Identificador • Prioridade • Exemplo • p-1:s-3:5:1 (AgenteI-RecursoI:AgenteF-RecursoF:ID:Prioridade)

17. Geração de Planos • A instanciação de um objetivo dispara um processo de geração de planos • A escolha do melhor plano é baseada em informações extremamente locais • Planos sobressalentes são armazenados para eventuais necessidades posterior com identificadores apropriados • Um plano consiste de fragmentos locais de um caminho que são armazenados localmente nos respectivos agentes • Algoritmo exaustivo de busca em profundidade

18. Satisfação de Objetivos • Nem todos os agentes necessariamente têm conhecimento da satisfação de um objetivo • Agentes conhecem apenas seus fragmentos de plano e objetivos locais • Conflitos são propagados através de mensagens • Conflitos surgem por escassez de recursos locais ou por negação de serviços • Agentes armazenam informações referentes a conflitos

19. Visão Geral da Negociação • Instanciação do objetivo nas extremidades • Geração de planos • Requisição de estabelecimento de conexão aos vizinhos apropriados para satisfação do maior número de objetivos possíveis • Análise de requisições recebidas • Pedidos de estabelecimento de conexão • Confirmações de estabelecimento de conexão • Negação de pedidos e informação dos devidos conflitos • Atualização de informações internas • Reavaliação dos objetivos locais e novas requisições ou confirmações

20. Particularidades de Nomenclatura • Primary Goal • Objetivo que possui ao menos uma das extremidades no agente • Secondary Goal • Objetivo que não possui extremidade no agente • Task Announcement¹ • Pedido de complementação de plano • Response¹ • Resposta a um task announcement • Bid: resposta positiva • Reject: resposta negativa ¹ Fase de Geração de Planos

21. Particularidades de Nomenclatura • Tentative Commitment • Pedido de estabelecimento de conexão com reserva de recursos locais • Conflict • Conflito local ao transmissor • Cancellation • Conflito não-local ao transmissor • Commitment • Confirmação de estabelecimento de conexão • Feasibility Tree • Base de conhecimento mantida no agente

22. Complexidade • Os membros da organização não possuem recursos suficientes para manterem visões globais consistentes • Devido ao dinamismo do mundo, o conjunto de soluções ótimo em um determinado instante pode não ser mais o conjunto ótimo do instante seguinte

23. Limitações • Novos objetivos primários só são considerados se não houver nenhum outro objetivo primário sendo resolvido • Não converge para otimização • Planos são subutilizados • Não é claro quando se descartar planos • Não há adaptação

24. Aprendizado por Reforço • Domínios em que o aprendizado deve ser realizado em tempo real • Adaptação rápida mesmo com poucos exemplos • A cada ação tomada, recebe-se um prêmio positivo/negativo correspondente aos efeitos dessa ação no mundo • Maximização da soma dos prêmios recebidos • Aprendizado de uma política de atuação • Q-Learning

25. Motivação • Estimativas de custo de planos podem proporcionar melhoria na performance global • Melhores práticas ao longo das iterações • Potencial Memória para Capitalização de Conhecimento

26. TPOT-RL (Team-Partitioned, Opaque-Transition Reinforcement Learning) • Aprender uma função que associa pares estado-ação a prêmios esperados • Os resultados são armazenados em tabelas para a sua posterior utilização • Introduz três principais adaptações ao paradigma de aprendizado por reforço • A função de valor é particionada entre a organização, com cada agente aprendendo apenas para estados em quais ele pode atuar. Todos os agentes são treinados simultaneamente

27. TPOT-RL (Team-Partitioned, Opaque-Transition Reinforcement Learning) • O espaço de estados do ambiente é agressivamente generalizado, de forma que o agente percebe o ambiente em função de características discretas referentes a estados • Ao invés de se atualizar a tabela de aprendizado segundo estimativas de prêmio geradas por simulações, as atualizações são feitas segundo prêmios recolhidos algum tempo no futuro

28. Módulo de Aprendizado • Escolha de ação • para cada par (recurso_local_inicial,recurso_destino_objetivo), há uma tabela com tantas entradas quantos forem os planos que tenham sidos gerados durante a fase de geração de planos

29. Módulo de Aprendizado • Propagação de prêmio e atualização de tabela • quando uma conexão é estabelecida, o agente destino envia mensagens aos agentes que fazem parte do circuito informando-lhes o custo total da conexão. Quando um agente recebe esta mensagem, ele decrementa do custo total o valor de custo acumulado até seu recurso inicial

30. Módulo de Aprendizado • Geração de planos • periodicamente são gerados novos planos para cada conexão estabelecida; em eventuais falhas, o tempo de restauração será menor • buscas para satisfação de requisições de estabelecimento de conexão só são realizadas numa eventual não existência de planos pré-construídos • na geração de planos, contabiliza-se as estimativas de planos gerados no passado • Planos com estimativas históricas ruins podem ser podados • para cada plano gerado, seu custo associado é utilizado para atualização da tabela de planos

31. Vantagens do Módulo de Aprendizado • Redução das gerações de planos • Planos com estimativas úteis para um determinado objetivo podem existir a priori • a geração de planos é periódica e pode ser congruente com a carga da rede ou o desejo do administrador • Coerência com o estado global • a escolha de um plano para a satisfação de um objetivo não é executada apenas conforme estimativas de custo local, mas segundo estimativas que refletem a atividade global da rede coletadas como prêmios que são propagados em intervalos periódicos

32. Vantagens do Módulo de Aprendizado • Redução do tempo de resposta • o tempo de restauração e estabelecimento de conexões é sensivelmente reduzido, uma vez que os planos podem já estar prontos e com estimativas de custo atualizados e consistentes

33. Desvantagens do Módulo de Aprendizado • Memória • O número de tabelas mantido em memória segundo esta abordagem é superior ao necessário em [Sto98] • Na aplicação de Stone, só uma tabela de tamanho | U | x | A | x | M | é mantida em cada agente • U: janela de atividade {baixa, alta} • A: conjuntos de links que partem de um nó • M: número total de nós da rede • na abordagem proposta, existem | U | x | A | x | O | • U: janela de atividade {baixa, alta} • A: número de planos existentes para cada conexão estabelecida • O: conjunto de conexões estabelecidas através do agente em questão

34. Reflexões sobre a Relevância da Proposta na Gestão do Conhecimento • Qual seria o rendimento de uma empresa que tivesse que treinar seu funcionário toda vez que ele fosse requerido em uma tarefa? • Pessoas nos diversos cenários do dia-a-dia aprendem a atuar adequadamente tentando executar suas tarefas da forma mais eficaz possível • No mundo real, pessoas possuem aptidões natas (dons)

35. Reflexões sobre a Relevância da Proposta na Gestão do Conhecimento • Habilidade está diretamente relacionado a atividade e seu aumento é gradativo • A habilidade também pode ser obtida através da observação, da escuta, da leitura, do estudo, do erro, por analogia, entre outros • A memória é utilizada nos processos de raciocínio desenvolvidos ao longo da vida

36. Reflexões sobre a Relevância da Proposta na Gestão do Conhecimento • Uma vez que seus integrantes possuem tamanhas capacidades, as organizações existentes nas sociedade tendem a apresentar comportamentos semelhantes, pois são gerenciadas por seres inteligentes e sua mão-de-obra também é constituída de indivíduos com inteligência • Dentro deste ambiente, pode-se concluir que a sobrevivência é bastante difícil • Paradoxalmente, a sobrevivência está sendo alcançada de forma relativamente satisfatória pelos seres do mundo real

37. Reflexões sobre a Relevância da Proposta na Gestão do Conhecimento • Em uma sociedade de agentes de software, as mesmas características e comportamentos são desejáveis • Habilidade • A única maneira de se conseguir boas práticas é pelo aprendizado, o que implica esforço computacional na manutenção de uma memória e na criação de métodos de inferência que permitam a extração de conhecimento dos fatos observáveis

38. Reflexões sobre a Relevância da Proposta na Gestão do Conhecimento • A utilização do Reinforcement Learning para a melhoria do protocolo Multistage garante as capacidades de se adaptar dinamicamente às transições de estados do mundo e de se manter uma memória organizacional • Executando segundo as melhores políticas de atuação, a otimização surge conseguida naturalmente

39. Reflexões sobre a Relevância da Proposta na Gestão do Conhecimento • A memória poderia ser utilizada por processos mais de auxílio à tomada de decisão que indicassem, por exemplo, a necessidade de se aumentar a banda de um link, de se construírem novos caminhos físicos ou de se reestruturar a rede • Pode-se aplicar o Multistage em outros domínios, utilizando os mesmos métodos e alcançando as mesmas vantagens do domínio das telecomunicações

40. Reflexões sobre a Relevância da Proposta na Gestão do Conhecimento • Os agentes aprendem a atuar em prol da organização • sem a necessidade de perceber em todo o mundo • observando apenas os efeitos a longo prazo de suas ações • O conhecimento de cada agente é coerente com o conhecimento da organização e com as transições de estado de um domínio estocástico

41. Relevância da Abordagem na Gestão do Conhecimento • Aplicações em • WorkFlow • Telecomunicações • Trânsito • Planejamento de Rotas para Robôs • Reutilização do Conhecimento