Aprendizado Multiagente

1. AprendizadoMultiagente Wanderson C. Bragança wanderson.wbc@gmail.com Universidade Federal Fluminense

2. Roteiro Alguns Conceitos Características: aprendizado em SMA Aprendizagem por reforço Aprendizado em SMA Conclusões

3. Qual a aplicação? Recordando o que é Aprendizado O que envolve? O que é? Aprendizadoem SMA

4. Alguns Conceitos • Inteligência em SMA

5. Categorias de Aprendizado em SMA • Generalizando, existem duas categorias de aprendizado em SMA: • Centralizado (ou isolado): • Descentralizado (ou iterativo):

6. Correntes de Pesquisa • Não existe uma metodologia de ensino bem-definida para aprendizado em SMA • Porém existem vários métodos de aprendizado single-agente que podem ser aplicados em SMA

7. Tipos de Aprendizado • Aprendizado Supervisionado: • Aprendizado Não-supervisionado: • Aprendizado por Reforço: • Aprendizado por Reforço é o mais utilizado.

8. Aprendizado por Reforço • Q-Learning • Exemplo: Suponha que temos 5 salas em um prédio ligado por algumas portas.

9. Q-Learning • Podemos representar as salas por um grafo, onde cada sala representa um nó. A B C D E F

10. Q-Learning • Queremos que o agente saia do edifício. A B C D E F 0 100 100 0 0 0 0 0 100 0 0 0 0

11. Aprendizado e Coordenação • Correntes de estudo: • Aprendizado Isolado: • Pode ser centralizado ou distribuído • Aprendizado Interativo • Ambas utilizam aprendizagem por reforço

12. Aprendizado sobre e a partir de outros agentes • Ao contrário da coordenação, agora o aprendizado objetiva uma melhoria individual da performance do agente • Adivinhar o comportamento do outros agentes:

13. Aprendizado sobre e a partir de outros agentes • Vamos conhecer três abordagens: • Aprender papéis organizacionais • Aprender em ambientes de mercado • Aprender a explorar um oponente

14. Abordagem 1: Aprender papéis organizacionais • Capacitar cada membro do grupo a identificar seu papel na organização de uma forma adaptável • Exemplo: Se “dando bem” na noite... • Observando os outros agentes, qual papel escolher? Exigente, moderado ou desesperado?

15. Abordagem 2: Aprendendo em ambientes de mercado • Agentes compram e vendem informações em um mercado . • O ambiente é dinâmico por natureza. • A qualidade da informação vendida por diferentes agentes pode não ser a mesma. • Só é possível verificar a qualidade da informação após comprá-la.

16. Abordagem 3: Aprendendo a aproveitar-se do oponente • Procura aprender a estratégia do oponente observando o seu comportamento. • A partir daí, adota uma estratégia mais inteligente. • Exemplo: Jogos...

17. Aprendizado e Comunicação • Aprender a se comunicar: • Comunicação como aprendizado: • As duas abordagens: • Devem deixar claro o que, quando, como e com quem se comunicar. • Necessitam da definição de uma ontologia comum.

18. Conclusões • Aprendizado multiagente é um tema vasto, em que muitas e diferentes abordagens existem • Muitas questões ainda em aberto...

19. Obrigado! Universidade Federal Fluminense

20. Referências • Handbook of Research on Multi-Agent  Systems:Semantics and Dynamics of Organizational Models Edited by: Virginia Dignum, Utrecht University, The Netherlands. • R. H. Bordini, M. Dastani, J. Dix, and A. El Fallah Seghrouchni, editors. Multi-Agent Programming:Languages, Platforms and Applications. Number 15 in Multiagent Systems, Artificial Societies, and Simulated Organizations. Springer, 2005. • Stone, P., Veloso, M., Multiagent Systems: A Survey from a Machine Learning Perspective, Carnegie Mellon University, 1997