Aprendizagem

1. Aprendizagem Viviane Torres da Silva viviane.silva@ic.uff.br http://www.ic.uff.br/~viviane.silva/isma

2. Introdução • Sistemas de aprendizagem são sistemas adaptáveis e com técnicas de aprendizagem • O conjunto de situações é tão grande que não definimos todas as possibilidades quando descrevemos o problema • Aprendizagem: melhora do comportamento futuro baseada na experiência passada • Normalmente dizemos que se o agente inteligente então é porque ele tem a capacidade de aprener. E se tem a capacidade de aprender então é porque o agente é inteligente.

3. Aprendizagem • Aprendizagem de um agente • O agente tem a capacidade de aprender e melhorar seu rendimento e o rendimento do sistema • Aprendizagem do sistema multi-agente • Não é simplesmente a soma da aprendizagem de todos os agentes do sistema de maneira isolada • A aprendizagem de um agente é influenciada pelos demais agentes • Vários agentes podem aprender de uma maneira distribuída e interativa como se fossem um único corpo

4. Categoria principal • Processo de aprendizagem: planejamento, inferência e passos de decisões • Aprendizagem centralizado (aprendizagem isolada) • Todos as etapas do processo de aprendizagem são executadas por um único agente que não interage com os outros • O agente é completamente independente dos outros • Aprendizagem descentralizada (aprendizagem interativa) • Vários agentes estão envolvidos no processo de aprendizagem • As atividades do processo de aprendizagem são executadas por diferentes agentes

5. Características da aprendizagem I/IV • Grau de descentralização • Distribuição e paralelismo das atividades do processo de aprendizagem • Características especificas da interação • Nível de interação (desde pura observação até diálogos complexos como a negociação) • Persistência da interação (desde pouca até muita) • Freqüência da interação (desde pouca interação até muita) • Padrão de interação (desde completamente não estruturada até hierárquica) • Variedade da interação (desde fixa até variável) • Características específicas do envolvimento • Relevância do envolvimento • Papel desempenhado na interação (generalista, aquele executa todas as tarefas do processo de aprendizagem, ou especialista, que executa somente algumas)

6. Características da aprendizagem II/IV • Características específicas do objetivo • Tipo de melhora que o agente deseja alcançar com a aprendizagem • Compatibilidade entre os objetivos de aprendizagem dos agentes • Método ou estratégia de aprendizagem • Aprendizagem direta (implantação do conhecimento sem necessidade de inferência do aprendiz) • Aprendizagem a partir de um conselho ou instrução (aprende quando recebe um conselho, não foi una experiência do agente) • Aprendizagem por exemplos ou práticas (extração ou refinamento do conhecimento a partir de experiências positivas ou negativas) • Aprendizagem por analogia (conhecimento adquirido a partir de soluções de problemas similares) • Aprendizagem por descoberta (conhecimento adquirido a partir de observações, execuções de experimentos, teste de hipóteses,…)

7. Características da aprendizagem III/IV • Reação da aprendizagem • Aprendizagem inspecionada • a resposta enviada pelo aprendiz especifica as atividades desejadas • o objetivo da aprendizagem é encontrar as ações desejadas • Aprendizagem por reforço • a resposta somente informa a utilidade da atividade realizada pelo aprendiz • o objetivo da aprendizagem é maximizar a função de utilidade • Aprendizagem não inspecionada • Nenhuma resposta é fornecida • O objetivo é encontrar atividades úteis e desejadas utilizando o processo de tentativa e errp

8. Características da aprendizagem IV/IV • Reação da aprendizagem • As respostas à ações são fornecidas pelo ambiente ou por outros agentes do sistema • São eles que “ensinam” o agente no caso de aprendizagem inspecionada • São eles que “criticam” o agente no caso de aprendizagem por reforço • São eles que “observam” o agente no caso de aprendizagem não inspecionada

9. Problema da atribuição de créditos e culpas • A resposta do ambiente e dos outros agentes avaliam o comportamento do agente • A resposta dará crédito para os comportamentos bons e punirá o agente por mal comportamento • Avaliação inter-agente: • Avalia todo o comportamento em geral (varias ações de uma só vez) • Problema no caso de sistemas multi-agente: Como saber qual agente executou qual tarefa? • Avaliação intra-agente: • Avalia uma determinada ação do agente

10. Problema da aprendizagem por reforço em SMA • Aprendizagem por reforço pode ser utilizada quando: • Os agentes têm pouco ou nenhum conhecimento do domínio • Os agentes têm pouca informação sobre as capacidades e os objetivos dos outros agentes • Problemas: • Pouca informação sobre os outros agentes torna a coordenação ainda mais difícil • Quando os agentes necessitam comunicar-se para coordenar-se, se a qualidade da comunicação é má, a coordenação é afetada

11. Características da aprendizagem por reforço em SMA • Acoplamento entre os agentes: • Uma ação de um agente pode afeta muito ou pouco os planos de outros agentes • Relação entre os agentes • Os agentes podem estar agrupados para alcançar um objetivo • Os agentes interagem através do recurso que utilizam • Os agentes tem interesses distintos • Tempo de resposta • O tempo de resposta do ambiente depois que a ação foi executada pode variar de um domínio para outro • Combinações de comportamentos • Quantas combinações de comportamento irão encontrar um solução ótima?

12. Exemplos • Os agentes aprendem a empurrar uma caixa de um local ao local objetivo • Acoplamento entre os agentes: muito acoplados • Relação entre os agentes: cooperação ou competição • Tempo de resposta: imediato • Combinações de comportamentos: múltiplos comportamentos ótimos • Dois agentes que necessitam aprender a compartilhar um recurso • Acoplamento entre os agentes: muito acoplados • Relação entre os agentes: cooperação • Tempo de resposta: com atraso (não sabem em um determinado momento se estão fazendo bem) • Combinação de comportamentos: único comportamento ótimo

13. Aprendendo a partir de outros agentes • Aprendendo os papéis de una organização: • Os agentes necessitam aprender a executar de acordo com os papéis que irão desempenhar • Necessitam aprender a estrutura dos papéis da organização para colaborar com os demais agentes • Aprendendo para se beneficiar da negociação: • Os agentes necessitam se adaptar às condições do ambiente onde está ocorrendo a negociação • Os agentes podem aprender como os demais agentes “pensam” para tentar melhorar a negociação. Ex: o vendedor aprende quais são os desejos do comprador • Aprendendo para melhor combater o oponente • O agente pode aprender quais são os golpes que o oponente executa, qual é a melhor maneira de se esquivar dos golpes e os pontos de debilidade do oponente

14. Aprendizagem e Comunicação I/II • Aprendendo a comunicar-se: • A aprendizagem é um método para o aprendiz aprender a se comunicar • Comunicação como método de aprendizagem: • A comunicação é o método utilizado para o aprendiz aprender • O que comunicar? • Que informação é de interesse para os outros? • Quando comunicar? • Quanto tempo o agente deve dedicar-se somente a solucionar um problema antes de comunicar-se com outros agentes?

15. Aprendizagem e Comunicação II/II • Com quem comunicar? • Quais agentes estão interessados na informação? • Quais agentes devem ser perguntados? • Como comunicar? • Qual linguagem deve utilizada?