Modelos artificiais de aprendizado autônomo baseados em processos homeostáticos

1. Modelos artificiais de aprendizado autônomo baseados em processos homeostáticos Aluna: Fernanda Monteiro Eliott. Orientador: prof. Carlos H. C. Ribeiro. ITA, junho de 2008.

2. Desenvolver Emoções Artificiais? A emoção e os sentimentos constituem a base do que descreve-se como alma ou espírito. - A ausência total de emoções compromete a racionalidade, os processos de tomada de decisão.

3. Caso Phineas Gage (séc.XIX) Os sentimentos são tão cognitivos quanto qualquer outra percepção. Tinha 25 anos, coordenava os trabalhos de uma empresa construtora de estradas de ferro: Lesões nos córtices pré-frontais.

4. Estava danificada sua aptidão para tomar decisões e se planejar.

5. Marcador Somático, Damásio. Decisões rápidas sem que gastemos: tempo; grande capacidade de processamento.

6. Modelos homeostáticos: Gadanho (1999): a partir do marcador somático, definiu: sentimento - o processo de monitoramento do corpo e que nos oferece a cognição dos nossos estados viscerais e músculos-esqueléticos; emoção - a combinação do processo mental avaliativo com suas respostas para este, na maior parte em direção ao próprio corpo, mas também ao cérebro ele mesmo.

7. Mecanismo de atenção: 3 comportamentos: o agente deve aprender a coordená-los.

8. Mecanismo de atenção: Este sistema é apropriado porque atribui relevância para as diferentes experiências do agente no contexto de suas motivações internas.

9. Em (Gadanho 1999): As emoções possibilitaram melhor desempenho com menos esforço computacional do que a melhor combinação de mecanismos de interrupção que usava intervalos de tempo.

10. Problema: O modelo homeostático em Gadanho (1999) é mais uma aplicação de AR, ou apresenta inovação? A Proposta de Solução...

11. Proposta de solução

12. Proposta de solução: o simulador.

13. Verificação da Solução: • Sobre o modelo homeostático: Comparar os resultados obtidos aos apresentados em (Gadanho 1999); • Em relação ao que concerne ao AR e aos outros modelos homeostáticos da literatura: Estudo profundo da mesma.

14. Resultados Esperados: Obter um modelo equivalente ao desenvolvido por (Gadanho 1999) e a resposta à pergunta: o modelo homeostático em Gadanho (1999) é mais uma aplicação de AR, ou apresenta inovação?

15. Referências: • Damásio, A. R. (1994): Descartes’ Error: emotion, reason and the human brain. New York: Penguin. • Gadanho, S. C. and Hallam, J. (1998): Exploring the Role of Emotions in Autonomous Robot Learning. In AAAI Fall Symposium | Emotional and Intelligent: The tangled knot of cognition, Technical Report FS-98-03, pages 84- 89. AAAI Press. • Gadanho, S. (1999): Reinforcement Learning in Autonomous Robots: An Empirical Investigation of the Role of Emotions. PhD thesis, University of Edinburgh. • Sutton, R. S. and Barto, A. G. (1998): Reinforcement Learning. The MIT Press. • Sutton, R. S. and Barto, A. G. (1996): Generalization in Reinforcement Learning: Successful Examples Using Sparse Coarse Coding. In Touretzky, D. S., Mozer, M. C., & Hasselmo, M. E. (eds.) Advances in Neural Information Processing Systems 8: 1038-1044. • Sutton, R. S. and Barto, A. G. (1990): Time-derivative Models of Pavlovian Reinforcement. In Learning and Computational Neuroscience: Foundations for Adaptive Networks. MIT Press.