Agentes Inteligentes e Sistemas Multi-agente Personagens Sintéticas

1. Agentes Inteligentes e Sistemas Multi-agentePersonagens Sintéticas 1

2. Tópicos • Introdução • Personagens Sintéticas em Mundos Virtuais • Caso: C4 – Um Cérebro Virtual • Arquitectura • Embodied Conversational Agents • Modelo FMTB • REA • Referências

3. Introdução • O que são personagens sintéticas? • Personagens que parecem vivas. • Criaturas que parecem possuir personalidade. • Inúmeras aplicações • Interfaces Homem-Máquina • Jogos de computador • Entretenimento

4. Introdução • Várias áreas de estudo: • Animação tradicional • Computação gráfica • Inteligência artificial • Psicologia • Interfaces multimodais

5. Introdução • Aparecimento das primeiras personagens sintéticas nos anos 20. • “Disney animation makes audiences realy believe in … characters.” – illusion of life (Thomas 1981) • “It is the change in shape that shows what the character is thinking. It is the thinking that gives the illusion of life.” – illusion of life (Thomas 1981)

6. Introdução • Projecto de OZ - 1992 • Personagens sintéticas em ambientes interactivos. • Inspirado no trabalho dos animadores da Disney. • Baseada em: • aspectos comportamentais. • Objectivos. • Emoções • Criaturas com reacções emocionais a eventos. • Introduz o conceito de credibilidade.

7. Introdução • Personagem credível – proporciona a ilusão de vida, permitindo a suspensão de descrença da audiência. • Emoção fundamental para criar a ilusão de vida. • Três pontos chave para a representação de emoções: • Estado emocional da personagem claramente definido. • Processo de pensamento revela o sentimento. • Acentuação das emoções.

8. Introdução • Personagens Sintéticas em Mundos Virtuais: os primeiros sistemas • Caso: C4 – Um Cérebro Virtual • Arquitectura • Embodied Conversational Agents • Modelo FMTB • REA • Referências

9. ALIVE • O projecto ALIVE mostrava várias personagens (a principal das quais é um cão) que interagiam com um utilizador humano em tempo real • O projecto utilizava captura de vídeo para fazer reconhecimento de gestos e para sobrepôr imagens virtuais num ambiente de realidade aumentada • O utilizador podia interagir com o mundo virtual controlando directamente um agente proxy que o representava nesse mundo.

10. ALIVE

11. Motor System ALIVE Behaviours Controllers Motor Skills Deg. Of Freedom Geometry

12. SWAMPED!

13. Introdução • Personagens Sintéticas em Mundos Virtuais • Caso: C4 – Um Cérebro Virtual • Arquitectura • Embodied Conversational Agents • Modelo FMTB • REA • Referências

14. C4 – Um Cérebro Virtual • Trabalho desenvolvido por Blumberg no grupo de personagens sintéticas. • Influenciado pela teoria da atitude intencional. • Se conhecermos as crenças e os desejos de uma criatura, podemos predizer as suas acções. • Noção de “ilusão de vida”. • Personagens com a capacidade de expressarem o seu estado mental: • Um observador pode inferir as suas crenças e desejos.

15. C4 – Um Cérebro Virtual • Exemplo: Sheep|dog • Duncan • Pastor • Ovelhas • Utilizador controla o pastor, dando comandos de voz ao duncan (sit,down,away).

16. C4 - Arquitectura

17. C4 - Arquitectura • Sistema Sensorial • Único ponto de entrada de informação sensorial. • Garante Honestidade sensorial. • A criatura só vê o que está no seu campo de visão. • Sistema Percepcional • Atribui significado à informação sensorial recebida. • Árvore de Percepções.

18. C4 - Arquitectura • São apenas feitas transversias parciais da árvore. • Permite reduzir a dimensionalidade da informação sensorial recebida. • Pode-se substituir os classificadores sem afectar o funcionamento do sistema.

19. C4 - Arquitectura • Sistema Proprioceptivo • Animais usam sensores que detectam extensão dos músculos para determinar a posição dos seus orgãos. • Criaturas têm consciência do seu estado interno. • Mecanismo Blackboard. • Criatura pode registar eventos só visíveis a si.

20. C4 - Arquitectura • Memória de Percepção • Simula a memória de trabalho humana. • Lista de objectos persistentes. • Percepções • Predições • Hipóteses • Juntos formam a vista que a criatura tem do contexto. • Todos os componentes da C4 podem alterar ou acrescentar este tipo de objectos.

21. C4 - Arquitectura • Eventos de diferentes modalidades podem ser combinados num único objecto. • A confiança num determinado objecto vai decaindo ao longo do tempo. • Estrutura permite-nos questionar a memória de maneiras muito úteis. “Há comida perto de mim?” • Escolher alvos de acção. “Procura um objecto humanóide e vai até ele”.

22. C4 - Arquitectura • Predição • Informação sensorial vinda de um objecto pode ser interrompida temporariamente. • Quando o registo de uma percepção não é observado: • O seu valor é predito. • Torna-se visível ao sistema como se tivesse sido realmente observado. • Base para surpresa. • Um objecto que tenha fornecido um estimulo surpreendente é um excelente candidato para receber o foco de atenção da criatura. • Predição contribui para o senso comum e a credibilidade de uma criatura. • Implicam expectativas acerca do mundo.

23. C4 - Arquitectura • Video Sheep|Dog

24. C4 - Arquitectura • Selecção de Acções • Responder a 4 questões: • Quando fazer? • O que fazer e como fazer? • A que o fazer? • Durante quanto tempo? • Acção modifica estado interno da criatura • Guarda na memória o objecto actual de interesse

25. C4 - Arquitectura • Grupos de Acções • Acções avaliadas em função do contexto corrente e do seu valor intrínseco. • As acções na “Startle List” competem deterministicamente. • Se nenhuma for relevante, as acções na “Default list” competem probabilisticamente.

26. C4 - Arquitectura • Sistema de Navegação • Intercepta as ordens escolhidas pelo sistemas de acções. • Decompõem-nas numa sequência de movimentos que envia para o Sistema Motor. • Permite uma representação mais conveniente no Sistema de acções. • Alivia-o de implementar as suas decisões.

27. C4 - Arquitectura • Sistema Motor • Responsável por tornar a criatura visualmente credível • Permite • Gestos simples • Locomoção • Simular a atenção da criatura, através do olhar. • Utiliza grafos de pose.

28. Videos

29. Introdução • C4 – Um Cérebro Virtual • Arquitectura • Embodied Conversational Agents • Modelo FMTB • REA • MACK • Referências

30. Embodied Conversational Agents • Humanos Virtuais com capacidades sociais e linguísticas para levar a cabo uma conversação face a face. • Utilizam o corpo de uma maneira muito semelhante aos humanos. • Ideais para suportarem uma interacção eficiente entre pessoas e máquinas. • Sistemas de diálogo robustos face a ruido no reconhecimento de fala. • Não é necessário treino por parte dos utilizadores.

31. Embodied Conversational Agents • Propriedades: • Reconhecem e respondem a entradas verbais e não verbais. • Geram saidas verbais e não verbais. • Lidam com funções conversacionais (dar a vez, dar feedback). • Dispõem de sinais que indicam o estado da conversa.

32. Modelo FMTB • Objectivos: • Analisando o processo de conversação humano e centrando a nossa análise no emissor e no receptor... • ... Conseguir estabelecer um modelo que estruture a interacção entre um humano e um E.C.A. • Ideias Base: • Funções vs. Comportamentos na conversação • Sincronização • Divisão entre as contribuições proposicionais e interaccionais • As diferentes Modalidades na conversação

33. Modelo FMTB • FMTB – Functions • Dois tipos de contribuições: • Funções proposicionais. Correspondem ao conteúdo da conversa. Discurso informativo, gestos manuais, entoação de voz, etc. • Exemplo: Gestos que indicam tamanho na sentença “era deste tamanho”. • Funções Interaccionais. Pistas que regulam e mantêm aberto o canal de comunicação. • Exemplo: Acenar com a cabeça para indicar que se está a compreender o interlocutor.

34. Modelo FMTB • FMTB – Modalities • Possibilidade de usar várias modalidades de comunicação simultâneamente. • Fala, olhar, gestos. • Olhos focam a atenção do interlocutor. • Mãos ajudam a retirar ambiguidades e a descrever localizações. • “O café fica ali.” • “Passa-me aquela camisa.”

35. Modelo FMTB • FMTB – Timing • Pessoas assumem que acontecimentos síncronos têm significado. • O significado de um simples acenar pode depender da altura em que ocorre na conversa: • Um acenar de cabeça no preciso momento em que o emissor pede feedback revela que o receptor está a compreendê-lo! • Um atraso em acenar a cabeça por parte do receptor pode significar discordância.

36. Modelo FMTB • FMTB – “Behaviours are not functions” • A mesma função comunicativa nem sempre se mapeia no mesmo comportamento. • O mesmo comportamento nem sempre serve a mesma função.

37. REA • REA (Real Estate Agency) é um ECA no domínio das agências imobiliárias. • Tem uma base de dados com casas à venda. • Mostra imagens tridimensionais das casas e quartos. • Duas câmaras permitem detectar a posição da cabeça e das mãos do utilizador. • Utilizador fala com a REA através de um microfone.

38. REA - Arquitectura

39. REA - Arquitectura • Input Manager • Recolhe dados das várias modalidades. • Decide se requerem reacção imediata, ou processamento deliberativo. • Hardwired Reactions • Lida com reacções espontâneas aos estímulos recebidos. • O agente pode seguir o utilizador com o olhar enquanto está a processar o que dizer.

40. REA - Arquitectura • Action Scheduler • É responsável pelo escalonamento dos eventos motores a serem enviados à figura que representa o agente • Uma função crucial é sincronizar as acções entre todas as modalidades, evitando conflitos nos pedidos. • Deliberative Module • Gere todos os inputs que necessitem de um modelo de discurso para serem devidamente interpretados. • Isso inclui tanto os comportamentos interaccionais como os proposicionais.

41. REA - Arquitectura • Understanding Module • Integrar as diferentes modalidades numa única representação semântica. • Comportamento -> Funções • Decision Module • Interactional Processing • Propositional Processing • Response Planner • Generation Module • Funções -> Comportamento • Gera accções primitivas (gestos,discurso) • Envia-as para o Action Scheduler e monitoriza a sua execução.

42. REA - Exemplo • Mike aproxima-se do ecrâ. Rea está virada noutra direcção. • Rea vira-se, olha para Mike e diz: • “Olá, em que posso ajudá-lo?” • “Procuro uma casa perto do MIT.” • “Tenho uma casa para lhe mostrar.” • Aparece uma imagem da casa no ecrâ. Rea olha para a casa e novamente para Mike. • “Fale-me sobre ela.” • Rea olha para um sitio distante enquanto decide o que dizer. • “É grande.”

43. REA - Exemplo • Mike levanta as mão indicando que vai falar. • Rea para e espera. • “É muito longe?” • “Fica a 5 minutos da estação de metro” • “É muito grande?” • “Tem 4 quartos, 3 casas de banho…” • Mike interrompe Rea que para de falar imediatamente. • “Onde é que fica o quarto principal?” • “No andar de cima.” • “E a casa de banho principal?” • “Ao lado do quarto”

44. Agentes Pedagógicos • STEVE • Carmen • VICTEC

45. Referências • Marques, A., Personagens Sintéticos – Uma Perspectiva Panorâmica. • Bates, J., The Role of Emotion in Believable Agents. • Cassell, J., More Than Just Another Pretty Face: Embodied Conversational Interface Agents. • Cassell, J., Embodied Conversational Agents: Representation and Intelligence in User Interface. • Cassell, J., et Al., MACK: Media Lab Autonomous Conversational Kiosk. • Cassell, J., Stocky, T., Shared Reality: Spatial Intelligence in Intuitive User Interfaces. • Blumberg, B., et Al., Creature Smarts: The Art and Architecture of a Virtual Brain. • Blumberg, B., Kline, C., The Art and Science of Synthetic Character Design.