1 / 33

Implementation of an affective conversational agent for controlling a Hi- Fi system

Implementation of an affective conversational agent for controlling a Hi- Fi system. Justo Saavedra. Contents. Máster en Sistemas Electrónicos para Entornos Inteligentes. Language Understanding Module. Front End. Speech Recognition. Dialogue Manager. Execution Module. Synthesizer.

cheung
Download Presentation

Implementation of an affective conversational agent for controlling a Hi- Fi system

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Implementation of an affective conversational agent for controlling a Hi-Fi system Justo Saavedra

  2. Contents Máster en Sistemas Electrónicos para Entornos Inteligentes

  3. Language Understanding Module Front End Speech Recognition Dialogue Manager Execution Module Synthesizer Generation Response Module The Hi-Fi System Máster en Sistemas Electrónicos para Entornos Inteligentes

  4. Objectives Máster en Sistemas Electrónicos para Entornos Inteligentes

  5. Purpose Máster en Sistemas Electrónicos para Entornos Inteligentes

  6. System Architecture Máster en Sistemas Electrónicos para Entornos Inteligentes

  7. System Architecture Máster en Sistemas Electrónicos para Entornos Inteligentes

  8. Simple Object Access Protocol Service Requester EmotionClient Service Provider EmotionServer Gets Emotions Máster en Sistemas Electrónicos para Entornos Inteligentes

  9. Adaptation of the Maslow´s Hierarchy of Needs to a robotic system Emotional System Máster en Sistemas Electrónicos para Entornos Inteligentes

  10. Emotional System Máster en Sistemas Electrónicos para Entornos Inteligentes

  11. Emotional System Máster en Sistemas Electrónicos para Entornos Inteligentes

  12. Emotional System Máster en Sistemas Electrónicos para Entornos Inteligentes

  13. Emotional System Máster en Sistemas Electrónicos para Entornos Inteligentes

  14. Emotional System Máster en Sistemas Electrónicos para Entornos Inteligentes

  15. Emotional System Máster en Sistemas Electrónicos para Entornos Inteligentes

  16. Emotional System Máster en Sistemas Electrónicos para Entornos Inteligentes

  17. Success Related Dialogue Features Máster en Sistemas Electrónicos para Entornos Inteligentes

  18. Several classes were implemented in order to provide code reusability and flexibility. Emotions and needs share attributes, and methods in order to calculate, and update its status Object Oriented Design Máster en Sistemas Electrónicos para Entornos Inteligentes

  19. Statistics Methods (Mean, Standard Deviation) • Storage of History Levels Object Oriented Design Máster en Sistemas Electrónicos para Entornos Inteligentes

  20. Process Running (Threads) Object Oriented Design Máster en Sistemas Electrónicos para Entornos Inteligentes

  21. Weight (Appraisals) • Critical Values • Need Formulas • Time Constants • EmotionsUpdate(K) Formula Object Oriented Design Máster en Sistemas Electrónicos para Entornos Inteligentes

  22. Allows the user to emulate the responses by providing input parameters (template, slot, status, value, relation, emotion). Its functionality was expanded to adapt emotional behaviour Hi-Fi System->Response Generation [V_CANCI][REPRO_CD] ¿Qué canción del cedé [V_DISCO] quiere?. ¿Qué canción del cedé [V_DISCO] quiere escuchar?. [V_CANCI][REPRO_CD][FRIEND] Tío, ¿Qué canción del cedé [V_DISCO] quieres?. [V_CANCI][REPRO_CD][FRIEND][SADNESS] Perdona tío, ¿Qué canción del cedé [V_DISCO] quieres?. Máster en Sistemas Electrónicos para Entornos Inteligentes

  23. Hi-Fi System->Response Generation • Example: • [V_CANCI][REPRO_CD][FRIEND][HAPPINESS] • Look forthistemplate • Ifnotfound -> Excludethelastoptionalparameter and look forthe new template [V_CANCI][REPRO_CD][FRIEND] • Ifnotfound -> Excludethelastoptionalparameter and look forthe new template [V_CANCI][REPRO_CD] • Ifnotfound -> Failure • Templates: • [V_CANCI][REPRO_CD] • ¿Qué canción del cedé [V_DISCO] quiere?. • ¿Qué canción del cedé [V_DISCO] quiere escuchar?. • [V_CANCI][REPRO_CD][FRIEND] • Tío, ¿Qué canción del cedé [V_DISCO] quieres?. Máster en Sistemas Electrónicos para Entornos Inteligentes

  24. A new synthesizer developed by the GTH was used. It takes into account the emotions and the intensity value. • Emotional Phrase Synthesizer Máster en Sistemas Electrónicos para Entornos Inteligentes

  25. A new synthesizer developed by the GTH was used. It takes into account the emotions and the intensity value. • Emotional Phrase Synthesizer Máster en Sistemas Electrónicos para Entornos Inteligentes

  26. A new synthesizer developed by the GTH was used. It takes into account the emotions and the intensity value. Synthesizer NegativeEmotions = 23.9+15+16.1+10 = 65 Positive Emotions = 23.9+25 = 48.9 Wins: NegativeEmotions Dominant: Sadness Intensity: 16.1/(23.9+15.0+25.0+16.1+10+10) Máster en Sistemas Electrónicos para Entornos Inteligentes

  27. Monitors/Simulate/Debug/Fine-Tune Supervisor Máster en Sistemas Electrónicos para Entornos Inteligentes

  28. Using SOAP, the supervisor system interacts with emotional system (both send and receive data). • The supervisor as well as the emotional system acts as a client/server depending if they are receiving or sending data. Supervisor->How it works? Máster en Sistemas Electrónicos para Entornos Inteligentes

  29. Supervisor Máster en Sistemas Electrónicos para Entornos Inteligentes

  30. Conclusions Máster en Sistemas Electrónicos para Entornos Inteligentes

  31. Future Work Máster en Sistemas Electrónicos para Entornos Inteligentes

  32. Demonstration Máster en Sistemas Electrónicos para Entornos Inteligentes

  33. Questions? Máster en Sistemas Electrónicos para Entornos Inteligentes

More Related