Exemples de sistemes de diàleg

1. Exemples de sistemes de diàleg

2. Sistemes de diàleg a gran escala • Diferents canals • Diferents llengües • Diferents aplicacions • Certa complexitat • Arquitectura modular i flexible: distribuïda • Integració de mòduls heterogenis

3. Sistemes de diàleg a gran escala (II) Arquitectures distribuïdes, basades en missatges • Galaxy Communicator Software Infrastructure (Seneff, Lau and Polifroni, 1999) • Un hub central permet la interacció entre mòduls • The Open Agent Architecture (Martin, Cheyer and Moran, 1999) • Un unitat central controla agents heterogenis • The MULTIPLATFORM (Herzog et al, 2004) • Control no centralitzat, comunicació assíncrona

4. Sistemes de diàleg a gran escala (III) • TRIPS: The Rochester Interactive Planning System (Allen et al, 2001) Especialitzat en planificació de tasques • evacuar gent de una illa amb huracan • coordinació de vehicles en una emergencia,… • COLLLAGEN (Rich, Sidner and Lesh, 2001) • Appicació teoría sobre el discurs col.laboratiu • GEMINI platform (Hamerich et al, 2004) • Basat en VoiceXML • Facilita la generació de sistemes per aplicacions

5. Exemple de projecte Desarrollo de un Sistema de Diálogo para Habla Espontánea en un Dominio Semántico Restringido(98 - 01) • Desenvolupar una interfície telefònica per a una tasca concreta. Consultes sobre horaris i preus de trens regionals i grans línies de RENFE • Financiat per la CICYT • Colaboració amb altres universidats (UPV, UV, UJC, UZ)

6. Tasques del projecte • Adquisició de corpus (conjunt d’exemples) per estudiar cóm l’usuari s’expressa quan demana informació sobre trens. • Estudiar i desenvolupar el sistema de reconeixement de veu, comprensió del llenguatge i sistema de generació de resposta • Desenvolupament d’un prototipus per consultes telefòniques en castellà sobre els trens de RENFE

7. Elecció de la tasca • Tasca ben delimitada. Fàcil d’entendre • Vocabulari estable i regular. No apareixen paraules estrangeres (Si en informació sobre viatges en avió o espectacles) • Les converses són riques (bastanta iteracció entre usuari- domini) • 2 corpus : • persona-persona • Mago de OZ

8. Adquisició del corpus persona-persona • 200 converses que trocaven al centre d’informació RENFE. Consultes reals (no simulacions) • Trucades des de Barcelona. En castellà • Es van escollir exemples variats • Recollir les diferents maneres d’expressar les consultes • Llenguatge massa complexe pels sistemes que es disposaven

9. Adquisició del corpus persona-persona • Utilitzat per acabar de definir la tasca • No incloure trens de rodalies : massa complexitat lèxica • Si viatges de anar-tornar i classes • No consultes sobre altres serveis relacionats (restaurants, abonaments, reserves,..) • Dissenyar el controlodar de diàleg i generació de resposta • Preparar un segon corpus persona-màquina

10. Adquisició del corpus Mago-de-Oz • Les persones s’expresssen diferent quan saben que parlen a una màquina • El sistema Mago-de-Oz permet recollir exemples de cóm parla l’usuari a un sistema abans de tenir el sistema • “Enganyar” a l’usuari • Si es disposa de “part” del sistema (ex. Reconeixedor, millor utilitzar-lo

11. Adquisició del corpus Mago-de-Oz • Utilitzava sistema de text a veu per donar similitud • Definició de l’estrategia a seguir per dónar informació a l’usuari. Regles: • Si pregunta sobre horaris o preus sense dir destir ---> preguntar destí • Si el resultat d’una consulta són més de 3 trens ---> donar el nº de trens i el primer i últim • Preparació de les respostes. (Plantilles predefinides)

12. Adquisició del corpus Mago-de-Oz • Com aconseguir que la gent participi • Connectar el sistema a un punt de servei real. (Pot resultar difícil). • Preparar a la gent que participi. 75 persones Consultes: • 2 escenaris definits • Horaris del primer tren de Castelló a València • 1 escenari més obert • Indicar que ha de demanar informació sobre un tren

13. Adquisició del corpus Mago-de-Oz • 225 sessions • Senyals adquirides (un canal d’entrada i un de sortida) • Segmentació entre torns • Text associat a cada torn • Símbols per indicar fenòmens estranys: • Paraules mal pronunciades • Soroll extern

14. Controlador del diàleg (XII) Implementació: - Construcció a mà de les transicions del diàleg(dialog flow) • Gramàtiques • Llenguatge de scripts • Graf d’objectes o mòduls del diàleg • Eines semi-automàtiques Rapid Dialogue Prototyping Institute of Techology of Lausane • Model probabilístic i tècniques d’aprenentatge Grup de PLN de la UPV (Basurde)

15. Controlador del diàleg (XIII) Models probabilístics Grup de PLN de la UPV (Basurde). Model 1 • Model de diàleg per trobar l’optim acte de diàleg que ha de realitzar el sistema en cada estat ^ D = argmaxPr(D|w,d) D • w últim torn de l’usuari • d història del diàleg (seqüència d’actes anteriors de diàleg) ^ • D òptim acte del sistema

16. Controlador del diàleg (XIV) Models probabilístics Grup de PLN de la UPV (Basurde). Anotació de corpus Vull anar a Madrid amb l’Unamuno Anotació semàntica Vull: consultaanar :<hora_sortida> a :<marca_desti>Madrid:<ciutat_desti>ambl’’Unamuno :<tipus_tren>

17. Controlador del diàleg (XV) Models probabilístics Grup de PLN de la UPV (Basurde). Model 2 • Incorporació de unitats semàntiques que assigna el mòdul de comprensió a les paraules de la intervenció ^ D = argmaxPr(D|u,w,d) D • u unitats semàntiques donades pel mòdul de comprensió • w últim torn de l’usuari • d història del diàleg ^ • D òptim acte del sistema

18. Controlador del diàleg (XVI) Models probabilístics Grup de PLN de la UPV (Basurde). Anotació de corpus Vull anar a Madrid amb l’Unamuno Anotació semàntica amb categories Vull: consultaanar :<hora_sortida> a :<marca_desti> Madrid: INSTANCIA: <ciutat_desti>ambl’Unamuno INSTANCIA: :<tipus_tren>

19. Controlador del diàleg (XVII) Models probabilístics Grup de PLN de la UPV (Basurde) El model diàleg utilitza • Model Hidden Markov basat en paraules per assignar actes de diàleg als torns de l’usuari • Gramàtica N-gram com a història de diàleg • Corpus amb etiquetes semàntiques

20. Controlador del diàleg (XVIII) Models probabilístics Grup de PLN de la UPV (Basurde). Anotació de corpus • Considerar informació essencial per determinar l’estratègia de diàleg • Etiqueta semàntica. Actes de diàleg - Intenció de l’usuari - Informació en un segment: sub-sentència del torn • Per reduir etiquetes --> categorització de ciutats, hores, dies,...

21. Controlador del diàleg (XIX) Models probabilístics Grup de PLN de la UPV (Basurde). Anotació de corpus • 226 diàlegs orals en espanyol • Obtinguts amb la tècnica de Wizard of Oz • Contingut: preguntes de hora de sortida i arribada, cost del viatge, tipus de tren, etc.. • 394 etiquetes d’actes de diàleg: 137 del sistema i 257 de l’usuari

22. Controlador del diàleg (X) Eines semi-automàtiques Rapid Dialogue Prototyping Laboratory, Swiss Federal Institute of Techology of Lausane • Genera un model de diàleg per una aplicació concreta en 3 fases: • Recull corupus de diàleg utilitzant tècnica Wizard of Oz • Construcció d’un primer model del diàleg utilitzant l’einaRapid Dialogue Prototyping • Implementació i validació del prototipus

23. Project Overview (II) aTTemps (accès telefonic al Temps) • aTTemps is an automatic system to access meteorological information by phone. • Supported by • Catalunya Government • Universitat Politècnica de Catalunya • Universitat de Barcelona

24. Project: aTTemps (accès telefonic al Temps) Provides personalized real-time data on a set of meteorological conditions on each place of the Catalan geography In Catalan language http://www.smc.gencat.es

25. The Dialogue Manager Module inaTTemps (I) • Main goals • Provide the right information in minimum time • Guiding the user in order to avoid situations where she will be lost

26. aTTemps : An example of conversation System: Welcome to the ATTEMPS meteorological warning and information system. You can always say help, correction, repetition or exit. From which Catalan place do you want information, or do you want to establish a warning? User: I am interested in Barcelona, please. System: From Badalona, which information do you need? User: I want to correct, not from Badalona. System: From which Catalan place do you want information User: I want to know the weather right now in Barcelona. System: From Barcelona, which information do you need? User: I need the temperature, please. System: In the last measure at 14:30h, the temperature was 20 degrees. Do you need any other information User: No, thanks. System: Thanks for calling

27. The Dialogue Manager Module inaTTemps (II) • Strategy • Dialogue Flow. Barge-in • Confirmation policy • Implicit as a general rule • Explicit in critical situations • Amount of Data per Turn • Considering the complexity • Helping features. Helping messages • Language generation • Using templates

28. Rapid Dialogue Prototyping Laboratory Swiss Federal Institute of Techology of Lausane • Eines semi-automàtiques • Genera un model de diàleg per una aplicació concreta en 3 fases: • Recull corupus de diàleg utilitzant tècnica Wizard of Oz • Construcció d’un primer model del diàleg utilitzant l’einaRapid Dialogue Prototyping • Implementació i validació del prototipus

29. REFERÈNCIES • Allen, J., Byron, D., Dzikovska, M., Ferguson, G., Galescu, L and Stent, A. (2001) ‘Toward Conversational Human-Computer Interaction’, AI Magazine, vol. 22, no. 4, Winter. • Araki, M. and Tachibana, K. (2006) ‘Multimodal Dialog Description Language for Rapid System Development’, Workshop Proceedings, the 7th SIGdial Workshop on Discourse and Dialogue, Sidney, Australia. • Hamerich, W., Schubert, V., Schless, V., Córdoba, R., Pardo, J., D’Haro, L., Kladis, B., Kocsis, O. and Igel, S. (2004) ‘Semi-Automatic Generation of Dialogue Applications in the GEMINI Project’, Workshop Proceedings, SIGdial Workshop on Discourse and Dialogue, Cambridge, USA

30. REFERÈNCIES (II) • Herzog, G., Ndiaye, A., Merten, S., Kirchmann, H., Becker, T., Poller, P. (2004) ‘Large-scale software integration for spoken language and multimodal dialog systems’, Journal of Natural Language Engineering, vol. 10, no. 3-4, September, pp. 283-305. • Ito, K. (2005) ‘Introducing Multimodal Character Agents into Existing Web applications’, Conference Proceedings, the World Wide Web Conference, Chiba, Japan, pp. 966-967. • Kumar, S., Cohen, P.R. and Huber, M.J. (2002) ‘Direct Execution of Team Specification in STAPLE, Conference Proceedings, AAMAS Conference, Bologna, Italy, pp. 567- 568. • Martin, D. L., Cheyer, A. J. and Moran, D. B. (1999) ‘The Open Agent Architecture: A Framework for Building Distributed Software Systems’, Applied Artificial Intelligence, vol. 13, pp. 91-128.

31. REFERÈNCIES (III) • Narayan, M., Williams, C. Perugini, S. and Ramakrishnan, N. (2004) ‘Staging Transformations for Multimodal Web interaction Management’, Conference Proceedings, World Wide Web Conference, New York, USA, pp. 212-223. • Seneff, S., Lau, R. and Polifroni, J. (1999), ‘Organization, communication and control in the Galaxy-II conversational system’, Conference Proceedings, Eurospeech, Budapest, Hungary, pp. 1271-1274. • Rich, Ch., Sidner, C. and Lesh, N. (2001) ‘COLLAGEN: Applying Collaborative Discourse Theory to Human-Computer Interaction’, AI Magazine,vol. 22,n 4,15-25. • Richards, J. and Hanson, V. (2004), ‘Web accessibility: A broader view’ Conference Proceedings, World Wide Web Conference, New York, USA, pp. 72-79.