Index

1. Index Els sistemes de diàleg • Introducció • Tasques dels sistemes de diàleg • Interpretació de la intervenció de l’usuari • Controlador del diàleg • Generació de resposta • Arquitectura • Disseny i avaluació

2. Introducció • Comunicació persona/màquina • Funció: Permetre que persones concretes realitzin tasques concretes d’acord amb els seus objectius • L’usuari no pot expressar el requeriment en una sola intervenció • Necessita la intervenció del sistema per a que la comunicació sigui amistosa

3. Introducció(II) • Termes utilitzats: • Human Computer Interfaces • Natural Language Interfaces • Speech Based Interfaces • Conversational Interfaces • Conversational Agents • Dialogue Systems • Spoken Dialogue Systems

4. Introducció(III) • Avantatges d’utilitzar el mode LN per comunicar-se • Llenguatge no artificial • Permet expressar consultes complexes • Suporta formes variades de referència anafòrica • Inconvenients d’utilitzar el mode LN per comunicar-se • Ambigüitat • Limitacions per accedir a algunes aplicacions • Poc eficient • Elevat cost • Usuaris ocasionals per expressar operacions complexes sobre dominis restringits

5. Introducció (IV) • Avantatges d’utilitzar el mode veu (speech) • Comoditat • Evita la utilització de les mans • aparells petits • aplicacions mòbils (ex. per conductors de transports) • minusvàlids • Inconvenients d’utilitzar el mode veu (speech) • Problemes de reconeixement • Ambigüitat • Limitacions per accedir a algunes aplicacions • Poc eficient • Elevat cost • Adequat per operacions simples sobre dominis restringits

6. Tasques dels sistemes de diàleg • Interpretació de la intervenció de l’usuari • Interpretar en el context del diàleg • Controlar el diàleg • Determinar els objectius del sistema considerant la intenció de l’usuari • Generació de resposta • Generar les frases que permeten assolir els objectius del sistema

7. Interpretació de la intervenció de l’usuari • Objectiu: entendre el que l’usuari realment preten • - Tipus de coneixement involucrat • Fonètic i fonològic • Morfològic • Sintàctic • Semàntic • Pragmàtic • Discurs

8. Interpretació de la intervenció de l’usuari (II) • El processament pot ser més simple o complex depenent dels sistemes • Anàlisi sintàctic i semàntic complet • Anàlisi sintàctic i semàntic parcial • Limitat a la búsqueda de paraules clau (key words) • Sempre adaptat a una aplicació concreta

9. Interpretació de la intervenció de l’usuari (III) • Objectiu: entendre el que l’usuari realment preten • Tasques bàsiques • Resolució de referències • Reconeixement de la intenció • Interpretació en context • El resultat del processament semàntic s’ha de interpretar en el context.

10. Resolució de Referències(sistemes reals) • Inexistent: no es processen les referències • Només es processen referències simples • S’utilitza una pila amb els objectes focus • No es considera l’estructura del discurs • Example: U: On fan Alatriste a Sant Cugat? Alatriste Sant Cugat

11. Reconeixement de la intenció • Reconeixement de cada intervenció de l’usuari com un (o més) acte de diàleg (speech act o dialogue act) • Exemples d’actes de dialogue • Switchboard DAMSL • Inic/fi convencional • Opinió • Confirmitat/Acceptació • Reconeixement • Pregunta/RespostaYes-No • No-verbal • Abandó • Esforços per definir estàndards • Verbmobil • Salutació/Gràcies/Adeu • Sugeriment • Acceptació/Rebuig • Confirmació • Pregunta clarificació/Resposta • Donar la raó • Romiant

12. Reconeixement de la intenció (Recerca) • Gramàtica del diàleg (d’estats finits) • Comprensió del discurs basats en plans • “Receptes”: marcs per realitzar accions • Regles d’inferència • Tècniques de planificació de IA S / Salutació U / Pregunta S / Resposta U / Adéu U / Pregunta

13. Reconeixement de la intenció (Sistemes reals) • Intenten obtenir la tasca que l’usuari vol que realitzi el sistema • Sistema d’informació d’events culturals • Horaris o llocs on es fa un event • Events que es fan en un lloc • Sistema d’informació de trens • Informació d’horaris a un destí • Informació de preus d’un tren concret (I.e., Euromed) • El sistema va preguntant a l’usuari la informació que l’aplicació necessita • S’ignora la infomació de l’usuari no útil per l’execució de l’aplicació

14. Reconeixement de la intenció (Sistemes reals)(II) • La iniciativa és del sistema • No es permeten actes de diàleg complexos iniciats pel usuari • confirmació, clarificació, o respostes indirectes S1: Quin és el seu número de compte? U1: Es refereix al meu número del compte corrent? S2: Voldria transferir 1,500 euros del seu compte corrent al dipòsit? U2: Si en tinc suficients si

15. Reconeixement de la intenció (Sistemes reals)(III) • Contingut de la informació de l’usuari • El tipus de tasca que desitgen que el sistema realitzi • Informació sobre els concerts de música clàssica a Barcelona • La informació necessària per realitzar una tasca concreta • El proper dissabte a l’Auditori • La intenció s’obté del resultat del processament de la intervenció de l’usuari • Basada en les paraules clau (keywords) o • Processament sintàctic i semàntic

16. Reconeixement de la intenció (Sistemes reals)(IV) Obtenir la intenció • Marcs (o frames) que representen la informació necessària per cada tasca • Horaris de trens: un origen i un destí • Models probabilístics • Mesures de similaritat basades en vectors

17. Reconeixement de la intenció (Sistemes reals)(V) Utilitzant representació semàntica i frames • Representació de la tasca de donar informació • conjunt d’atributs que tenen valor (es disposa informació) • conjunt d’atributs dels quals es demana el valor • Representació de la interpretació semàntica • conjunt d’atributs amb valor o dels que es demana el valor

18. Reconeixement de la intenció (Sistemes reals)(VI) U: A quina hora fan Alatriste a Sant Cugat? Intenció: preguntar informació Attributs amb valors Pel.lícula: Alatriste Lloc: Sant Cugat Attribut a omplir:hora

19. Reconeixement de la intenció (Sistemes reals)(VII) • Utilitzant paraules clau i mesures basades en vector de similitud • Representar la pregunta i l’objectiu com a vectors • Buscar el vector objectiu més simlar a la pregunta • Mètrica de similaritat • cosinus de l’angle entre els dos vectors

20. Tasques dels sistemes de diàleg • Interpretació de la intervenció de l’usuari • Interpretar en el contexte del diàleg • Controlador del diàleg • Determinar els objectius del sistema considerant la intenció de l’usuari • Generació de resposta • Generar les frases que permeten obtenir els objectius del sistema

21. Controlador del diàleg • Controlar el diàleg per aconseguir els objectius de l’usuari • En cada moment de la conversa • Qui pot parlar • De què es pot parlar • Informació utilitzada • Interpretació de la intervenció de l’usuari • Coneixement sobre l’aplicació

22. Controlador del diàleg (II) • Determinar què realitzar • Respondre les preguntes a l’usuari • Sol.licitar més informació • Confirmar/Clarificar • Notificar quan l’aplicació ha fallat • Sugerir alternatives • Interfície entre els components que processen la intervenció de l’usuari i la base de coneixement

23. Controlador de diàleg (III) Exemple d’obtenció de la informació sobre vols AtributPregunta opcional AeroportOrigen “De quin aeroport” AeroportDestí “A on vol anar?” HoraSortida “A quina hora vol sortir?” Hora d’arribada “A quina hora vol arribar?” Classe Companyia Anada

24. Controlador del diàleg (IV) Preparació, en cada torn, de la resposta de l’usuari • Obtenir informació de l’usuari: • Ambigüitats causades per problemes de reconeixement • Has dit Barcelona o Badalona ? • Especificació incompleta • Quin dia vols viatjar? • Presentació de la resposta • Negociació amb l’usuari: reduir el nombre de respostes • He trobat 10 vols, prefereixes alguna companyia en especial ? • Si es presenta per pantalla • Resums, gràfics, taules

25. Controlador del diàleg (V) • Guiar a l’usuari • Presentar nous objectius • Vols saber el preu de l’itinerari? • Presentar alternatives • No tinc informació de vols a Girona, vols els de Barcelona ? • Indicar a l’usuari el que el sistema es capaç de reconèixer i/o respondre: • Quanta més iniciativa pot prendre l’usuari més problemes per desconeixement de: • Capacitats del sistema: Trajectes de Barcelona a Vilallobent • El rang: ex. pobles dels quals el sistema no disposa informació • El llenguatge que el sistema reconeix • Sistemes d’ajudes: Depenen del context

26. Controlador del diàleg (VI) • Recuperació d’errors • Diferents causes: acústiques, estil de la parla, disfluències, vocabulari, sintaxis • Incorporació de percentatge de confidència per tractar entrades problemàtiques • Diàleg més dirigit • Confirmació explícita: demanar informació de només el que no s’ha entès bé. (Anàlisi parcial) • Altres estratègies • Tractament d’interrupcions • Problema acústic, de comprensió i de diàleg • Ex: Dóna'm més informació sobre aquest

27. Controlador del diàleg (VII) • Principals decisions de disseny • Funcionalitat: Les tasques que el sistema ha de fer • Processament: Cóm ha de realitzar aquestes tasques • Condicionaments • Complexitat de la tasca: algunes senzilles altres no • Complexitat del diàleg: els fenòmens permesos • Iniciativa de l’usuari? • Afecta • Robustesa • Naturalitat

28. Controlador del diàleg (VIII) • Contingut dels diàlegs • Només de la tasca que el sistema realitza • Subdiàlegs: clarificació, confirmació • Meta-diàlegs (sobre el diàleg) • Podria esperar al telèfon? • Qui pot iniciar els diferents tipus de diàleg • Només el sistema • Només l’usuari • Els dos

29. Funcionalitat del controlador de diàleg • Determina el conjunt de possibles objectius que el sistema pot seleccionar a cada torn • Condicionat • Complexitat de la tasca • Complexitat del diàleg • Es permeten subdiàlegs? Per a qui? • Es permeten meta-diàleg? Per a qui?

30. Funcionalitat del controlador de diàleg(Recerca) • Complexitat de les tasques: de moderades a complexes • Planificació de viatges • Complexitat del diàleg • Subdiàlegs de certa complexitat • El sistema i l’usuari poden pendre la iniciativa • Col.laboren per resoldre una tasca • Meta-diàlegs

31. Funcionalitat del controlador de diàleg (Sistemes reals) • Complexitat de les tasques: de simples a moderades • Informació sobre el temps • Informació sobre horaris de trens • Complexitat del diàleg • Diàlegs restringits a la tasca de l’aplicació • Iniciativa del sistema • Subdiàlegs limitats

32. Processament del controlador de diàleg (Sistemes actuals) • Estratègies de iniciativa • Sistema • Usuari • Mixte • Variable • Mecanismes per modelar la iniciativa • Iniciativa del sistema i mixte: màquines d’estats finits • Iniciativa variable, depenent de: • Historia del diàleg • Errors de comprensió • Intervenció de l’usuari ambigua, incompleta

33. Coneixement utilitzat • Els models de control de diàleg poden utilitzar • Models de diàleg • Defineixen el fenòmens generals del diàleg • Models de tasques • Defineixen les tasques concretes d’una aplicació • Sistemes basats en frames. Obtenir el valor dels paràmetres • Informació vols: origen, destí, data • Models de domini • Defineixen els conceptes i relacions que es poden donar en un domini concret • Apropiat per dominis complexes • Aquests models poden ser implícits • Sistemes d’estats finits

34. Model del diàleg • Teoria o model del diàleg • Establir el marc en el que han de ser interpretades les expressions • Estat del diàleg: • Entitats referenciades i les seves relacions • Evocació d’aquestes entitats • Referència a aquestes entitats

35. Controlador de diàleg (Resum) • Decideix la resposta del sistema a una sentència de l’usuari • Tractament d’ambigüitats i informació incompleta en les intervencions de l’usuari • Obtenció de la informació que demana l’usuari accedint a l’aplicació o a bases de coneixement • Presentació de la resposta

36. Controlador de diàleg (Resum) (II) • Treballs de recerca • Centrats en el desenvolupament d’algoritmes per tractar fenómens de diàleg en tasques complexes • Sistemes de diàleg reals • Centrats en el desenvolupament d’estratègies robustes, per tractar en temps real fenòmens de diàleg comuns a tasques simples

37. Tasques dels sistemes de diàleg • Interpretació de la intervenció de l’usuari • Interpretar en el context del diàleg • Controlador del diàleg • Determinar els objectius del sistema considerant la intenció de l’usuari • Generació de resposta • Generar les frases que permeten assolir els objectius del sistema

38. Generació de resposta • Objectiu: Generar frases per aconseguir els objectius seleccionats pel controlador • Tasques • Selecció de contingut : determimar què dir • Forma part de la planificació dels discurs • Realització superficial: determinar cóm dir-ho • Presentar el contingut de forma lingüísticament correcte

39. Selecció de contingut • Objectiu: Determinar el contingut proposicional de frases per tal d’aconseguir els objectius • Exemples: • Alatriste no és fa a Sant Cugat [Nucli] • A Barcelona si [Satèl.lit] • Li agradaria una suite? [Nucli] • Es el mateix preu que l’habitació doble[Satèl.lit] • La Flauta Màgica aquest any no es representa al Liceu [Nucli] • Però les Noces de Figaro si [Satèl.lit]

40. Selecció de contingut (Recerca) • Fonts de coneixement • Bases de coneixement del domini • Creences de l’usuari • Model de usuari: característiques, preferències, etc. • Història del diàleg • Mecanismes de selecció de contingut • Esquemes: plantilles • Primer donar nom objecte, després atributs • Generació basada en regles • Sistemes que relacionen frases d’entrada a frases sortida • Sense processament lingüístic • Generació basada en plans • Raonament basat en casos

41. Selecció de contingut (Sistemes reals) • Fonts de coneixement • Bases de coneixement del domini • Història del diàleg • Estratègies pre-determinades de selecció de contingut • Només nucli, no informació de satèl.lit • Nucli + satèl.lit fix

42. Realizació superficial • Objectiu: determinar com es presenta el contingut seleccionat • Exemples: Alatriste s’està fent al cinema CINESA de Sant Cugat • Tasques • Construcció de claúsules • Selecció lèxica

43. Realizació superficial (Recerca) • El generador superficial requereix d’entrada • Representació semàntica • L’estructura de les claúsules • El component de la realització superficial utilitza una gramàtica i un lèxic per generar la frase

44. Realizació superficial (Sistemes reals) • Sentències “enllaunades” • Frases predeterminades per objectius específics • Salutacions • Demanar l’usuari que repeteixi • Útil quan la sortida és en veu • Generació basada en plantilles • Plantilles per objectius • Notificació: Se li ha assignat el número X. • Informar: A,B,C,D, i E es fan al cinema F. • Clarificació: Ha dit X o Y?

45. Arquitectura (Esquema) Coneixement i Adquisició i Informació gestió lingüística Sistema de diàleg Aplicació usuari Informàtica Informació dinàmica

46. Arquitectures dels sistemes de diàleg Expressió en LN Comprensió Regles de control de diàleg Controlador Model de tasques i model domini del diàleg Model del discurs Interfície amb Aplicació l’aplicació Generació Informàtica Expressió en LN

47. Arquitectures dels sistemes de diàleg(II) Expressió Reconeixement de veu en LN Comprensió Regles de control de diàleg Controlador Model de tasques i model domini del diàleg Model del discurs Interfície amb Aplicació l’aplicació Generació Informàtica Síntesi de veu Expressió en LN

48. Components dels sistemes de diàleg parlats Entrada oral: Del senyal acústic al significat • Conversió del senyal en un conjunt de paraules • Obtenció del significat a partir de les paraules • Utilització del component discurs Sortida oral: De la informació al senyal acústic • Conversió de la informació en sentències en LN • Conversió del text en senyal Controlador de diàleg

49. Entrada oral: Del senyal acústic al significat (II) Conversió del senyal en un conjunt de paraules • Disfluències • Pauses amb silencis o expressions com: umm, aah • Fragments de paraules • Introducció de models que treballen amb pauses • Paraules que el vocabulari del sistema no conté Introducció de models que aprenen noves paraules • Reconeixement de la veu per telèfon: més difícil • Limitacions en la amplada de la banda i les distorsions • En els mòbils les condicions encara són pitjors

50. Entrada oral: Del senyal acústic al significat (III) Obtenció del significat a partir de les paraules Model estadístics del llenguatge (ex. n-gram) especificant la probabilitat d’una paraula donada l’anterior • No es tracta de comprensió • En veu no hi ha certesa en el reconeixement de les paraules anteriors: moltes hipòtesi alternatives • Ex: Euthanasia o youth in Asia • Agramatical, conté fragments, disfluències