Sistemas de Diálogo Hablado

1. Sistemas de Diálogo Hablado Workshop-Brainstorming 30 abril 2013 Seminario de Lógica y Lenguaje. Universidad de Sevilla

2. Sistemas de Diálogo Hablados Comprensión Lenguaje Procesamiento Señal Reconocimiento Voz Interpretación Discurso Gestión de Diálogo Generación del Lenguaje Texto-Habla Seminario de Lógica y Lenguaje. Universidad de Sevilla

3. Sistemas de Diálogo Hablados Comprensión Lenguaje Procesamiento Señal Reconocimiento Voz Interpretación Discurso • La flor es bonita • La (det) flor (n) es (v) bonita (adj) • La flor (SN) es bonita (SV) • Flor 1. f. Brote de muchas plantas, formado por hojas de colores, del que se formará el fruto. • Morfología • Sintaxis • Semántica Gestión de Diálogo Generación del Lenguaje Texto-Habla Seminario de Lógica y Lenguaje. Universidad de Sevilla

4. Esquema • A: Ingeniería Lenguaje • Procesamiento de la Señal y Habla • Reconocimiento de voz • Comprensión del lenguaje • Texto-Habla • B: Gestión Diálogo • Discurso y Diálogo • Interpretación Discurso • Gestión Diálogo • Generación del lenguaje Seminario de Lógica y Lenguaje. Universidad de Sevilla

5. Procesamiento de la Señal y Habla • Procesamiento de la señal • Convertir la onda sonora en un vector de rasgos acústicos • Reconocimiento de voz • Decodificar el vector de rasgos acústicos en una secuencia de palabras • Comprensión del lenguaje • Determinar el significado de las palabras reconocidas • Texto-Habla • Generar voz sintética a partir de una cadena de palabras etiquetadas acústicamente Seminario de Lógica y Lenguaje. Universidad de Sevilla

6. Desafíos y Limitaciones: Tipo de Habla -> Reconocimiento de Voz • Dependiente Hablante vs. no-dependiente • Pronunciación • Habla controlada • Tamaño y tipo de vocabulario • Gramática • Habla espontánea vs. habla leída • Vocabulario fuera de rango • Cobertura gramatical • Calidad de la señal de entrada • Transductor (micrófono vs. móvil, etc.) • Ruido de fondo Seminario de Lógica y Lenguaje. Universidad de Sevilla

7. Esquema • A: Ingeniería Lenguaje • Procesamiento de la Señal y Habla • Reconocimiento de voz • Comprensión del lenguaje • Texto-Habla • B: Gestión Diálogo • Discurso y Diálogo • Interpretación Discurso • Gestión Diálogo • Generación del lenguaje Seminario de Lógica y Lenguaje. Universidad de Sevilla

8. Discurso y Diálogo • Interpretación del discurso • Entender lo que el usuario quiere dar a entender en todo el volumen de su discurso y en cada una de sus intervenciones • Gestión del diálogo • Determinar la respuesta del sistema al usuario para conseguir los objetivos del usuario frente al sistema • Generación del lenguaje • Generar oraciones en lenguaje natural que faciliten la interacción con el usuario para la consecución de esos objetivos Seminario de Lógica y Lenguaje. Universidad de Sevilla

9. Esquema • A: Ingeniería Lenguaje • Procesamiento de la Señal y Habla • Reconocimiento de voz • Comprensión del lenguaje • Texto-Habla • B: Gestión Diálogo • Discurso y Diálogo • Interpretación Discurso • Referencia • Intención hablante • Gestión Diálogo • Generación del lenguaje Seminario de Lógica y Lenguaje. Universidad de Sevilla

10. Referencia Discurso: Soluciones • Fuentes de conocimiento: del dominio, del discurso, del mundo • Rasgos ortográficos • Palabras clave • Historia del diálogo • Estructura del diálogo • Cambios temáticos • Rasgos prosódicos: duración, pausa, F0, rapidez habla • Etc. • Grupos focales • Se mantienen los últimos objetos en un paquete • Se seleccionan los objetos que satisfacen las características semánticas y sintácticas del paquete empezando por los más de arriba • Centering • Backward-looking: Se fija un punto central en la oración y se busca los anclajes hacia atrás • Forward-looking Seminario de Lógica y Lenguaje. Universidad de Sevilla

11. Referencia Discurso: Soluciones S: Buenos días, en qué puedo ayudarle U: Me gustaría comprar entradas para la obra “El discurso del rey” S: ¿A qué teatro le gustaría ir? U: Al teatro central. ¿Cuál es el horario de representaciones? S: A las 7 y a las 9 los sábados. sábado 21:00 horas 19:00 horas Teatro central El discurso del rey Seminario de Lógica y Lenguaje. Universidad de Sevilla

12. Intención Hablante: Soluciones • Procesamientoentrada del usuario: • Cadaentradaesunaintención/tarea en simisma (crea un subdiálogo) • Cadaentradalleva a conseguirunaintención/tareaúnica • Procesamiento de la intención se basa en palabras claves o en surepresentaciónsintáctico-semántica • Diseño de mapas de palabras clave/tareas: • Emparejamiento con modelos • Modelosprobabilísticos • Medidas de similitud de vectores de rasgos • Etc. Seminario de Lógica y Lenguaje. Universidad de Sevilla

13. Esquema • A: Ingeniería Lenguaje • Procesamiento de la Señal y Habla • Reconocimiento de voz • Comprensión del lenguaje • Texto-Habla • B: Gestión Diálogo • Discurso y Diálogo • Interpretación Discurso • Gestión Diálogo • Generación del lenguaje Seminario de Lógica y Lenguaje. Universidad de Sevilla

14. Gestión Diálogo: Funciones • Guiar el diálogo con el usuario hasta la consecución de las tareas • Contestar • Solicitar información • Confirmar/aclarar • Notificar de peticiones no servidas en el sistema • Sugerir alternativas a las peticiones recibidas del usuario • Etc. • Interfaz entre los componentes de usuario/lenguaje y la base de datos/gestor del conocimiento Seminario de Lógica y Lenguaje. Universidad de Sevilla

15. Resumen • Limitaciones de la entrada desde el Reconocedor de voz • Limitaciones de la aplicación (volumen de vocabulario) y dominio (+/- complejo) • Estructuras complejas de la lengua: • Referencia • Intención del hablante • Estrategias de análisis del discurso: • Almacenamiento historial diálogo • Implicaturas Seminario de Lógica y Lenguaje. Universidad de Sevilla

16. Demo • http://www.limsi.fr/tlp/kiosk-sncf.html