Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez

1. Mejora de la interfaz vocal de control de un robot autónomo móvil. Adaptación acústica y generación supervisada de mapas Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez

2. Índice • Objetivos • Proyecto ROBINT • Técnicas empleadas • Configuración del sistema • Adaptación • Evaluación y pruebas • Conclusiones y líneas futuras

3. Objetivos • Adaptación de los modelos acústicos • Guiado del robot • Aprendizaje automático

4. Proyecto ROBINT • Robots guía • Interacción hombre-robot • Generación de mapas

5. Guiado del robot • Fase de aprendizaje • Fase de verificación • Propuesta inicial de frases • Relación con el guía • Movimiento • Grafo • Confirmación • Visita

6. Técnicas empleadas • Adaptación a tarea o a locutor • Máximo a posteriori (MAP) • HTK

7. Configuración del sistema

8. Configuración del sistema • Ficheros de configuración • Detector.ini • Entorno.ini • Tade.ini • Voz.ini • Reco_cfg_generico.ini • Prb_htk_generico_Speechdat.ini

9. Configuración del sistema • Ficheros de configuración • Urbano.ini

10. Configuración del sistema

11. Configuración del sistema

12. Adaptación • Interfaz Gráfica • CRobintDialog • Caracteristicas_modelo • Adaptacion • Thread principal • Threads_ROBINT

13. Adaptación

14. Adaptación

15. Adaptación

16. Adaptación

17. Adaptación

18. Adaptación MCC =Micrófono con cable MSC = Micrófono sin cable Ruido = Entorno ruidoso noRuido = Entorno no ruidoso

19. .dic .data Modelos adaptados Adaptación MAP Adaptación MLLR Modelos adaptados Adaptación Formateo para HTK Adaptación diccionarios Generación de ficheros de etiquetas Parametrización ficheros de audio Normalización

20. Evaluación y pruebas • Evaluación de los modelos genéricos

21. Evaluación y pruebas • Evaluación de los modelos genéricos • Experimentos de adaptación • Experimento 1: Emplear para cada emoción las mismas 90 frases de entrenamiento y 10 frases de test siempre. • Experimento 2: Dividir las frases en 10 grupos de manera que se prueben todas las frases, haciendo un promedio de los resultados.

22. Evaluación y pruebas • Determinación de laτóptima

23. Evaluación y pruebas • Determinación de laτóptima • Proporción entre entrenamiento y test

24. Evaluación y pruebas • Determinación de laτóptima • Proporción entre entrenamiento y test • Reconocimiento cruzado Reconocimiento cruzado en el hombre

25. Evaluación y pruebas • Determinación de laτóptima • Proporción entre entrenamiento y test • Reconocimiento cruzado Reconocimiento cruzado en la mujer

26. Evaluación y pruebas • Determinación de laτóptima • Proporción entre entrenamiento y test • Reconocimiento cruzado

27. Evaluación y pruebas • Determinación de laτóptima • Proporción entre entrenamiento y test • Reconocimiento cruzado • Entrenamiento con varias emociones

28. Evaluación y pruebas

29. Conclusiones • Se han mejorado y simplificado la portabilidad y configuración del sistema • Se ha añadido la posibilidad de que el locutor realice una adaptación de los modelos al sistema • Interfaz gráfica • Script de Windows • Primera aproximación al guiado del robot • En la adaptación de habla emocionada son mucho más efectivos los valores bajos de τ para dar más peso a los datos de adaptación • El habla neutra no es la que mejor reconoce a las demás emociones • Entrenar con más emociones no significa reconocer mejor

30. Líneas futuras de investigación • Llevar a cabo la implementación del prototipo para el sistema de guiado del robot • Estudiar la mejora en el reconocimiento con emociones empleando la técnica MLLR

31. ¿PREGUNTAS?