1 / 41

I v á n L ó p e z E s p e j o

TRABAJO FIN DE CARRERA. Generación de Máscaras Soft para Compensación de Características en Reconocimiento Robusto del Habla. I v á n L ó p e z E s p e j o. SUMARIO. Introducción y Motivación Fundamentos del Seguimiento Diseño del Filtro Bayesiano Modelado del proceso de ruido

abner
Download Presentation

I v á n L ó p e z E s p e j o

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. TRABAJO FIN DE CARRERA Generación de Máscaras Soft para Compensación de Características en Reconocimiento Robusto del Habla I v á n L ó p e z E s p e j o

  2. SUMARIO • Introduccióny Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  3. 1. INTRODUCCIÓN Y MOTIVACIÓN • Introducción y Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  4. 1. INTRODUCCIÓN Y MOTIVACIÓN • Acto de hablar: Usualmente en entornos acústicos ruidosos • Alta capacidad de reconocimiento en el ser humano • Necesidad de adaptación de los sistemas ASR • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  5. 1. INTRODUCCIÓN Y MOTIVACIÓN • Acto de hablar: Usualmente en entornos acústicos ruidosos • Alta capacidad de reconocimiento en el ser humano • Necesidad de adaptación de los sistemas ASR • Algunas técnicas para mejorar el matching: • Adaptación de los modelos • Descomposición de HMMs • Realce de las características de voz • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  6. 1. INTRODUCCIÓN Y MOTIVACIÓN • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  7. 1. INTRODUCCIÓN Y MOTIVACIÓN • Motivaciones • Mejora del rendimiento de un sistema ASR • Ventajas de la metodología de realce • Aplicaciones: • Búsqueda de información • Ejecución de transacciones • Control de sistemas (entornos industriales) • … • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  8. 2. FUNDAMENTOS DEL SEGUIMIENTO • Introducción y Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  9. 2. FUNDAMENTOS DEL SEGUIMIENTO • Seguimiento:Estimación de la secuencia de estados de un sistema a partir de sus observaciones • Modelo compuesto de dos procesos • Proceso de estados • Proceso observado • Solución MMSE Seguimiento Bayesiano • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  10. 2. FUNDAMENTOS DEL SEGUIMIENTO • Justificación del filtro de partículas • Evaluación compleja: • Solución: modelado markoviano • Aproximación numérica: (muestreo y remuestreo de importancia + integración de Monte Carlo) • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  11. 3. DISEÑO DEL FILTRO BAYESIANO • Introducción y Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  12. 3. DISEÑO DEL FILTRO BAYESIANO • Seguimiento de ruido en el domino log Mel • Ruido (estado del sistema) • Voz limpia (ruido que contamina la observación) • Voz ruidosa (observación) • Definición del espacio de estados dinámico • Proceso de ruido, • Proceso observado, • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  13. 3.1 Modelado del proceso de ruido • Introducción y Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  14. 3.1 Modelado del proceso de ruido • Codificación de la previsibilidad del ruido: proceso AR en el dominio log Mel Minimizar • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  15. 3.1 Modelado del proceso de ruido • Definición implícita de una distribución gaussiana para el ruido: • Selección de orden unidad para el modelo AR • Distribución a priori modelada como una gaussiana: • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  16. 3.2 Relación entre estados y observaciones • Introducción y Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  17. 3.2 Relación entre estados y observaciones • Se parte de la aproximación: • ¿Cuál es la relación entre las observaciones y el ruido? • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  18. 3.2 Relación entre estados y observaciones • ¿Cuál es la relación entre las observaciones y el ruido? • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  19. 3.2 Relación entre estados y observaciones • ¿Cuál es la relación entre las observaciones y el ruido? • Distribución para la voz limpia: • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  20. 3.2 Relación entre estados y observaciones • Imponemos • Se aplica la ley fundamental de transformación de probabilidades • De esta forma, • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  21. 3.3 Filtro SIR aplicado • Introducción y Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  22. 3.3 Filtro SIR aplicado • Generación de N partículas • Cálculo de pesos normalizados • Remuestreo sobre las partículas • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  23. 3.3 Filtro SIR aplicado • Existencia de problemas en la práctica • Si no se cumple para ningún j DROPOUT • SOLUCIÓN: • Evolución independiente de la observación  Pérdida de la trayectoria de seguimiento • SOLUCIÓN: Procedimiento de reinicialización del filtro ¡NUEVO PROBLEMA! • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  24. 3.3 Filtro SIR aplicado • Existencia de problemas en la práctica • Modos de reinicialización • Generación de nuevas hipótesis sobre la distribución a priori de ruido • Inferir partículas de ruido a partir de muestrear un GMM • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  25. 3.3 Filtro SIR aplicado • Existencia de problemas en la práctica • Pobre modelado de ruido Subestimación de hipótesis • SOLUCIÓN: Se incentiva una futura reinicialización si • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  26. 3.3 Filtro SIR aplicado • Existencia de problemas en la práctica • Mitigación de dropouts TEST DE ACEPTACIÓN RÁPIDA • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  27. 3.3 Filtro SIR aplicado • Modos de inicialización • Uso de las l primeras tramas • Empleo de la distribución a priori de ruido • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  28. 4. GENERACIÓN DE MÁSCARAS SOFT • Introducción y Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  29. 4. GENERACIÓN DE MÁSCARAS SOFT 1 2 3 4 1 2 3 4 • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  30. 5. TÉCNICA DE REALCE MULTIPLICATIVO • Introducción y Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  31. 5. TÉCNICA DE REALCE MULTIPLICATIVO • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  32. 6. TEST Y RESULTADOS • Introducción y Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  33. 6. TEST Y RESULTADOS • Uso de la base de datos Aurora-2 • Empleo del conjunto de test A: • 1001 grabaciones con secuencias de dígitos • Ruidos: metro, multitud conversando, coche y sala de exposiciones • SNRs: -5dB, 0dB, 5dB, 10dB, 15dB, 20dB y caso limpio • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  34. 6. TEST Y RESULTADOS • Test de reconocimiento del habla • Aparente independencia del número de partículas • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  35. 6. TEST Y RESULTADOS • Test de reconocimiento del habla • Aparente independencia del número de partículas • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  36. 6. TEST Y RESULTADOS • Test de reconocimiento del habla • Aparente independencia del número de partículas • WAcc = 1 - WER 16.43% 26.53% 11.71% • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  37. 7. CONCLUSIONES • Introducción y Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  38. 7. CONCLUSIONES • Verificación experimental de la utilidad de una técnica de realce • Preferible, por el momento, uso de ruido estimado mediante promediado espectral: • Mayor rendimiento del sistema ASR • Menor coste computacional • Necesidad de mejorar la calidad de las estimaciones resultantes del filtro de partículas • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  39. 8. TRABAJO FUTURO • Introducción y Motivación • Fundamentos del Seguimiento • Diseño del Filtro Bayesiano • Modelado del proceso de ruido • Relación entre estados y observaciones • Filtro SIR aplicado • Generación de Máscaras Soft • Técnica de Realce Multiplicativo • Test y Resultados • Conclusiones • Trabajo Futuro • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  40. 8. TRABAJO FUTURO • Solventar usuales pérdidas del seguimiento en el filtro de partículas • Nuevo modelo de ruido a priori • Inclusión del término de fase relativa (FAT innecesario) • Optimización de la implementación • Experimentación con otros conjuntos de test • Actualización del modelo AR de ruido y de la distribución a priori • Uso de un detector de actividad de voz • Experimentar con un filtro RPF • TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo

  41. Generación de Máscaras Soft para Compensación de Características en Reconocimiento Robusto del Habla • GRACIAS

More Related