Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM

1. Proyecto Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM

2. INDICE y AGENDA • 10:00-10:10 Presentación • 10:10-10:20 Introducción • 10:20-11:30 Tareas • T1: Estudio Lingüístico • T2: Diseño de Arquitectura • T3: Reconocimiento de voz • 11:30-12:00 Café • 12:00-13:20 Tareas • T4: Traducción por reglas • T5: Traducción estadística • T6: Generación de signos • T7: Evaluación de prototipos • T8: Gestión/documentación • 13:20-13:30 Ruegos y preguntas • 13:30-14:00 Visita al laboratorio PROYECTOS

3. INTRODUCCIÓN

4. ENFOQUE COMPLICADO RAZONABLE VOZ TEXTO SIGNOS El proceso de traducción se puede llevar a cabo en los dos sentidos

5. SIGNOS - VOZ COMPLICADO • Reconocimiento visual de los signos • Procesado de Vídeo • 2D a 3D Hoy: reconocimiento del alfabeto dactilográfico • Captura de los movimientos mediante guantes • Mejores tasas • Poco práctico

6. VOZ - SIGNOS RAZONABLE • Conseguir una buena tasa de transferencia de información: 90% es posible para dominios restringidos. • El 100% es una utopía Dominios Restringidos En torno a 100-1000 palabras: información meteorológica, deportes,....

7. UN PRIMER PROTOTIPO En primer lugar pedir perdón porque las traducciones no han sido realizadas por ningún experto, ni los signos tampoco han sido supervisados por una persona experta

8. TAREAS: OBJETIVO Y PLANIFICACIÓN GENERAL

9. OBJETIVO CONCRETO Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda. Se elegirán dos de entre estos servicios: • Renovación del Documento Nacional de Identidad (DNI). • Prestaciones económicas del Instituto Nacional de la Seguridad Social (INSS). • Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico).

10. PLANIFICACIÓN GENERAL Original (15 meses) Real (12 meses)

11. ESTUDIO LINGÜÍSTICO

12. 1 PASO: ENTREVISTA CON FUNCIONARIO Y ESCENARIOS Descripción de situaciones y escenarios • Es necesario una entrevista con un funcionario • Obtención de escenarios o posibles situaciones demandadas por los usuarios

13. 2 PASO: RECOPILACIÓN DE FRASES • Varios funcionarios generan varias frases según los escenarios definidos • Estimación: entre 200 y 500 frases

14. 3 PASO: EXTENSIÓN DE FRASES: FLEXIBILIDAD Desde los catorce años el denei es obligatorio Con más de catorce años te tienes que sacar el denei Cuando tengas catorce años tienes que disponer del denei • Varias formas de expresar lo mismo para aumentar la flexibilidad del sistema • Estimación: entre 500 y 800 frases

15. 4 PASO: TRADUCCIÓN • Se podría utilizar el Excel para etiquetar • Sugerencia: grabación de vídeos Estos 4 pasos hay que repetirlos para cada uno de los 2 servicios desarrollados

16. DISEÑO DE LA ARQUITECTURA

17. ARQUITECTURA Requiere de un corpus paralelo de varios miles de frases para entrenar los motores de traducción

18. ARQUITECTURA Gran Experiencia: Optimizado en múltiples proyectos

19. RECONOCIMIENTO DE VOZ

20. RECONOCIMIENTO DE VOZ VOZ

21. RECONOCIMIENTO DE VOZ VOZ Disponible Ya hecho

22. Café

23. TRADUCCIÓN BASADA EN REGLAS

24. TRADUCCIÓN POR REGLAS • Reglas codificadas en C: colaboración de programador y experto en LSE. • Necesidad de corpus • Tipos de reglas: • Un concepto se traduce por un signo. • Un concepto se traduce por varios signos. • Varios conceptos se traducen por un signo. • Varios conceptos se traducen por varios signos. • El orden de las reglas es muy importante • 128 reglas de traducción para DNIs • EJEMPLO: • Texto: ”el denei es obligatorio desde los catorce años” • Signos: DNI OBLIGATORIO DESDE CATORCE EDAD

25. TRADUCCIÓN ESTADÍSTICA

26. TRADUCCIÓN ESTADÍSTICA Generación de Modelos Traducción y Modelos de Lenguaje Signos Texto Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD Modelos de Traducción y Modelos de Lenguaje Signos Texto Traducción

27. TRADUCCIÓN ESTADÍSTICA Generación de Modelos Traducción y Modelos de Lenguaje Signos Texto Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD Modelos de Traducción y Modelos de Lenguaje Signos Texto Traducción

28. GENERACIÓN DE LA BASE DE DATOS DE SIGNOS

29. LISTA DE SIGNOS A GENERAR Muy fácil de generar con un programa sencillo. Nosotros lo tenemos disponible y lo podemos generar sin problemas Lista de signos a generar

30. REPRESENTACIÓN DE LOS SIGNOS • VGUIDO: Agente animado del proyecto eSIGN • http://www.sign-lang.uni-hamburg.de/eSIGN/ • Desarrollado en colaboración con la empresa VISICAST: http://www.visicast.co.uk/. • Libre para investigación

31. REPRESENTACIÓN DE LOS SIGNOS Editor de SIGNOS Genera un fichero SIGML (formato XML) para representar cada SIGNO Notación HamNoSys

32. REPRESENTACIÓN DE LOS SIGNOS <sigml> <hns_sign gloss="GLOSS:OBLIGATORIO"> <hamnosys_nonmanual> </hamnosys_nonmanual> <hamnosys_manual> <hampinch12open/> <hamextfingero/> <hampalmul/> <hamchest/> <hamlrat/> <hamarmextended/> <hamseqbegin/> <hammovedl/> <hamsmallmod/> <hamrepeatreverse/> <hamseqend/> <hamrepeatfromstartseveral/> </hamnosys_manual> </hns_sign> </sigml>

33. INTRODUCCIÓN A HAMNOSYS Demo de generación de un signo

34. EVALUACIÓN DE LOS PROTOTIPOS

35. EVALUACIÓN DE LOS PROTOTIPOS • Evaluación subjetiva según una encuesta • Inteligibilidad • Velocidad • Utilidad.... • Evaluación objetiva • Tasa de reconocimiento • Velocidad.... • Número de repeticiones USUARIOS FINALES

36. DIVULGACIÓN DE RESULTADOS • Página web con los resultados del proyecto. • Publicaciones en revistas científicas y de divulgación • Publicación en congresos especializados y jornadas o congresos de divulgación (Feria de Madrid,...) • Medios de comunicación: televisión, prensa,.... http://lorien.die.upm.es/~lapiz/voz2lse/introduccion.php

37. RUEGOS Y PREGUNTAS