ARC RAPSODIS Reconnaissance Automatique de la Parole Suivie et

1. Cooccurrence de mots : Random Indexing Mise en œuvre : Analyse syntaxique des phrases reconnues Objectif Défiprincipal: sera AUX installé SUJ Hue PREP sur SUJ NOMPREP monsieur radar est caméra DET DET DET ATTS ADJ en simple le le une numérique La syntaxe en reconnaissance Relations sémantiques et mesure de confiance 1 Adaptation du modèle de langage : [Bellagarda05] Réordonnancement des hypothèses de transcription : Mesures de confiance : 2 étapes: 1- Identification des mots erronés 2- Filtrage du treillis / nouvelle passe de reconnaissance Site web: http://rapsodis.loria.fr mailing-list: rapsodis@loria.fr Wiki: http://wiki.loria.fr/wiki/parole/rapsodis/ Partage de données : matrices de cooccurences (CEA), reconnaissances sur ESTER2, analyses syntaxiques Avancement du projet Relations syntaxiques : Calculer la probabilité que deux lemmes soient dépendants selon une relation syntaxique donnée. Contacts Remerciements EPI Parole : http://parole.loria.fr (cerisara@loria.fr) EPI TALARIS : http://talaris.loria.fr (gardent@loria.fr) EPI METISS : http://www.irisa.fr/metiss (guillaume.gravier@irisa.fr) EPI TEXMEX : http://www.irisa.fr/texmex (pascale.sebillot@irisa.fr) CEA LIST : http://list.cea.fr (olivier.ferret@cea.fr) ARC RAPSODIS Reconnaissance Automatique de la Parole Suivie et Orientée par Des Informations Syntaxico-Sémantiques PAROLE – METISS – TALARIS – TEXMEX – CEA/LIST Améliorer la transcription automatique de la parole en exploitant l’analyse syntaxique Le système de reconnaissance automatique de la parole génère des phrases contenant des erreurs. La détection et la correction de ces erreurs est un enjeu majeur pour la reconnaissance. Syntex, LIMA, FIPS Le fonctionnement est simple le radar sera installé sur une caméra numérique Le monsieur Hue en est simple le radar sera installé sur une caméra numérique Identification et modélisation d’indices syntaxiques Cette information doit être intégrable dans les modèles de reconnaissance et permettre d’améliorer leurs performances. Caractéristiques: Analyse syntaxique de l’oral transcrit Des phénomènes spécifiques à l’oral et à l’application affectent les analyses: erreurs de transcriptions, disfluences, absence de ponctuation, ... Matricetermes-documents Matrice respectant le lemme de Johnson-Lindenstrauss (1984): distances préservées si R aléatoire et 1<<k<<d FwxdRdxk = F’wxk F’’wxk distance “sémantique” TF-IDF cosine Systèmes de reconnaissance / Environnement de test La distribution de la moyenne des cosines entre le vecteur d’un mot et son contexte est modélisée respectivement pour les mots justes et faux. Le rapport de vraisemblances permet de mesurer la confiance des mots. • ANTS de PAROLE • Irene de METISS •  Validation prévue sur ESTER2 Précision Rappel Probabilitéssyntaxiques Publications Cerisara et al : Automatic extraction, of a semantic lexicon from the speech stream, Computer Speech and Language, 2008 (à paraître) Huet et al : Toward the integration of natural language processing and automatic speech recognition: using morpho-syntax and pragmatics for transcription. Multimodal Procesing and Interaction: Audio, Video, Text. Springer Verlag, 2008. Pitel et Grefenstette : Semi-automatic building method for a multidimensional affect dictionary for a new language, Proc. LREC, 2008 Cerisara : Integration of confidence measures and missing data mask for robust speech recognition, Proc. Acoustics, juillet 2008 Huet et al : Morphosyntactic Resources for Automatic Speech Recognition. Proc. LREC’2008, Marrakech, Mai 2008. Nous souhaitons remercier le comité de l’INRIA qui nous a attribué cette ARC et qui nous a ainsi accordé un cadre et des moyens pour initier une collaboration interdisciplinaire prometteuse dans un domaine aux défis scientifiques particulièrement nombreux.