1 / 52

Recherches sur la Langue des Signes

Recherches sur la Langue des Signes. Patrice DALLE IRIT - TCI* IRIS - E&R. *Institut de Recherches en Informatique de Toulouse équipe Traitement et Compréhension d’Images. Présentation. IRIT-TCI Traitement et Compréhension d’Images. Vision par ordinateur

hoai
Download Presentation

Recherches sur la Langue des Signes

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Recherchessur la Langue des Signes Patrice DALLE IRIT - TCI* IRIS - E&R *Institut de Recherches en Informatique de Toulouse équipe Traitement et Compréhension d’Images

  2. Présentation IRIT-TCI Traitement et Compréhension d’Images • Vision par ordinateur • Retrouver les informations sur la scène observée • Interprétation • Reconnaître les objets, Comprendre la scène • Communication Visuo-Gestuelle • Analyse des gestes ou signes d’une personne Recherches sur la LSF

  3. Présentation Analyse par un système de vision • - Attitudes • - Expressions • - Mouvements • Gestes • Signes des émis par une personne dans un but de communication avec d’autres personnes ou avec une machine CommunicationVisuo-Gestuelle Recherches sur la LSF

  4. Recherches Types de recherches • sur la langue des Signes • Pédagogie en LSF • Accès à la culture : documents en LSF : • LSF et vie sociale • … • LSF , objet de l’étude : recherches linguistiques • Communication en LSF : technologies facilitant la communication en LSF • sur l’utilisation de la langue des Signes Recherches sur la LSF

  5. Thèmes des recherches Recherches sur la LSF • Prérequis nécessaires pour étudier la LSF • Constitution de corpus • Formalismes de notation • Outils informatiques d’analyse de corpus vidéo • Analyse de la LSF • Formation des signes • Caractéristiques de la LSF. Ex : grande iconicité • Grammaire de la LSF • Modalités de la LSF • Écriture de la LSF • LSF , analyseur de faits de langues • Naissance des langues (étude de sourds isolés) • LSF et gestuelle co-verbale Recherches sur la LSF

  6. Thèmes des recherches Communication en LSF • Communication à distance • Compression « intelligente » • Interfaces adaptées • Messagerie en LSF • Production d’énoncés en LSF • Avatars signants • Ecriture de la LSF • Prise de notes en LSF • Résumés en vidéos, annotation, consultation • Traduction LSF  Français • Énoncé  sens  représentation  génération Recherches sur la LSF

  7. Recherches en cours Financement public des recherches • Ministère de la recherche • ACI : Action Cognitique Incitative • CNRS • Département STIC (Sciences et Technologies de l’Information et de la Communication)  • 4 domaines : - STIC : technologies de la communication - IHC (Interaction Humaines et Cognition) ; rôle de l’humain • RTP : Réseaux Thématiques Pluridisciplinaires • Actions spécifiques • Equipes projets • INRIA • Régions Recherches sur la LSF

  8. CVG Linguistique  Informatiqueapports croisés • Linguistique • Primitives, niveaux d’analyse • Démarche d’analyse ou de production d’énoncés • Informatique • Modélisation de la syntaxe et de la sémantique • Méthodes formelles • Représentations pour rendre compte ou pour générer • Modélisation du mouvement et des gestes • Environnements • Editeurs • Outils de manipulation, stockage, interrogation • Analyse : LS ( vidéo, direct)  représentation • Génération : représentation  personnage de synthèse Recherches sur la LSF

  9. Projets Projets • Gestes • AS STIC : analyse des gestes • Langue des Signes • ACI LS-COLIN (Cuxac) : LS analyseur de langues (2000-2002) • AS STIC (Gibet,Toulotte) : Communication en LS (2003-2004) • ACI (Garcia-Boutet) : LSF - Formes graphiques (2003-2005) • INRIA : ARC-LSF • Analyse des gestes co-verbaux • AS STIC (Dalle, Cuxac) : interaction gestuelle (2002-2003) • Equipe projet (Dalle, Cuxac) : Interaction gestuelle (2004-2007) Recherches sur la LSF

  10. Projet-1 Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique(Action COGNITIQUE) Langues des signes : Analyseurs privilégiés de la faculté de langage, Apports croisés d'études linguistiques, cognitives et informatiques (traitement et analyse d'image) autour de l'iconicité et de l'utilisation de l'espace. - Sciences du Langage, Université Paris 8(linguistique de la LSF) - CAMS-LaLIC, Université Paris 4(linguistique cognitive) - IRIT-TCI, Université Toulouse 3(informatique et traitement de l'image) - LIMSI, CNRS, Orsay(informatique) Recherches sur la LSF

  11. Projet-1 LS-COLIN • L'iconicité des messages fonctionne comme analyseur cognitif. • affiner l'inventaire des structures de "grande iconicité" • modéliser l’émergence du vocabulaire standard à partir du processus d'iconicisation initial; • vérifier des hypothèses des grammaires cognitives : l'expression complémentaire des primitives spatiales et non spatiales issues des représentations sémantico-cognitives dans les énoncés en LS. • Travaux communs • Identification des primitives signifiantes pour linguistes et informaticiens • Structuration, segmentation • Spécification d’un outil de transcription • Étude et réalisation d’un corpus Recherches sur la LSF

  12. Projet-1 LS-COLIN : Travaux des linguistes • Thèmes de publications issues de l’action(linguistes) • Modèle d’une grammaire iconique de la LSF • Structures de grande iconicité • Opérations de transfert • Conséquences cognitives des transferts en LS • Classification des configurations manuelles pronomiales en LSF • La construction de références temporelles dans les Langues des Signes Primaires (LSP) pratiquées par des sourds vivant exclusivement en entourage entendant Recherches sur la LSF

  13. Projet-1 Recherches sur la LSF

  14. Projet-1 Corpus LS-COLIN Recherches sur la LSF

  15. Projet-1 Exploitation du corpus : « histoire du cheval » (I. Fusellier) Validation : Clignement des yeux, rôle du regard, structure interne des transferts situationnels, … Recherches sur la LSF

  16. Projet-1 LS-COLIN : Editeur de partitions Recherches sur la LSF

  17. Projet-1 Données: séquences vidéo • Trajectoires • Contact • Balancement • Pointage … Détection des zones d’intérêts Entités statiques Locuteur Tête Mains Extraction de l’information mouvement Entités dynamiques Motifs temporels Trajectoire Caractérisation et organisation de l’information extraite Forme, Orientations globales et locales, nombre de régions Vitesse; Accélération Durée; Direction Edition assistée par Traitement d ’Images Recherches sur la LSF

  18. Projet-2 AS Interaction gestuelle(RTP Dialogue et Communication) Etude et Développement de la communication Homme-Machine visuo-gestuelle Patrice DALLE IRIT UMR 5505- Toulouse III Christian CUXAC Syntaxe formelle et typologie des languesUMR 7023 - Paris VIII Recherches sur la LSF

  19. Projet-2 AS-IG : Motivation • Intérêt : • Le geste permet une interaction naturelle • Constat • Le geste est peu utilisé dans la communication H-M • La vision est peu utilisée dans les dispositifs multimodaux • Causes • Analyse en temps réel d’un objet composé articulé déformable, avec beaucoup de degrés de liberté • Le geste co-verbal est peu contraint et donc difficile à analyser par un système de vision • L’expression gestuelle seule est incomplète et ambiguë Recherches sur la LSF

  20. Projet-2 AS-IG : Présentation • Objectif • Enrichir les capacités d’échange de la communication visuo-gestuelle • Développer des modèles d’analyse des langues gestuelles par un système de vision • Méthode • Etude des points communs langue des signes / gestuelle co-verbale dans la communication H-H • Transposition à la communication H-M • Réalisation d’une maquette de simulation Recherches sur la LSF

  21. Projet-2 AS-IG Apport de la langue des signes analyse plus faciles à interpréter Langue des Signes Gestesco-verbaux plus expressifs enrichit Recherches sur la LSF

  22. Projet-2 AS-IG : Laboratoires « cœur » • Langue des signes • UMR 7023 (Paris 8) "Syntaxe formelle et typologie des langues", Ch Cuxac • UPRESA 6065 (Rouen) "DYALANG" , R. Sabria • Co-verbal • UMR 8606 (Paris 5) "LEAPLE" , Ch. Hudelot • UMR 6057 (Aix-Marseille) "Parole et Langage" , I. Guaïtella- Cavé • Vision et analyse du geste par ordinateur • UMR 5505 (Toulouse 3) IRIT -"Traitement et Compréhension d'Images" P. Dalle • UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch Collet Recherches sur la LSF

  23. Projet-3 AS :Communication en langue des signes  des sourds(RTP Handicap) Représentations et Modélisations du mouvement dans le contexte de l’interaction et de l’animation d’agents de synthèse communicant en langue des signes. Recherches sur la LSF

  24. Projet-3 AS :Communication en langue des signes  des sourds • Modèles et langages de spécification pour la génération et l’animation d’agents de synthèse : • Analyse et synthèse des expressions faciales • Codage des gestes des langues des signes pour le stockage des gestes, leur transmission et leur re-synthèse en temps réel • Interaction multimodale avec les agents virtuels de communication • Évaluation des différents systèmes par des populations sourdes (représentation, reconnaissance des gestes des avatars, dialogue) Recherches sur la LSF

  25. Projet-3 AS :Communication en langue des signes  des sourds • Porteurs • Sylvie Gibet • Laboratoire VALORIA, Université de Bretagne Sud • Jean-Marc Toulotte • Laboratoire I3D, université des Sciences et Technologies de Lille • Participants • LINC – PARAGRAPHE, Université de Paris VIII • Université de Paris VIII, UMR 7023 • LIMSI-CNRS, Université de Paris Sud • IRIT, UMR 5505, Université Paul Sabatier, Toulouse 3 • Institut de la Communication Parlée, Université Stendhal, Grenoble Recherches sur la LSF

  26. Projet-4 ACI-JC La LSF : quelles conditions pour quelles formes graphiques(proposition de projet) • Porteurs • Dominique BoutetBrigitte Garcia (linguistes - Paris 8) + laboratoires partenaires Recherches sur la LSF

  27. Projet-4 La LSF quelles conditions pour quelles formes graphiques • Enquête , évaluation • Enquête qualitative sur les attentes et besoins des populations concernées • Expertise (sémio-linguistique et sociologique) des pratiques graphiques spécifiques • Propositions • Approche fondée sur le signifiant physiologique, permettant une forme graphique monolinéaire et validée pour la gestualité coverbale • Etude d’un outil de fabrication de comptes-rendus d’exposés en LSF • Étude de la génération d’énoncés en LSF par des agents virtuels informatiques. Recherches sur la LSF

  28. Analyse d’image-TCI Analyse d’imagede personnages signants :Études menées à l’IRIT-TCI • Description • Détection , Extraction de primitives • Segmentation • Caractérisation • Reconstruction 3D • Reconnaissance • Interprétation Recherches sur la LSF

  29. Analyse d’image-TCI CVG : pourquoi ? • Problématique • Thème émergent en analyse d’images • Cadre d’étude pertinent • Scientifique : 3D, mouvement, compréhension, sens • Applications : • Communication Homme-Machine (interaction, commande, observation de l’utilisateur, couplage analyse-synthèse) • LSF, • Linguistique : étude des gestes co-verbaux • Enseignement • DESS SI : Systèmes Intelligents (vision et interaction) • DESS IIN : Ingénierie de l’Image Numérique IRR : Intelligence artificielle, Reconnaissance des formes , Robotique Recherches sur la LSF

  30. Analyse d’image-TCI CVG : pourquoi ? • Finalité : Communication, Langue des Signes • Opportunités • Équipe TCI (synergie, masse critique) • Vision , mouvement • Compréhension • IRIT (coopérations) • Image (analyse et synthèse) • CHM, analyse de la vidéo, indexation • TALN (spatial), Dialogue • Toulouse • LSF : fortes compétences (IRIS, Interpretis, UTM, WebSourd,…) • LAAS (geste) Recherches sur la LSF

  31. Analyse d’image-TCI CVG et analyse d’image • Analyse • Détection : silhouette, visage, mouvement • Segmentation • Composants du visage, du corps • Mouvement • Reconnaissance • Expressions (visage) • Gestes • Interprétation • Mimiques faciales • Gestes co-verbaux • Signes (de la LSF) Recherches sur la LSF

  32. Analyse d’image IRIT-TCI Données: séquences vidéo • Trajectoires • Contact • Balancement • Pointage … Détection des zones d’intérêts Entités statiques Locuteur Tête Mains Extraction de l’information mouvement Entités dynamiques Motifs temporels Trajectoire Caractérisation et organisation de l’information extraite Forme, Orientations globales et locales, nombre de régions Vitesse; Accélération Durée; Direction Edition assistée par Traitement d ’Images Recherches sur la LSF

  33. Analyse d’image IRIT-TCI Analyse d’image dans les projets • Système d’analyse de la LSF • Boris Lenseigne • Projet LS-COLIN • Action STIC : Communication en LS • Analyse des gestes co-verbaux • Frédérick Gianni • Action STIC : interaction gestuelle • Analyse des expressions du visage • Hugo Mercier • Projet avec WebSourd • Saisie des formes graphiques de la LSF • Guylhem Aznar, Sébastien Benoist • ACI : LSF - formes graphiques Recherches sur la LSF

  34. Analyse d’image IRIT-TCI Extraction du locuteur - Comparaison avec une image de référence du fond - Filtrage et traitement morphologique Recherches sur la LSF

  35. Analyse d’image IRIT-TCI Extraction des entités mains et visage • 1. Extraction des zones de peau • 2. Identification des différentes régions • par critères de taille et de forme • Mains, Visage Recherches sur la LSF

  36. Analyse d’image IRIT-TCI Analyse des mimiques faciales • Détection du visage • Suivi du visage  méthode mean shift • Modélisation du visage • Etude des variations des composants Recherches sur la LSF

  37. Analyse d’image IRIT-TCI Représentation du mouvement par motifs temporels tMHI : Intensité pixel = fonction de l’historique du mouvement Détection des gestes symétriques par analyse de l’image tMHI Recherches sur la LSF

  38. Analyse d’image IRIT-TCI Détection des contours mobiles Frontières des objets en mouvement Recherches sur la LSF

  39. Analyse d’image IRIT-TCI Suivi des éléments mobiles Recherches sur la LSF

  40. Analyse d’image IRIT-TCI Estimation 3D de la posture Point 3D = droite de projection  sphère Recherches sur la LSF

  41. Analyse d’image IRIT-TCI Estimation 3D de la posture • Filtrage des solutions • Modèle géométrique du bras • position 3D  valeurs des articulations • butées • Mouvement • hypothèse de continuité • modèles différentiels (vitesse et accélération) Recherches sur la LSF

  42. Analyse d’image IRIT-TCI Estimation 3D de la posture Reconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement Recherches sur la LSF

  43. Analyse d’image IRIT-TCI Estimation 3D de la posture Reconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement : étude du bruit Recherches sur la LSF

  44. Analyse d’image IRIT-TCI Visualisationde l’espacede signation Recherches sur la LSF

  45. Analyse d’image IRIT-TCI Visualisation de l’espace de signation Recherches sur la LSF

  46. Analyse d’image IRIT-TCI Visualisation de l’espace de signation Recherches sur la LSF

  47. Analyse d’image IRIT-TCI Système d’analyse de locuteur signantCahier des charges (1) • Le système doit fournir • des outils de TI permettant de segmenter des composants d’un signe • des outils de mesure • des outils de reconnaissance (régioncomposant d ’un signe) • des outils de structuration des composants pour chaque image isolément Recherches sur la LSF

  48. Analyse d’image IRIT-TCI Cahier des charges (2) • Le système doit fournir • des outils de TI permettant la segmentation temporelle de la séquence • des outils de mesure de la dynamique • des outils de reconnaissance de trajectoires • des outils de structuration des mouvements pour la séquence d ’images. Recherches sur la LSF

  49. Analyse d’image IRIT-TCI Cahier des charges (3) Remarque sur la reconnaissance et la structuration • Les composants sont identifiables par : • leurs caractéristiques (main = tâche de couleur peau + taille + forme) • le contexte (objet qui touche la tête = main) • La méthode de reconnaissance n’est pas unique • Le choix de la méthode évolue au cours du temps Système adaptatif : - les objets ont une définition unique - il n ’y a pas une description discriminante Recherches sur la LSF

  50. Analyse d’image IRIT-TCI Cahier des charges (4) • Contrainte : ne pas limiter l ’espace des problèmes • Le linguiste : doit pouvoir exprimer ce qu’il cherche, au moment de l ’analyse • Requêtes : exprimées en termes d ’indices visuels dans le contexte courant vidéo Linguiste Système Problème de communication et de compréhension entre2 acteurs qui échangent des notions à propos d ’images de la LS Recherches sur la LSF

More Related