1 / 51

Communication Visuo-Gestuelle Langue des Signes Analyse d Image

13 f

zalman
Download Presentation

Communication Visuo-Gestuelle Langue des Signes Analyse d Image

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

    1. 13 février 2003 Communication Visuo-Gestuelle Langue des Signes Analyse d’Image Patrice DALLE IRIT - TCI

    2. 13 février 2003 IRIT-TCI-CVG 2 IRIT-TCI Traitement et Compréhension d’Images Vision par ordinateur Stéréovision, calibrage, shape from shading Géométrie, Optimisation, Statistiques robustes Interprétation Environnement de conception, Systèmes, Reconnaissance Modélisation du TI, Autonomie, Interaction, Incertain, Évolution Communication Visuo-Gestuelle

    3. 13 février 2003 IRIT-TCI-CVG 3 Communication Visuo-Gestuelle

    4. 13 février 2003 IRIT-TCI-CVG 4 Communication Visuo-Gestuelle

    5. 13 février 2003 IRIT-TCI-CVG 5 Communication Visuo-Gestuelle

    6. 13 février 2003 IRIT-TCI-CVG 6 Communication Visuo-Gestuelle

    7. 13 février 2003 IRIT-TCI-CVG 7 CVG : pourquoi ? (1/3) Etudier les utilisations de la LS Favoriser leur développement Communication en LS Éducation => apprendre en LS, enseigner la LS Formation => néologismes Vie sociale et professionnelle => outils de communication Développer des services expérimentaux => lieux d’observation de ces situations Institut IRIS Département E&R

    8. 13 février 2003 IRIT-TCI-CVG 8 CVG : pourquoi ? (2/3) Finalité : Communication, Langue des Signes Opportunités Équipe TCI (synergie, masse critique) Vision , mouvement Compréhension IRIT (coopérations) Image (analyse et synthèse) CHM, analyse de la vidéo, indexation TALN (spatial), Dialogue Toulouse LSF : fortes compétences (IRIS, Interpretis, UTM, WebSourd,…) LAAS (geste)

    9. 13 février 2003 IRIT-TCI-CVG 9 CVG : pourquoi ? (3/3) Problématique Thème émergent en analyse d’images Cadre d’étude pertinent Scientifique : 3D, mouvement, compréhension, sens Applications : CHM (interaction, commande, observation de l’utilisateur, couplage analyse-synthèse) LSF, Linguistique : étude des gestes co-verbaux Enseignement DESS SI : Systèmes Intelligents (vision et interaction) DESS IIN : Ingénierie de l’Image Numérique IRR : Intelligence artificielle, Reconnaissance des formes , Robotique

    10. 13 février 2003 IRIT-TCI-CVG 10 CVG et analyse d’image Analyse Détection : silhouette, visage, mouvement Segmentation Composants du visage, du corps Mouvement Reconnaissance Expressions (visage) Gestes Interprétation Mimiques faciales Gestes co-verbaux Signes (de la LSF)

    11. 13 février 2003 IRIT-TCI-CVG 11 Etude de la CVG : objectifs Linguistique Etude des gestes co-verbaux, de la langue des signes Etudes par la langue des signes Transcription Formalisme pour analyser, mémoriser ou générer Ecriture de la LSF Traduction LSF ? français Communication à distance Transmission, codage, compression Génération, personnage virtuel ou avatar signant Mémorisation Stockage, indexation, interrogation, restitution

    12. 13 février 2003 IRIT-TCI-CVG 12 Linguistique ? Informatique apports croisés Linguistique Primitives, niveaux d’analyse Démarche d’analyse ou de production d’énoncés Informatique Modélisation de la syntaxe et de la sémantique Méthodes formelles Représentations pour rendre compte ou pour générer Modélisation du mouvement et des gestes Environnements Editeurs Outils de manipulation, stockage, interrogation Analyse : LS ( vidéo, direct) ? représentation Génération : représentation ? personnage de synthèse

    13. 13 février 2003 IRIT-TCI-CVG 13 Projets Actions ACI : Action Cognitique Incitative (ministère de la Recherche) AS : Action Spécifique STIC STIC ? domaine IHC ? RTP ? AS, JEMSTIC, Equipe projet (CNRS) Langue des Signes ACI LS-COLIN (Cuxac) : LS analyseur de langues (2000-2002) AS STIC (Gibet,Toulotte) : Communication en LS (2003-2004) ACI (Garcia-Boutet) : LSF - Formes graphiques (2003-2005) Analyse des gestes co-verbaux AS STIC (Dalle, Cuxac) : interaction gestuelle (2002-2003)

    14. 13 février 2003 IRIT-TCI-CVG 14 Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique (Action COGNITIQUE)

    15. 13 février 2003 IRIT-TCI-CVG 15 LS-COLIN L'iconicité des messages fonctionne comme analyseur cognitif. affiner l'inventaire des structures de "grande iconicité" modéliser l’émergence du vocabulaire standard à partir du processus d'iconicisation initial; vérifier des hypothèses des grammaires cognitives : l'expression complémentaire des primitives spatiales et non spatiales issues des représentations sémantico-cognitives dans les énoncés en LS. Travaux communs Identification des primitives signifiantes pour linguistes et informaticiens Structuration, segmentation Spécification d’un outil de transcription

    16. 13 février 2003 IRIT-TCI-CVG 16 LS-COLIN : Travaux des linguistes Thèmes de publications issues de l’action (linguistes) Modèle d’une grammaire iconique de la LSF Structures de grande iconicité Opérations de transfert Conséquences cognitives des transferts en LS Classification des configurations manuelles pronomiales en LSF La construction de références temporelles dans les Langues des Signes Primaires (LSP) pratiquées par des sourds vivant exclusivement en entourage entendant

    17. 13 février 2003 IRIT-TCI-CVG 17

    18. 13 février 2003 IRIT-TCI-CVG 18 Corpus LS-COLIN

    19. 13 février 2003 IRIT-TCI-CVG 19

    20. 13 février 2003 IRIT-TCI-CVG 20 LS-COLIN : Editeur de partitions

    21. 13 février 2003 IRIT-TCI-CVG 21 Edition assistée par Traitement d ’Images

    22. 13 février 2003 IRIT-TCI-CVG 22 AS Interaction gestuelle (RTP Dialogue et Communication)

    23. 13 février 2003 IRIT-TCI-CVG 23 AS-IG : Motivation Intérêt : Le geste permet une interaction naturelle Constat Le geste est peu utilisé dans la communication H-M La vision est peu utilisée dans les dispositifs multimodaux Causes Analyse en temps réel d’un objet composé articulé déformable, avec beaucoup de degrés de liberté Le geste co-verbal est peu contraint et donc difficile à analyser par un système de vision L’expression gestuelle seule est incomplète et ambiguë

    24. 13 février 2003 IRIT-TCI-CVG 24 AS-IG : Présentation Objectif Enrichir les capacités d’échange de la communication visuo-gestuelle Développer des modèles d’analyse des langues gestuelles par un système de vision Méthode Etude des points communs langue des signes / gestuelle co-verbale dans la communication H-H Transposition à la communication H-M Réalisation d’une maquette de simulation

    25. 13 février 2003 IRIT-TCI-CVG 25 AS-IG Apport de la langue des signes

    26. 13 février 2003 IRIT-TCI-CVG 26 AS-IG : Laboratoires « cœur » Langue des signes UMR 7023 (Paris 8) "Syntaxe formelle et typologie des langues", Ch Cuxac UPRESA 6065 (Rouen) "DYALANG" , R. Sabria Co-verbal UMR 8606 (Paris 5) "LEAPLE" , Ch. Hudelot UMR 6057 (Aix-Marseille) "Parole et Langage" , I. Guaïtella- Cavé Vision et analyse du geste par ordinateur UMR 5505 (Toulouse 3) IRIT -"Traitement et Compréhension d'Images" P. Dalle UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch Collet

    27. 13 février 2003 IRIT-TCI-CVG 27 AS : Communication en langue des signes  des sourds (RTP Handicap)

    28. 13 février 2003 IRIT-TCI-CVG 28 AS : Communication en langue des signes  des sourds Modèles et langages de spécification pour la génération et l’animation d’agents de synthèse : Analyse et synthèse des expressions faciales Codage des gestes des langues des signes pour le stockage des gestes, leur transmission et leur re-synthèse en temps réel Interaction multimodale avec les agents virtuels de communication Évaluation des différents systèmes par des populations sourdes (représentation, reconnaissance des gestes des avatars, dialogue)

    29. 13 février 2003 IRIT-TCI-CVG 29 AS : Communication en langue des signes  des sourds Porteurs Sylvie Gibet Laboratoire VALORIA, Université de Bretagne Sud Jean-Marc Toulotte Laboratoire I3D, université des Sciences et Technologies de Lille Participants LINC – PARAGRAPHE, Université de Paris VIII Université de Paris VIII, UMR 7023 LIMSI-CNRS, Université de Paris Sud IRIT, UMR 5505, Université Paul Sabatier, Toulouse 3 Institut de la Communication Parlée, Université Stendhal, Grenoble

    30. 13 février 2003 IRIT-TCI-CVG 30 ACI-JC La LSF : quelles conditions pour quelles formes graphiques (proposition de projet) Porteurs Dominique Boutet Brigitte Garcia (linguistes - Paris 8) + laboratoires partenaires

    31. 13 février 2003 IRIT-TCI-CVG 31 Analyse d’image de personnages signants : Études menées à l’IRIT-TCI Description Détection , Extraction de primitives Segmentation Caractérisation Reconstruction 3D Reconnaissance Interprétation

    32. 13 février 2003 IRIT-TCI-CVG 32 Edition assistée par Traitement d ’Images

    33. 13 février 2003 IRIT-TCI-CVG 33 Analyse d’image dans les projets Système d’analyse de la LSF Boris Lenseigne Projet LS-COLIN Action STIC : Communication en LS Analyse des gestes co-verbaux Frédérick Gianni Action STIC : interaction gestuelle Résumé d’exposés en LSF ACI : LSF - formes graphiques

    34. 13 février 2003 IRIT-TCI-CVG 34

    35. 13 février 2003 IRIT-TCI-CVG 35

    36. 13 février 2003 IRIT-TCI-CVG 36 Analyse des mimiques faciales

    37. 13 février 2003 IRIT-TCI-CVG 37 Représentation du mouvement par motifs temporels

    38. 13 février 2003 IRIT-TCI-CVG 38 Détection des contours mobiles

    39. 13 février 2003 IRIT-TCI-CVG 39 Suivi des éléments mobiles

    40. 13 février 2003 IRIT-TCI-CVG 40 Estimation 3D de la posture

    41. 13 février 2003 IRIT-TCI-CVG 41 Estimation 3D de la posture

    42. 13 février 2003 IRIT-TCI-CVG 42 Estimation 3D de la posture

    43. 13 février 2003 IRIT-TCI-CVG 43 Estimation 3D de la posture

    44. 13 février 2003 IRIT-TCI-CVG 44 Visualisation de l’espace de signation

    45. 13 février 2003 IRIT-TCI-CVG 45 Visualisation de l’espace de signation

    46. 13 février 2003 IRIT-TCI-CVG 46 Visualisation de l’espace de signation

    47. 13 février 2003 IRIT-TCI-CVG 47 Système d’analyse de locuteur signant Cahier des charges (1) Le système doit fournir des outils de TI permettant de segmenter des composants d’un signe des outils de mesure des outils de reconnaissance (région?composant d ’un signe) des outils de structuration des composants

    48. 13 février 2003 IRIT-TCI-CVG 48 Cahier des charges (2) Le système doit fournir des outils de TI permettant la segmentation temporelle de la séquence des outils de mesure de la dynamique des outils de reconnaissance de trajectoires des outils de structuration des mouvements

    49. 13 février 2003 IRIT-TCI-CVG 49 Cahier des charges (3) Les composants sont identifiables par : leurs caractéristiques (main = tâche de couleur peau + taille + forme) le contexte (objet qui touche la tête = main) La méthode de reconnaissance n’est pas unique Le choix de la méthode évolue au cours du temps

    50. 13 février 2003 IRIT-TCI-CVG 50 Cahier des charges (4) Contrainte : ne pas limiter l ’espace des problèmes Le linguiste : doit pouvoir exprimer ce qu’il cherche, au moment de l ’analyse Requêtes : exprimées en termes d ’indices visuels dans le contexte courant

    51. 13 février 2003 IRIT-TCI-CVG 51 Système

    52. 13 février 2003 IRIT-TCI-CVG 52 Contacts Patrice.Dalle@irit.fr IRIT-TCI UPS 118 route de Narbonne 31062 Toulouse cedex 4 tel : 05-61-55-63-09 http://www.irit.fr/ACTIVITES/EQ_TCI/home.html Références LS-COLIN : http://www.irit.fr/LS-COLIN Rapport final : contact Patrice Dalle AS-IG : http://www.irit.fr/AS-IG

More Related