1 / 16

Analyse automatique des expressions du visage

Hugo MERCIER - Equipe TCI Directeur de Recherche: Patrice DALLE. Analyse automatique des expressions du visage. Application à la Langue des Signes. 1/16. Sommaire. Problématique Etat de l'art Expressions du visage et Langue des Signes Formalisme proposé Architecture proposée. 2/16.

boyce
Download Presentation

Analyse automatique des expressions du visage

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Hugo MERCIER - Equipe TCI Directeur de Recherche: Patrice DALLE Analyse automatique des expressions du visage Application à la Langue des Signes 1/16

  2. Sommaire • Problématique • Etat de l'art • Expressions du visage et Langue des Signes • Formalisme proposé • Architecture proposée 2/16

  3. Introduction • Domaine émergent • Applications • IHM (modalité d'intéraction) • Animation • Compression (adaptée au visage) • Psychologie, linguistique • Ici expressions = composantes langagières • En lien avec travaux TCI • Guillemette JAUSIONS • AS IG • Equipe projet 3/16

  4. Problématique • Analyse pour l’interprétation des expressions: • Formalisme de représentation • Coût de l'analyse • Architecture système • Langue des Signes ? • Hypothèse de continuum avec les expressions du co-verbal 4/16

  5. Etat de l'art: formalismes • FACS (Facial Action Coding System) • Ekman, Friesen, 1978 • Décomposition élémentaire des mouvements du visage • 46 'Action Units' (Action Faciales) • Analyse manuelle AU 26 AU 15 AU 10 AU 1 5/16

  6. Etat de l'art: formalismes • MPEG4 (Moving Picture Experts Group) • Face and Body AdHoc Group, 2001 • Mesures relatives • Plus bas niveau que FACS 6/16

  7. Expressions et Langue des Signes • Plusieurs rôles: • Lexical • Composante de définiton d'un Signe • Quantifiants (gros, grand, ...) • Syntaxique • Mode du discours (conditionnel, interrogatif, ...) • Sémantique • Emotions en Transfert Personnel • Formalisme ? • Intégration de l’aspect langagier: les informations de bas niveau sur les états musculaires ne suffisent pas 7/16

  8. Définitions linguistiques • Quantifiants • “Plissement des yeux, froncement du nez et des sourcils, lèvres serrées et projetées vers l'avant: minuscule” • “Joues légèrement gonflées, front plissé, air dur, mâchoires serrées: fort, costaud” • Expressions modales • Hypothèse mentale: “clignement très bref des yeux suivi d'une fuite du regard ultra-rapide vers le haut” • Intégration de ces connaissances ? • Mesures floues • Aspect temporel • Définitions subjectives 8/16

  9. Formalisme proposé • Inspiré du formalisme des experts (linguistes) • A base de règles • Règles de compositions de connaissances • Connaissances élémentaires • États musculaires • Connaissances composées • Opérateurs de composition (spatiale et temporelle) 9/16

  10. Formalisme proposé: compositions • Types de compositions: • Redéfinitions (symétrie et autre) • Actions faciales (simple, tremblement, ...) • Expressions • Opérateurs • Conjonction ',' • Disjonction '||' • Séquencement '+' • Négation '-' • Eventualité '?' 10/16

  11. Traduction des définitions linguistiques • Redéfinitions • Sourcils-relevés <=> sourcil-gauche-relevé, sourcil-droit-relevé • Souffle-air <=> bouche-ouverte, joues-gonflées • Actions faciales • Tremblement-joues <=> af-tremblement [ gonflement-joues ] • Expressions • Gonflement des joues, plissement des yeux, souffle d'air en continu: grande quantité de • Grande-quantité <=> (joues-gonflées, yeux-plissés) + souffle-air ( durée = longue ) • Représentation sous forme XML 11/16

  12. Interprétation • Buts: • Rester proche de la compréhension humaine • Analyser à moindre coût • Limites de l'analyse classique • Il est trop coûteux d'extraire les informations indépendamment sur chaque image • Idée • Il est moins coûteux de prédire et vérifier des informations plutôt que de les extraire sur chaque image de la séquence vidéo 12/16

  13. Architecture proposée • Analyse bi-directionnelle • Analyse ascendante classique (extraction) • Partir des données brutes (images de la séquence) pour déduire des connaissances de haut niveau • Analyse descendante (prédiction / vérification) • Rester à haut niveau et se contenter de vérifier certaines connaissances par prédiction • Basculement critique • L’analyse descendante nécessite une analyse ascendante (initialisation, apport de nouvelles informations, reprise sur erreurs) • Mécanisme de contrôle ? 13/16

  14. Algorithme • Prédiction / vérification simple • Par défaut, opérateur d’extraction (ascendant) • Règle en partie validée sur une image: • Mise en priorité des opérateurs de vérification • Règle dont une partie temporelle a été validée: • Mise en priorité de la règle sur l’image suivante • Mise en priorité ~ Prédiction 14/16

  15. Algorithme: illustration • Gros <=> (joues-gonflées, bouche-fermée) + (joues-neutres, bouche-ouverte) • Joues: pas d'opérateur d'extraction (vérification uniquement) 15/16

  16. Conclusion • Proposition d'un formalisme et d'une architecture pour l'interprétation des expressions en Langue des Signes • A faire: • Valider le formalisme • linguistes • Valider l’architecture • Implantation • Opérateurs extraction / vérification • Mécanisme de contrôle • Traiter les problèmes d’occultation et de changement de pose très présents en Langue des Signes • Envisager d'autres niveaux d'analyse ? (statistique des Expressions du visage en Langue des Signes) 16/16

More Related