Olivier Losson

1. Interaction, Image, et Ingénierie de la décision (I3D) Cité scientifique 59650 Villeneuve d ’Ascq Modélisation du geste communicatifet réalisation d’un signeur virtuelde phrases en Langue des Signes Française Olivier Losson Directeurs de thèse : J.-M. Toulotte, B. Cantégrit

2. Sommaire de l’exposé Introduction Etat de l’Art Buts recherchés et démarche adoptée Spécification du signe Synthèse du signe Spécification et génération de phrases signées Evaluation des signes synthétiques Conclusion et perspectives

3. Le geste de communication Définition Mouvement intentionnel et significatif du corps Fonction informative Conforme à un code  reproductible, contrôlable Catégorisation (Kendon) Disparition progressive de la parole Apparition de caractéristiques langagières Gestes co- Gestes de Langue verbaux para-langage des signes  Pantomime  Emblèmes  

4. La langue des signes Une langue à part entière Double articulation Grammaire et syntaxe propres Capacité à transmettre le message sans ambiguïté Mécanismes paralinguistiques Variations Evolutions diachroniques Variantes nationales, régionales, sociales, ethniques ... Un sujet d’étude privilégié pour le geste ...

5. Vers des interfaces gestuelles Le geste en interaction homme-machine Une réponse aux handicaps Outils dédiés à la langue des signes Les besoins de la communauté sourde Outils spécifiques basés sur la vidéo Dictionnaires bidirectionnels Didactitiels Vers des interfaces adaptées aux signes

6. Signes en entrée : capture et identification La capture Caméra (+gants colorés/marqueurs luminescents) Capteurs 6D et gants numériques Exemples A. Braffort, H. Sawada, ... La reconnaissance Détection des limites (segmentation) Influence entre gestes (coarticulation) Variabilité (inter/intra-personnelle)

7. Signes en sortie : synthèse (1) Les limites de la vidéo Contraintes de création Volume d’information (stockage / transmission) Flexions et production de phrases signées Exemple de LAC Premiers travaux d’animation synthétique Succession de motifs animés sur fond fixe Harrison, 82 Projet H.A.N.D.S. (HamNoSys) Première synthèse 3D (Shantz & Poizner, 82)

8. Signes en sortie : synthèse (2) F. Godenschweger Dessin au trait animé Spécification de bas niveau T. Lebourque (LIMSI) Génération de mouvements naturels Langage formel de description du signe « Signing Avatars » Tenants et aboutissants ? Reproduction de signes captés ?

9. Tenants et aboutissants Chaîne globale de traduction Analyse grammaticale Analyse sémantique Correspondance, ordonnancement Synthèse graphique Texte source Phrase signée • Détail de la synthèse Evaluation des signes Synthèse graphique Phrase à signer “mots-signes” Représentation intermédiaire Modèle du signeur virtuel Spécification des signes Primitives de synthèse

10. Buts recherchés et démarche adoptée Spécification Lisibilité et compacité de la description Description textuelle (pas de symbole) Intégrité du message + généricité Base = études linguistiques (phonèmes gestuels) Génération Approcher le temps réel Sophistication graphique limitée Production de phrases complètes Etude et modélisation des processus grammaticaux

11. Travaux de Stokoe (65) Chérèmes T D S Tabular T : Position Designator D : Configuration Signation S : Action effectuée par D dans la position T Validation Battison (74) : Orientation; Klima & Bellugi (78) Nève de Mevergnies (98) : gestèmes COLORIACT Autres ensembles : HamNoSys, Liddell & Johnson Bases linguistiques Histoire FxF  

12. Spécification manuelle Configuration Orientation Localisation Point manuel Primitive de déplacement paume ( ) index ( ) • Primitive de déplacement • Spécification manuelle initiale • Mouvement • Spécification manuelle finale

13. Mouvement principal 3 types de trajectoires Dynamique (emphase) Mouvement Primitive de déplacement Spécif manu I Spécif manu F Spécif manu tr MVT Mvt princ Mvt sec Forme chemin Modif mvt • Mouvement secondaire • des doigts • du poignet

14. Outil Vision Suivi manuel Tableur Résultats Mouvement : étude de la dynamique vmax td  tf- tf t v ex. Signe Piquer

15. Déplacement 3 formes • Symétrie des articulateurs Complète Conservation de Anti-symétrie position relative

16. Macro-déplacement Signe = 1 ... (LSF/ASL justice) ... ou plusieurs déplts. (LSF bibliothèque) • Répétitions • Fonctions linguistiques • lexicales • grammaticales (pluriel, nom/verbe) • Plusieurs formes identifiées

17. Spécification hiérarchique complète

18. Configurations manuelles Contacts réels/virtuels Config. digitales Formes statiques des doigts Propriétés man. *Postures pouce *Abduction doigts Contraintes artic. Angles limites statiques et dyn. 5 : Plié 2 : Tendu 3 : Tendu Abduct: 2,3 Recouvert : 4 j i=f (j i-1 ,j i+1 ) q =g (j) Config V Pulpe: 1,2

19. Localisation et Orientation Localisation Moyenne des configs « naturelles » prédéfinies pour le bras Définition explicite Orientation Correspondance avec la matrice d’orientation souhaitée pour le système bras/main Point manuel

20. Expressions faciales Eléments du « visage » Exemples Sombre Content Faible S’asseoir sourcils yeux tête | visage joues bouche épaules

21. Signe Se_déplacer De l’encodage à la synthèse Sign #Se_déplacer . Manual: Shift from: (HandSpec config: #Index at: [UpperTorso FrontProx ... to: (HandSpec at: [UpperTorso FrontProx Sagittal] ori: [bcc ... move: #Natural NonManual: head followsDominantHand Analyse synt. / Evaluation Synthèse graphique

22. Le discours signé Utilisation de l’espace Localisation Accord agent/patient (Verbes directionnels)

23. Localisations et accords pronominaux Localisation ex.Maison(gauche),Garçon(droite) • Accord pronominal ex.: verbe directionnel demander demander(toi, moi) (moi, toi) (moi, lui)

24. Le discours signé (suite) Utilisation de l’espace Localisation Accord agent/patient (Verbes directionnels) • Autres flexions sur les signes • Rythme • Amplitude du mouvement • Types de clause : mécanismes non-manuels • Interaction discours/signe  paramétrage Interlocuteur Tu, toi Il, elle, eux Il, elle, eux (à gauche) (à droite) Je, moi Signeur

25. Autres flexions sur les signes Flexions spatio-temporelles ex. Faire_la_vaisselle (long pénible) • Signes paramétriques Boîte(petite) Boîte(grande) • Signes génériques Jour_semaine(vendredi) Jour_semaine(lundi)

26. Synoptique de la synthèse \YNQ4 Toi rester maison toi Sign %Maison . Manual: s1 = Shift from: ( HandSpec config: #Moufle poin to: ( HandSpec point: #MiddleTip at: [170 42 move: #Natural weakMove: #Symmetrical. s1 repeat . Analyse, évaluation et synthèse r

27. Synthèse de phrases signées \CND2 jour_semaine (vendredi) il_pleut \NO3je rester maison aller bibliothèque je

28. Synthèse de phrases signées %Julie(droite) téléphoner(Julie,moi) fini. Arriver>endroit être_en_retard elle(Julie). %Julie(droite) téléphoner(Julie,moi) fini. Arriver>endroit être_en_retard elle(Julie).

29. Méthodologie de l’évaluation Contenu 50 signes représentatifs forme de citation (hors contexte) possibilité de tester à distance (HTML+e-mail) Protocole 8 informateurs dont 5 sourds demander l’acception perçue + nombre de visualisations évaluer la distance sémantique et classifier expliciter la (les) raison(s) de non-identification

30. Résultats Tests 1-8 (moyennes) Evaluation de phrases : marquage des clauses améliorer les expressions non-manuelles implanter les pauses (étude théorique seule) prendre en compte le rythme de production (rupture)

31. Conclusion Création des signes Système de spécification (grammaire formelle) Interface graphique d’édition Génération de phrases signées Flexions sur les signes (processus grammaticaux) Module de synthèse graphique Avantages par rapport à la vidéo Facilité de création; signes fléchis Compacité de la description textuelle

32. Perspectives Applications EAO, en particulier à distance (faible volume nécessaire) Analyses syntaxique & sémantique  traduction Sous-titrage automatique (ex. télétexte) Traduction de pages web Evolutions du système Rythme de la phrase Synchronisation des articulateurs Fluidité et rendu du signeur Langage compilé (transcription Smalltalk  C++) Avatar volumique expressif piloté en VRML 

33. Remerciements Membres du jury MM. Pruski et Millot P. Coiffet, F.-X. Nève, S. Gibet, et M. Girod J.-M. Toulotte et B. Cantegrit Contacts avec le public sourd Association I.V.T. (Vincennes) Association S.I.E. (Lille) C.R.E.S.D.A. de Pont-à-Marcq Association SELOS (Lille) Membres d’I3D Les (nombreuses) personnes qui m’ont encouragé!

34. Marqueurs de clauses Marqueurs de clauses Négative Assertive Conditionnelle Interrogative Thématique

35. Accord agent/patient : DONNER Sign %Donner (agent , patient) . Manual: me = HandSpec config: #BecCanard point: #IndexTip at: [UpperTorso FrontCont... me selectors: Parameter firstPersonSingular. you = HandSpec config: #BecCanard at: [LowerTorso 70 11] ori: [Supinated]. you selectors: Parameter secondPersonSingular. Shift from: agent selected to: patient selected move: #Linear.       Donner(je,toi) Donner(lui,moi) Donner(tu,lui)

36. Application : intégration à LAC Logiciel multimédia destiné Au public sourd acquérir des connaissances spécifiques s’entraîner à lire A tout public se familiariser avec diverses techniques de communication enrichir ses connaissances Présentation 2 parties d’aspect proche : utilisateur & editeur Accessibilité

37. LAC + signeur virtuel