Du texte en Français à l’avatar signant

1. Du texte en Françaisà l’avatar signant Kervajan & Breton Orange Labs Rennes DELIC Université de Provence

2. Introduction • Suite du travail pour Récital en 2006* • Décrire la LSF pour l’implémenter. • Être économique dans le passage d’information • En gardant des infos issues du traitement linguistique automatique utiles à l’avatar. • => notion de dynamique : rester le plus proche possible des spécificité de la lsf • Aujourd’hui on va plus loin • comment on envisage le raccord • Malheureusement, la démo n’est pas prête * Kervajan, 2006 TALS 2007

3. Traitement linguistique Exemple choisi : • Entrée pour le traducteur* : je te donne la lourde caisse • Sortie du traducteur : caisse lourd’oo donner’je’tu’oo = transcription de surface • Transcription complète : XML (ens de traits) * TiLT, Orange Labs Lannion TALS 2007

4. Passage à l’avatar • Interpréter la sortie du traducteur • Traduire la feuille xlm : une entrée = un signe • Un id (correpondant à la glose* ) • Type : var notvar • Traits • Discussion sur la notion de variation • Par rapport au signe standard : est-ce qu’on peut l’utiliser tel quel • Par rapport à son besoin d’indices : avancer n’a pas de forme neutre • Penser (notvar) dire (var (mais inv en conf) donner(var) • Var par rapport à la connaissance sur les actants (sinon, neutre) • On utilise cette notion de var uniquement dans une perspective de contraintes syntaxique. (pour l’heure on en est au niv des actants…. On essaie d’intégrer les adj…. Ensuite il faudra intégrer tout le reste) * Dubuisson & Lacerte, 1996 TALS 2007

5. Passage à l’avatar • Dans notre exemple, seul caisse est invariable • Discussion • Grosse caisse vscaisse est grosse. • CAISSE peut subir des variations modales • Il est invariant sur les configurations et des locus (relatifs) de départs et d’arrivée • Pour les gestes variables • indications après les apostrophes (surface) que l’on retrouve dans des traits dans la feuille xml (traits de lourdeur (pour le verbe) non visibles dans la transcription de surface mais bien présent dans xlm) TALS 2007

6. Rôle de l’accord • L’intérêt était de montrer comment on gère la variation • La variation et la présence de traits à compléter ou à modifier sur la base, sont une conséquence de phénomènes linguistiques dont le point commun est l’accord TALS 2007

7. Phénomènes traités • La variation de configuration • relie le prédicat avec • son sujet (AVANCER) • son objet (DONNER). • Elle permet également les processus de qualification (LOURD). • La variation de lieux relie le prédicat avec • son sujet et son oblique (DIRE, DONNER) ou • avec son objet (PRENDRE, CHOISIR) • mais aussi avec des lieux (ALLER\_\`A, ALLER\_DE\_...\_\`A). • La variation des formes • de la configuration (plus ou moins grande), • de la forme de la trajectoire (amplitude, répétition) = processus de modification par un type d'adjectif ou d'adverbe* * Kervajan & Voisin 2007 TALS 2007

8. Phénomènes traités • La modification de l'emplacement du corps = mécanisme de transfert personnel qui permet la prise de rôle. • C'est un deuxième moyen de relier le prédicat et son sujet. • Cependant, un transfert a un effet qui dépasse celui de l'accord avec le prédicat dans la mesure où la modification affecte un ensemble de signes qui correspond en général à la phrase. • La modification des traits du visage permet de marquer le mode : • l'affirmation, la question, le doute ou l'ironie. • Enfin, il est également possible de prendre en compte d'autres paramètres de modification tels que les facteurs liés au locuteur, à son style ou son état émotionnel*. • Il reste un certains nombre d'éléments à rajouter. En effet, nous n'avons pas parlé du regard, par exemple, dont la gestion est indispensable puisqu'elle permet de préciser les catégories grammaticales des signes exécutés. * Heloir et al, 2006 TALS 2007

9. Description du lgg retenu • Postulat : dictionnaire exhaustif des racines de signes • À compléter ou modifier en fonction des éléments issus du traitement linguistique • L’absence d’indication renvoie à une forme par défaut • lieu neutre, configuration de l’infinitif ou du signe standard correspondant (cf LOURD)) • Principe économique • signe réalisé par infographie mais modifiable • « Peu » de signes au départ, reconstruits par concaténation de gestes TALS 2007

10. Interprétation et animation • À partir du fichier XML, le module de synthèse concatène les gestes et produit la séquence de signes TALS 2007

11. Interprétation et animation • Développer* un procédé pour produire un énoncé en LSF à partir de l’équivalent en langage naturel (le fr) • Postulat du départ : corpus • résultat d’un travail d’info graphie, stocké sous la forme de fichiers BVH (BioVision Hierarchical data) • Démarche inverse de réaliser un langage de description de gestes** * Lee et kunii, 1993 Lebourques et Gibet, 1999 * Prillwitz et al., 1989 Elliot et al., 2004 Losson et Vannobel, 1998 TALS 2007

12. Structure de la séquence • Représentation de l’énoncé • Création d’un arbre à partir du XLM. • La logique invariant/variant est reprise • en fonction du type, le geste sera reproduit tel quel ou adapté. • Répartition des canaux • Un canal pour la configuration (avec orientation du poignet) • Modification par instanciation directe • Un canal pour la position du poignet • Modification par l’attribut TRAIT par Motion Blending* • Calcul du coude par cinématique inverse** • Un canal d’animation faciale (sauf regard, non encore prise en compte) * Bruderlin et Wiliams, 1995 ** Tolani et al., 2000 TALS 2007

13. Instanciation des trajectoire • Transformation de la structure discrète (arbre) en une séquence continue de paramètres. • Insertion des transitions manquantes (dbéut, fin, transition) et concaténation des paramètres d’animation. TALS 2007

14. Instanciation des trajectoire • Le système parcourt l'arbre une première fois pour instancier les gestes ainsi que les postures initiale et finale, puis une seconde fois pour instancier les transitions. Lors du premier passage, les gestes invariants du corpus sont instanciés tels quels sur les deux canaux. Pour les gestes variables, les positions de début et de fin sont déterminées suivant les attributs. La trajectoire est calculée par Motion Warping (Witkin & Popovic 1995) technique qui permet d'infléchir des mouvements pré-enregistrés sous contrainte, puis la configuration est modifiée s'il y a lieu. Enfin, le mouvement résultant est altéré par Motion Blending ou ``mélange de mouvements'', suivant le trait. Lors du second passage, les transitions sont calculées, à partir des paramètres finaux du geste précédant et initiaux du geste suivant, très classiquement par l'intermédiaire de splines cubiques. TALS 2007

15. Squelette de l’agent • L’animation de l’agent est réalisée par utilisation classique d’un système de Skin and Bones TALS 2007

16. Conclusion • L’intérêt de la communication était de montrer que l’on pouvait traiter la variation du signe, non en multipliant les forme mais selon une approche dynamique. Cela nous permet d’envisager la prise en compte d’un maximum des spécifiés de la LSF*. • Nécessité d’une évaluation par les locuteurs. • Nécessité d’une implémentation à grande échelle. * Cuxac, 2000 TALS 2007

17. Conclusion • L’approche en est à ses début et à terme, il est probable que nous ne parlerons plus d’invariables : nous aurons des signes avec des niveaux de variabilités différenciés (prise en compte des contraintes liées aux actants, aux modifieurs, à l’émotions, au transferts) • En fait cette notion d’invariant/variant touche certains articulateurs : les mains, l’espace relatif (ou absolu quand on est sur le corps). Cela n’empêche pas qu’au niveau d’autres articulateurs, tous les gestes soient variables. TALS 2007

18. Merci pour votre attention ! … et rendez-vous à la soutenance de ma thèse pour la démonstration ! TALS 2007