L’émotion dans les systèmes interactifs Domaines d’expérimentation : la danse & la réalité augmentée.

L’émotion dans les systèmes interactifs Domaines d’expérimentation : la danse & la réalité augmentée.

Conférence - Démonstrationdansée GaëlDomenger, Centre ChorégraphiqueNational - Thierry Malandain, Ballet Biarritz Alexis Clay, ESTIA, LaBRI, Université de Bordeaux. ElricDelord, ESTIA Nadine Couture, ESTIA, LaBRI Laurence Nigay, Université Joseph Fourier, LIG

Managment mental Sport de haut niveau Stress des pilotes pôle aérospace valley Ballet Augmenté etc…

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. • L’émotion est assez peu étudiée en IHM • C’est pourtant, peut être, la part la plus Humainede l’IHM ! • L’émotion devrait être un élément clé de notre discipine qui étudie lesHumains Interagissant avec les Machines. Capture Analysis Interpretation

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. Différentes manières de l’aborder … notre approche : • Le geste et la position du corps traduit un état affectif … • Comment faire réagir le système informatique selon l’état affectif capturé ? • Point de vue génie logicielcentré utilisateur ! Capture Analysis Interpretation

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. CARE is a French research project funded by the French research agency (ANR). The project brings together 7 partners, whose goal is to integrate, adapt and develop tools to enhance interactive systems devoted to cultural experiences. These enhancements are based on augmented reality and emotions. ESTIA French ResearchAgency GIPSA Immersion IRIT LIG LIMSI Metapages UTT Capture Analysis Interpretation +

Démonstration de l’application

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. INTERPRETATION Emotion ANALYSE Caractéristiques CAPTURE Dispositifs

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. Architecture à composants • Composant: boîte noire. Définie par ses entrées, sorties (paramètres) • Communication par flux de signaux entre composants • Avantage: réutilisabilité des composants, modifiabilité du système Flux sortants paramètre Flux entrants

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. Capture Interprétation Analyse Extracteurs de caractéristiques Unités de Capture Interpréteurs

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. Composant Capture Composant interprétation Composant Analyse

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. La reconnaissance d'émotion en tant qu'interaction • Modalité := (d, sr) | (modalité, sr) • Ex de SR: Coordonnées de mains: 2 * 6 degrés de libertés; coordonnées du corps complet, 23 segments <X, Y, Z, q1, q2, q3, q4> • Système représentationnel: permet d’identifier les flux qu’il est possible de fusionner • Composition des modalités: propriétés CARE

Architecture de l’application

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. CD IG NF IG NF Représentation graphique Niveau Capture Niveau Analyse Niveau Interprétation Unités de capture Extracteurs de caractéristiques Interpréteurs PAC-Amodeus, A Software Architecture Model for Multimodal Systems, L. Nigay, 1993.

Fonctionnement à l’exécution

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. S.R. 4 caracs S.R. 2x coord Composant Capture Composant interprétation Composant Analyse Pol Arm Vert Speed Interp S+F SagX emotion 1 2 SagN Moven Trunk The contribution of general features of body movement to the attribution of emotions, deMeijer, 1989

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. S.R. 5 caracs S.R. Corps Composant Capture Composant interprétation Composant Analyse Pol Arm Vert Speed Interp S+F SagX emotion 1 2 SagN Moven Trunk

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. Composant Capture Composant interprétation Composant Analyse Pol Arm Vert Speed Interp S+F SagX emotion 1 2 SagN Moven Trunk

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. Composant Capture Composant interprétation Composant Analyse Changement: Calcul sagittal Pol Arm Vert Speed Interp S+F SagX emotion 1 2 SagN Moven Trunk

Réutilisabilité

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. Composant Capture Composant interprétation Composant Analyse Pol Arm Vert Speed S+F SagX Interp2 SagN Moven Trunk

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. Unités de capture: pleinement réutilisable Extracteurs de caractéristiques: condition des données en entrées Adaptateurs Interpréteurs: caractéristiques en entrée et format La synchronisation et la redistribution des flux de données n’est pas générique dans la version actuelle mais peut être rendue générique La fusion est par nature un système ad hoc. Discussion: réutilisabilité des éléments

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. Questions?

L’émotion dans les systèmes interactifs Domaines d’expérimentation : la danse & la réalité augmentée.