J’ai dansé avec machine Repenser les rapports entre l’homme et son environnement

1. J’ai dansé avec machineRepenser les rapports entre l’homme et son environnement Soutiens : Programme Robea (Robotique et entités artificielles) France Telecom R&D

3. Contexte • Développement des concepts de : • wearable computing • ubiquitous computing • amorphous computing • disappearing computers • informatique diffuse • Multiplication et diffusion des objets communicants • capacités (limitées) de • traitement • communication • perception et/ou action • ex : téléphones et ordinateurs portables, PDA, capteurs divers, écrans, robots, etc.

4. Problématiques • Recherche orientée sur la technologie • réseaux radio • mise en communication d’objets • exportation d’interface • annuaires de services • Nouvelles problématiques d’organisation • Nouvelles problématiques d’interaction • interaction 1-1 : phicon • interaction 1-n : • commande • contrôle • conception

5. Démarche adoptée • Transposer le problème dans le cadre d’une performance chorégraphique mettant en scène un danseur et un ensemble d’objets communicants • mise en place d’un dialogue multimodal temps-réel entre le danseur et son environnement • multimodalité dans l’expression du danseur • multimodalité dans l’expression du système • création d’une scénographie dans le cadre d’un spectacle interactif complet • Utiliser le champ créatif comme • catalyseur de recherches en informatique • champ d’expérimentation grandeur nature

6. Système Informatique Expression Perception Metteur en scène Schéma général d’interaction Danseur Humain

7. Emotions : gai/triste, tonique/fatigué etc. Niveau 3 Représentation de la séquence comportementale Analyse Niveau 2 Qualités : lent/rapide, ouvert/fermé etc. Analyse Analyse Niveau 1 Primitives : vitesse, direction, intensité etc. Analyse Données brutes C A P T E U R S Représentation d’une performance • Description de la performance à différents niveaux d’abstraction (B. Gortais) • ontologie de qualités • Utilisation de notations musicales pour représenter et manipuler des séquences temporelles (Y. Orlarey)

8. Capture des mouvements • Analyse en temps réel des mouvements d’une personne • dans un environnement quotidien • à l’aide des informations d’une caméra unique • sans appareillage de la personne • Deux sous-objectifs : • définir un modèle du corps humain et l’algorithme d'appariement qui permettra d'évaluer les paramètres du modèle sur une image vidéo 2D (P. Joly) • mettre au point des techniques permettant l’apprentissage, à partir d’exemples, de l’ontologie définie (J.-D. Zucker) • ex : associer une mesure de vitesse à une qualité subjective de lenteur ou de rapidité

9. Fusion multi-capteurs temps-réel • Contraintes : • le système doit fonctionner en temps-réel • les différents capteurs peuvent avoir des rythmes d’acquisition des données sensiblement différents • fréquences d’échantillonnage différentes • analyse de certaines données sur une fenêtre temporelle • les différentes données sont de natures très diverses • le système doit continuer à fonctionner si l’on ajoute ou si l’on enlève dynamiquement certains capteurs • Objectifs (G. Hutzler) : • mettre en place une plate-forme de gestion et d’exécution d’agents d’analyse des données • expérimenter  modes d’organisation pour la construction collective d’une représentation de la performance

10. Phase 2 du projet • Choix d’une réponse par le système • programmation par démonstration • apprentissage par dialogue en langage naturel • Synthèse visuelle et musicale • apprendre à exprimer l’ontologie de qualités dans une modalité d’expression donnée • apprendre à mélanger différentes modalités d’expression • Apprentissage d’une mise en scène • donner les moyens de décrire de manière simple une trame générale pour une mise en scène