Co mbinaisons de R endus S ensori-moteurs pour l’ A nalyse I mmersive de Ré sultats

1. Programme MDMSA 2005 Revue de projets 13 novembre 2008 Combinaisons de Rendus Sensori-moteurspour l’Analyse Immersive de Résultats

2. Sommaire de l’exposé • Introduction Patrick BOURDOT (LIMSI), Jean-Marie BURKHARDT (ECI-Université Paris V) • Problématique en « Bioinformatique » Catherine ETCHEBEST et Ludovic AUTIN (EBGM) • Problématique en « Mécanique des Fluides » Jean-Marc VEZIEN, François LUSSEYRAN (LIMSI) • Avancées en Interaction Haptique Mehdi AMMI (LIMSI), Jérôme PERRET (HAPTION SA) • Avancées en Audio 3D Olivier WARUSFEL (IRCAM), Brian KATZ (LIMSI), Lorenzo PICINALI (IRCAM) • Supervision Multimodale Patrick BOURDOT (LIMSI), Guillaume BOUYER (IBISC) • Scénarios d’usage et Evaluation Jean-Marie BURKHARDT (ECI-Université Paris V) • Conclusion Patrick BOURDOT (LIMSI) et al.

3. Introduction Générale • Motivations • Multimodalité : multimédia « intelligent » • RV : immersion, réalisme, interaction multi-sensorimotrice • Finalité : traitement des canaux sensorimoteurs (et de leurs modalités) pour rendre plus intuitives et au final plus efficaces les interactions en RV • Objectifs dans CoRSAIRe • Aider les utilisateurs dans l'analyse de phénomènes 3d aux données massives et complexes • Donner à percevoir ces phénomènes en combinant les modalités immersives disponibles sur les canaux visuel, haptique et audio des systèmes de RV • Evaluer de façon formelle ces solutions sur des scénarios d’usage propres aux deux applications visées • Partenaires : LIMSI-CNRS, IRCAM-CNRS, EBGM-INSERM, Université Paris Descartes, HAPTION S.A.

4. Intro : Analyse des Besoins • Objectifs • Cerner l’activité « actuelle » • Utilisateurs = Chercheurs (objectifs, procédures,…) • Exploration finalisée des données • Outils et procédures • Déterminer Images Mentales et Activité Cognitive des sujets • Composants, Evolution… • Anticiper l’activité « future » • Nourrir scénarios d’usage pour l’évaluation • Méthodes • ACD : Analyse Cognitivo-Discursive (Ghiglione et al.1998) • Méthode d’analyse du discours des « utilisateurs » : appliquée sur les données d’entretien et les traces de l’activité • Permet d’identifier les formes et relations entre noyaux sémantiques mobilisés dans leur discours : fréquences d’apparition des univers sémantiques, proximité des références, connecteurs logiques • Observations et verbalisation en situations : • Enrichissement du corpus de données sur l’activité • Approche participative impliquant les « utilisateurs » : • Analyse (ACD) • Validation du modèle d’activité • Conception et construction ses Scénarios d’usage

5. Intro : Analyse des Besoins • Résultats • Modèles hiérarchiques des tâches (Annet & Stanton, 2003) • Description formelle du découpage du travail en tâche et sous-tâches • Met en exergue, sur la tâche « actuelle » : Objectifs / Mode de travail / Besoins propres à chaque niveau de décomposition • Représentation facile à comprendre, à exploiter, à remanier et à évaluer par les utilisateurs et les concepteurs excellent outil pour créer de nouvelles interfaces • Exemple (extrait) sur le Docking moléculaire • Scénarios d’usage

6. Application : Bioinformatique • Aspect biologique • Fonction protéique Interactions avec des partenaires (ADN, protéine (IPP),membrane etc..) • Dérégulation Pathologie, désordres métaboliques  Les médicaments développés actuellement ciblent des IPP • Difficulté d’obtention expérimentale des structures 3D des complexes protéiques: prédiction par la bioinformatique • Notions de bases sur les IPP • Bonne complémentarité topologique (forme) • Notion d’énergie ou évaluation de « score » par la mécanique moléculaire : Energie de Van der Waals et d'électrostatique

7. Bioinfo 2/4 : Processus de Docking pour la prédiction des IPP  Affinement  Représentation Selection et classement selon le score   Recherche conformationnelle (corps rigide) Rotation Translation

8. Bioinfo 3/4 : Analyse des Besoins • Méthode • 4 entretiens semi-dirigés avec des chercheurs • 4 séances d’observation de l’activité sur les outils existants + recueil des protocoles verbaux + recueil d’observables • Analyse de traces écrites (articles, manuels de formation) + recueil des caractéristiques des graphiques • Besoins informationnels • Physico-chimie des protéines : • Topologie des protéines : Complémentaritégéométrique • Sites de liaison ou « hot-spot » • Contraintes en RV • Assister le processus de docking mis en évidence • Interaction Temps Réel • Perception multi-sensorimotrice • Projection Information  modalité Scores

9. Bioinfo 4/4 : Approche retenue • Cas test : Barnase-Barstar

10. Ecoulement de cavité : écoulement à grande vitesse cisaillé (instable) + fluide intra-cavitaire piégé (recirculation) Intérêt de ce type d’étude : interaction fluide / discontinuités structurelles (train d’atterrissage, toit ouvrant) instabilité due au cisaillement → tourbillon et traînée Application : Mécanique des Fluides BRUIT VIBRATIONS TRAINEE POLLUTION CONTROLE 10

11. MécaFlu 2/4 : objectifs de l’activité Problématique générale: caractériser des écoulements de fluides à partir des objets mathématiques qui permettent de les analyser Caractérisation objective de la construction d’une représentation mentale propre au chercheur : Caractérisation subjective par analyse active de l’objectif « situé » du chercheur et de ses connaissances a priori (script, littérature scientifique…) 11

12. MécaFlu 3/4 : Analyse des Besoins • Méthode • 4 entretiens semi-dirigés avec des chercheurs • 4 séances d’observation de l’activité sur les outils existants + recueil des protocoles verbaux + recueil d’observables • 6 simulations d’exploration accompagnée sur 2 problèmes réels + recueil des protocoles verbaux + recueil d’observables • Résultats : modèle hiérarchique des tâches (extrait), spécificité de l’activité • Modèle initial statique • Dynamique • Suivi dansle temps • Configuration d’intérêts • Altern. navigation/analyse • Comparaison d’états

13. Exemple simplifié : spectre « piqué » (vitesse), essentiellement 2D dans la couche de cisaillement, mais structure intra-cavitaire 3d complexe Outils : mesures locales, imagerie (2D instantanées) Simulations numériques: 3D, à confronter aux mesures réelles Quoi :Vorticité, facteur Q, lignes de courant.. insuffisant (à t fixé) L’immersion apporte: La réactivité par une interaction temps-réel directe La mise en correspondance des données et des modalités: Evite la surcharge visuelle Sonification = analyse de type spectrale  Écoute = analyse rapide Haptique : caractéristiques locales, ponctuelle de l’écoulement Rendu d’une grandeur résultante (trainée). MécaFlu 4/4 : Approche retenue 13

14. Interaction Haptique Haptique : Motricité (geste) Perception kinesthésique : Perception des mouvements propres de notre corps. Perception des efforts musculaires. Perception tactile : Fournit des informations cutanées concernant le contact de la peau avec l’environnement Caractéristiques Mode actif La perception est le résultat d’une action La boucle temporelle action-perception est d’une échelle inférieur à celle de la boucle visuelle ou auditive Analyse locale Mode Visuel : analyse spatiale Mode Auditif : analyse fréquentielle 14

15. Interaction Haptique : Mise en place du démonstrateur de Docking • Mode bimanuel • Main dominée (WAND) : manipulation du contexte • Main dominante (Bras Haptique) : Interaction entre le ligand et le récepteur • Mise en place d’un module de détectionde collision • Libraire RAPID : contacts multipoints • Retour d’effort en force et en torsion grâce au bras haptique Virtuose-6D • Mise en place d’un module de calcul des interactions électrostatiques • Calcul d’une grille de potentiels électrostatiquespour la protéine cible • Immersion du ligand dans la grille du potentieldu récepteur 15

16. Interaction Haptique : Mise en place du démonstrateur de Docking • Module de calcul de complémentarité de surface : géométrie, VdW, etc. • Calcul des distances minimales : « ESPIONS » • Calcul d’un ensembles de distances sur la bases de critères évolutionnistes. • Fluctuation du champ de vecteurs de distance minimum • Calcul d’un score de complémentarité géométrique basés sur les plans de projections : • Test des co-linéarités entre les normales des vertex de projections (produits scalaires). • Site(s) de complémentarité géométriques approximés entre les deux protéines. • Approche Itérative • Calcul d’un score de complémentarité géométrique avec une recherche itérative par approche ICP (Iterative Closest Point) • Validation de l’approche sous Matlab • Portage sur la plateforme en cours (module C++) 16

17. Interaction Haptique : Perceptionde Vortex d’un écoulement Etude comparée de méthodes de perception haptique d’isosurfaces Exploitation d’approches existantes: Approche polygonale : (-) nécessite le calcul d’une représentation intermédiaire Approche volumique : (+) rendu lissé et gain de ressources (-) manque de robustesse vis-à-vis des fortes variations de gradient Rendu direct d’isosurfaces Couplage de l’approche volumique avec une technique de Proxy (+) Pas de représentation intermédiaire (+) Une boucle haptique de très haute fréquence quelque soit la région explorée (+) Convient aux régions présentant des données de hautes fréquences spatiales Plane A’ 17

18. Interaction Haptique : Caractérisation d’un écoulement instationnaire • Identification et caractérisation de points singuliers • Couplage d’un rendu haptique et d’un traitement local des données pour repérerles points singuliers • Caractérisation des points détectés • Type : foyer répulsif, point-selle • Caractéristiques : sens, amplitude… • Amélioration de la compréhension • de la structure spatiale des points singuliers • des caractéristiques des points singuliers • Analyse de toute la séquence d’écoulement • Caractérisation de l’évolution du « squelette » (topologie) de écoulement dans le temps • Couplage de l’approche développée avecdes calculs de cohérence spatio-temporelle 18

19. Rendu Audio 3D Sonification Audification: transcription directe de données abstraites vers un flux audible Model-based sonification: les données traduites par un scenario virtuel interactif (e.g. modèles physiques) Parameter-mapping sonification: données contrôlent différents paramètres d’un modèle de synthèse sonore. Rendu audio spatialisé  Audio3D: les sources ou flux sonores sont positionnés en direction et en distance autour de l’auditeur Relation privilégiée son / espace 3D Exploitation des méthodes de rendu audio 3D (ambisonique sur haut-parleurs, binaural sur casque). 19 19

20. Audio 3D: Immersive data sonification • Apport de la spatialisation du son dans une tâche d’exploration interactive. • Abstraction d’une tâche d’exploration de données spatiales (MécaFlu & BioInfo) • Comparaisons des performances d’exploration sonifiée avec et sans spatialisation. • Métaphores pour la manipulation d’un objet géométrique • Abstraction de l’application BioInfo • Mise en correspondance de l’orientation de deux objets présentés visuellement (3D). • Une tâche de manipulation mono-manuelle. • Feed-back proprioceptif et auditif. • Comparaisons des sonification (gestuelle, informative, prédictive) . 20 20

21. Audio 3D: Bioinfo 21 21

22. Audio 3D: Bioinfo (0:44) • Exemple sonore 22 22

23. Données (pré-calculées) Vitesse du fluide selon 3 directions (X, Y, Z) au cours d’une simulation d’écoulement de 20 secondes Données échantillonnées à deux niveaux de détail en espace et en temps. Interface de sonification (créée en Max/MSP): Environ 100 instances de sonification possibles simultanément Exploitation selon les 2 modes de résolution de données (400Hz et 30Hz) 4 méthodes de sonification disponibles pour chaque instance Possibilité de spatialiser chaque instance Exemples Audio 3D: MécaFlu • Données à 400 Hz sonification de 3 positions statiques simultanées (0:19) • Données à 400 Hz sonification de 3 positions statiques simultanées (0:19) • Données à 30 Hz sonification de l’exploration via1 position mobile(0:17) 23 23

24. Supervision Multimodale Problématique Informations  différentes fonctionnalités de rendu (modalités) Conception de ces « mappings » a été faite au regard des tâches, mais de façon relativement statique Comment gérer l’activation dynamique de ces différentes modalités avec des préoccupations de : Simultanéité Redondance Complémentarité Substitution… Approche étudiée : Supervision multimodale Moteur de décision de l’allocation modale des informations : adaptée aux objectifs de l’utilisateur : la tâche qu’il a choisi d’effectuer à un instant donné modulée par l’état courant de l’ensemble du système (utilisateur, application, matériel) Critères de décision : Sémantique des tâches à réaliser Modalités disponibles Caractéristiques humaines Contexte d’interaction 24 24

25. Supervision Multimodale Résultat : Système de requête Base de connaissances statique: Règles de projection « idéales » Construites à partir des recommandations ergonomiques Base de contexte : Données statiques : statut de l’utilisateur,environnement matériel… Données dynamiquesmises à jour par un « observateur de contexte » : état de la scène, de l’utilisateur dans celle-ci, tâche courante, état des périphériques et du rendu… Moteur de décision : règles logiquesde modulationdes projections « idéales »en fonction du contexte Modèle des interaction communication entre les différents composants 25 25

26. Scénarios d’usage & Evaluation 1/4 • Objectifs • Evaluer l’adéquation des fonctionnalités aux besoins • Evaluer l’apport de la multimodalité et de l’immersion à l’activité • Continuer le processus de conception • Fonctionnalités • Multimodalité • Contraintes • Maquettes ou versions opérationnelles/fonctionnelles du système • Profils et nombre de « sujets » potentiels • Approches • Evaluation sans utilisateurs • Adaptation méthode existante, e.g. critères (Bach, 2004), heuristics (Tromp & al.), Cognitive walkthrough (Sutcliffe et al.), etc. • Evaluation avec des utilisateurs • Scénarios d’usage (Utilité, utilisabilité ) • Evaluation performance

27. Scénarios d’usage & Evaluation 2/4 • Evaluation 1 - scénario « Docking Moléculaire » • Objectif • Evaluation d’ensemble du système • Population • Experts en docking / étudiants avancés (N=10-15) • Tâche • Scénario d’usage • Amarrage complexe Barnase-Barstar • Phase d’entraînement / familiarisation • 10 essais  placement sur une position jugée probable / correcte • Données recueillies • Verbalisation simultanée • Actions, position enregistrée, temps • Questionnaire satisfaction / évaluation subjective

28. Scénarios d’usage & Evaluation 3/4 • Evaluation 2 - scénario « MécaFlu » • Objectif • Evaluation d’ensemble du système • Approche formative • Anticipation • Fonctionnalité • Interaction multimodale • Population • Experts en mécanique des fluides (N=5 maxi) • Tâche • Scénario d’usage • Phase de familiarisation / prise en main • Utilisation pour l’exploration • Données recueillies • Verbalisation • Questionnaire satisfaction / évaluation subjective

29. Scénarios d’usage & Evaluation 4/4 • Evaluation 3 - Expérimentation rôle MM • Objectif • Evaluer l’apport des modalités à l’exploration et la prise de décision dans un environnement 3D • Population • Sujets sans expertise particulière (N=30) • Plan expérimental • Visuel vs. Visuel + Haptique actif vs. Visuel + Son • Tâche • Scénario simplifié (cavité) • Phase de familiarisation / prise en main • 2 phases • Naviguer dans l’espace 3D pour trouver (localiser et identifier) une liste d’objets connus • Naviguer pour « retrouver » les objets précédemment • Données recueillies • Performances (tps, path, actions etc.) • Verbalisation spontanées • Questionnaire satisfaction / évaluation subjective

30. Conclusion : Production & Retombées • Production scientifique • 13 papiers internationaux (dont ISon’07, EGVE’07&08, IEEE 3DUI’08, EuroHaptics’08...) • 4 chapitres d’ouvrage • 1 poster en colloque international • 2 thèses achevées (1 soutenance en décembre 2008) + 1 thèse en cours • 1 article de revue « accepté à la révision » et en cours de soumission finale • Nombreux rapports internes et mémoires de Master • Production logicielle • 2 démonstrateurs opérationnels • 2 bibliothèques de rendus audio et haptique déployables • 1 moteur de supervision mutimodal • Essaimage humain • 1 doctorant  MdC (IBISC – ENSIE, Evry) • 1 doctorant et postdoc  3 années postdoc dans FVnano (LBT, Paris) • 1 postdoc  2 ans chez Scripps (Pr. A. Olson, Californie) • 1 master recherche  doctorant à l’ENSAM (Paris) • Essaimage scientifique • Accepté : EVEILS (Espaces Virtuels pour l'Education et l'ILlustration Scientifique), Programme Blanc ANR 2008 • Evalué positivement : MEDOCK (suite de CoRSAIRe/Bioinfo sur interaction collaborative avec modèle dynamique multi-échelle, appel COSINUS 2008 de l’ANR

31. Conclusion : Bilan / Objectifs • Positionnement international et/ou national • Aucun des systèmes existants (cf. pour Docking : Grope, ARC docking, STALK et variantes) ne correspond au processus réel d’exploration mis en œuvre par les chercheurs • Aucun de ces systèmes n’ont été évalués, a fortiori avec des chercheurs • Certains systèmes existants utilisent l’Haptique, mais aucun n’ont d’approche Audio et Multimodale • Peu de systèmes de RV exploitent des canaux sensorimoteurs pour convoyer des informations abstraites • Objectifs initiaux sont atteints : • Conception de rendus haptique et audio sur des données massives abstraites • Solution de supervision multimodale des rendus multi-sensorimoteurs • Progrès dans les applications scientifiques de RV (MécaFlu, Bioinfo…) • Résultats supplémentaires • Formalisation du processus de docking • Nouvel axe d’investigation ergonomique : les utilisateurs – chercheurs ! • Achèvement dans les temps (14 Juin - 5 Nov. 2009) • Finaliser les démonstrateurs (Janv. 2009) • Effectuer les évaluations (Avril 2009) • Compléter les travaux en Audio et Haptique (Janv. à Juil. 2009) • Poursuivre la publication (Avril à Nov. 2009) • Dissémination • Enrichir page web : http://www.limsi.fr/venise/CoRSAIRe.html • Oct. – Nov. 2009 : projet de Workshop (EuroVR) + Démonstrations (inauguration)

32. Démo « CoRSAIRe/MécaFlu »

33. Programme MDMSA 2005 Revue de projets 13 novembre 2008 Combinaisons de Rendus Sensori-moteurspour l’Analyse Immersive de Résultats

34. Planning détaillé de fin de projet (1/2) • Haptique • Décembre 2008 : finalisation des travaux visant à caractériser les singularités sur toute la séquence d’écoulement de Mécanique des Fluides. L’objectif de cette recherche est de mettre en place un ensemble de stratégies, exploitant le canal haptique, pour caractériser et interpréter les données présentant une dimension temporelle. • Janvier 2009 : finalisation du module de complémentarité géométrique en docking de protéines. Nous souhaitons également mettre en place les solutions de filtrage (par interpolation temporelle et spatiale) des scores électrostatiques. • Janvier à mars 2009 : sur la base du démonstrateur précédent, nous souhaitons aborder une problématique portant sur le couplage audio-haptique. L’objectif de cette recherche est d’étudier la répartition du rendu des données de Mécanique des Fluides sur les canaux haptique et audio. • Audio • Décembre 2008 : Elaboration d’un protocole de communication OSC entre Pymol et MaxMSP pour l’application BioInfo. • Décembre 2008 : Mise à jour et version finale de la plateforme de sonification pour l’application BioInfo • Janvier 2009 : Elaboration de nouvelles métaphores de sonification pour l’application Mécanique des Fluides, et études de nouveaux liens avec la modalité Haptique • Janvier 2009 : Mise à jour et version finale de la plateforme de sonification pour l’application Mécanique des Fluides • Mars-Juillet 2009 : au cours du premier trimestre 2009, un nouveau test perceptif sera consacré à l’exploration de données sollicitant conjointement les modalités auditives et haptiques. • Appli Bioinfo : • Mi-novembre 2008 : Amélioration de l’interactivité du démonstrateur pour l’utilisateur : utilisation des commandes du bras haptique (boules et boutons) pour commander pymol • Fin novembre 2008 : Evaluation en temps réelle des interactions de type liaisons hydrogène et ponts salins • Mi-décembre 2008 : Développer un système de changement d’échelle des transformations géométriques des protéines afin de permettre des mouvements plus fin à l’approche d’une conformation d’intérêt pour l’utilisateur. • Janvier 2009 : Amélioration de l’évaluation de la complémentarité de surface (cf haptique).

35. Planning détaillé de fin de projet (2/2) • Appli MécaFlu • voir travaux hatique et audio (ci-dessus), et évaluation (ci-dessous). • Evaluation : • Appli Bioinfo : • Fin novembre 2008 : finalisation du protocole expérimentale (consigne, version logiciel de passation, logfile, enregistrement) • Janvier, février 2009 : recrutement et passation de l'étude avec 10 à 15 experts • Mars analyse des données recueillies et rédaction du compte rendu • Appli MécaFlu : • Décembre 2008 : finalisation du protocole d'étude (enregistrement des verbalisation+ écran) • Janvier 2009 : passation avec 4 à 5 experts de la Cavité explorée; • Février, mars 2009 : analyse des données recueillies et rédaction du compte rendu • Expérimentation de l'effet de la multi-modalité : • Fin novembre 2008 : finalisation du protocole expérimentale (consigne, version logiciel de passation, logfile, enregistrement) • Janvier, février, mars 2009 : recrutement et passation de l'étude (n= 30 sujets min) • Avril 2009 : analyse des données recueillies et rédaction du compte rendu. • Publications, dissémination et rapports finaux : • Mai à Novembre 2009.