Des feedbacks sensori-moteurs vers le rendu multimodal

1. Des feedbacks sensori-moteurs vers le rendu multimodal

2. La RV : recréer le réel ? • L’objectif de la RV est-il exclusivement de se rapprocher de la réalité ? (définition du « réalisme » ?) • Ne pourrait-on profiter des potentialités technologiques de la RV pour chercher à augmenter : • la performance des utilisateurs ? • les possibilités des applications ? BOUYER / BOURDOT – AS Haptique - 10 juin 2004

3. Les interactions en RV : ressentir comme dans le réel ? • Cette double interrogation est en particulier valable au niveau des interactions : • Doit-on donner à percevoir l’environnement virtuel « comme » le monde réel ? Feedbacks sensori-moteurs • Peut-on créer autre chose que du « réalisme » à travers ces feedbacks multiples ? Rendu multimodal BOUYER / BOURDOT – AS Haptique - 10 juin 2004

4. Des feedbacks sensori-moteurs limités • Perception humaine • Visuel : • 25 Hz < F < 60 Hz fluidité sans ou avec mouvement de tête, • 100 à 120 Hz pour la stéréo, • Mais aussi : résolution, luminosité, couleur, champ… • Audio : • 20 Hz < F < 20 kHz • Mais aussi : volume, timbre, spatialisation… • Kinesthésique : • F > 1 kHz pour une interaction stable en Temps Réel (TR) • Tactile (cf M. Khoudja - AS 12/03) : • pression, vibrations, température, discrimination de granularité… BOUYER / BOURDOT – AS Haptique - 10 juin 2004

5. Des feedbacks sensori-moteurs limités • Interfaces matérielles • Visuel : • bonnes performances en projection • mauvaises performances en HMD • la complexité de la scène augmente la complexité du rendu donc diminue la fluidité • Audio : • bonnes performances • spatialisation difficile en HPs (problème du placement des HPs dans l’espace…) et en binaural (problèmes des HRTF…) • Haptique : • performances très limitées, problème de la complexité de la simulation qui limite le taux de rafraîchissement BOUYER / BOURDOT – AS Haptique - 10 juin 2004

6. Un rendu multimodal complexe • Objectifs : • contourner les limites technologiques ou les déficiences humaines en combinant les feedbacks • élaborer de nouvelles combinaisons perceptives de sorte à pouvoir mener des tâches le plus « efficacement » possible • Problèmes : • Coûteux en terme d’équipements et d’intégration • Complexe en terme de pertinence et d’efficacité de combinaison BOUYER / BOURDOT – AS Haptique - 10 juin 2004

7. Les expériences psychophysiques comme base au rendu multimodal • Illusions bimodales • Visuel / Audio : effet ventriloque, effet McGurk • Audio / Haptique [Bresciani et al 04] • Visuel / Haptique : [Ernst][Lécuyer] • Études particulières • Visuel / Audio : influence de la qualité de chaque rendu sur la perception de la qualité globale [Storms] • Audio / Haptique : perception de texture [McGee], de rugosité [Guest] • Visuel / Haptique : perception de propriétés spatiales des objets [Heller], de raideur [Wu], tâches de plus haut niveau [MPI]… • Modélisations • Intégration Visuo-Haptique (cf A. Lécuyer - AS 12/03) : [Ernst & Banks 2002][Guest & Spence 2003] BOUYER / BOURDOT – AS Haptique - 10 juin 2004

8. Le rendu multimodal en RV aujourd’hui • Technique • Aucune solution globale • Applications (bimodales) • Sonification d’EVs : augmenter réalisme, immersion, performances… • Sonification de données : augmenter compréhension [Wilson][Hermann][Scaletti][Saue][Rossiter] • Haptisation de données : pour la visualisation scientifique [Infed] • Industrielles : prototypage virtuel, formation… BOUYER / BOURDOT – AS Haptique - 10 juin 2004

9. Les combinaisons possibles des feedbacks sensori-moteurs • Inspiré de [Vernier Nigay 00] • « Aspects de composition » : • spatial : modalités à des endroits spécifiques de l'environnement • temporel : enchaînements possibles des modalités • sémantique : informations véhiculées par les modalités • « Schémas de composition » des modalités : • sans continuité • avec un point de continuité • avec une intersection non vide • dont l'une englobe l'autre • de même étendue BOUYER / BOURDOT – AS Haptique - 10 juin 2004

10. Les combinaisons possibles des feedbacks sensori-moteurs • Redondance • sémantique & même étendue • une même information transmise par plusieurs modalités • laisser l’utilisateur traiter l’information • jouer sur les influences inter-modalités (ex : pseudo-haptique [Lécuyer]) • Complémentarité • sémantique & avec point de continuité • plusieurs modalités transmettent plusieurs informations complémentaires BOUYER / BOURDOT – AS Haptique - 10 juin 2004

11. Les combinaisons possibles des feedbacks sensori-moteurs • Substitution • sémantique et modalités sans continuité • une modalité choisie pour transmettre une information • substitution « intelligente » : dynamique en fonction du contexte (application, tâche, utilisateur…) • substitution « forcée » : définie à l’avance (ex : pour les aveugles, visuel obligatoirement substitué) BOUYER / BOURDOT – AS Haptique - 10 juin 2004

12. Les combinaisons possibles : exemple d’un choc entre deux objets • « Il y a un choc » • Cas 1 : redondance avec • retour visuel (reverse video, luminosité…) • son de choc • Cas 2 : choc hors du champ visuel • substitution du visuel par le son • « Il y a un choc ayant certaines caractéristiques » • Cas 1 : complémentarité entre • visuel : lieu précis et objets en cause • son : caractéristiques des objets (matériaux…) • haptique : raideur du contact • Cas 2 : retour haptique indisponible • substitution de l’haptique par le visuel et le son BOUYER / BOURDOT – AS Haptique - 10 juin 2004

13. Quels apports du rendu multimodal ? • Moyen pour améliorer l’usage des EVs : • aider des tâches de manipulation Ex : CAO • augmenter la qualité des informations transmises pour en avoir une meilleure compréhension Ex : Mécanique des Fluides • améliorer l’interaction homme/calculateur numérique Ex : Bio-informatique BOUYER / BOURDOT – AS Haptique - 10 juin 2004

14. Le rendu multimodal pour aider à des tâches de manipulation • Approche « réaliste » : rendre compte des contacts et des efforts entre objets virtuels par l’haptique • Améliorations : utiliser l’interface AVANT le contact • « Guide haptique » : contrainte active ou passive (binaire) du mouvement • « Champ de forces » : information continue de l’utilisateur • Plus généralement : « Champ multimodal » Combiner toutes les modalités disponibles en complément de l’haptique, pour informer l’utilisateur de façon multiple et continue BOUYER / BOURDOT – AS Haptique - 10 juin 2004

15. Exemple de la CAO immersive(VRAD, T. Convard & P. Bourdot) • CAO immersive avec interaction multimodale vocale et gestuelle en entrée • Rendu multimodal pour : • simuler le montage et les contraintes entre pièces • rendre compte de la déformation des objets • aider à la sélection (arêtes, sommets) • aider à l’apprentissage • rendre les textures BOUYER / BOURDOT – AS Haptique - 10 juin 2004

16. Le rendu multimodal pour augmenter la qualité des informations transmises • Une modalité ne peut pas présenter beaucoup d’informations simultanément (surcharge cognitive) • Ex : présentation incompréhensible d’un graphique • Une modalité peut être mieux adaptée qu’une autre à la présentation d’une information (cf. psychophysique) • Ex : audio propice aux phénomènes temporels • Principe applicable à l’exploration scientifique : • Paramètres multiples en simultané • Choix (par l’utilisateur ou par programmation) de telle(s) modalité(s) pour telle(s) information(s) BOUYER / BOURDOT – AS Haptique - 10 juin 2004

17. Exemple de la Mécanique des Fluides(MecaFlux, J.-M. Vézien & N. Fauvet) • Une dizaine de paramètres usuels • Le rendu visuel sur station de travail oblige à une sélection/restriction des paramètres à visualiser • Exemple de scénario utilisant le rendu multimodal : Suivre un écoulement (haptique) tout en ayant une information sur un minima local (audio) avant de recentrer la vue sur un point précis de la scène (visuel) BOUYER / BOURDOT – AS Haptique - 10 juin 2004

18. Le rendu multimodal pour améliorer l’interaction Homme / Calculateur • Les systèmes informatiques sont utiles pour réaliser/accélérer/améliorer des actions complexes/longues pour l’homme • Même avec un traitement informatique, les difficultés persistent pour des problèmes à forte complexité calculatoire • Le couplage des possibilités informatiques et de l’expertise humaine peut réduire les calculs BOUYER / BOURDOT – AS Haptique - 10 juin 2004

19. Exemple de la Bio-Informatique(ADN-viewer, J. Hérisson & R. Gherbi) • Docking de protéines : on cherche la meilleure combinaison spatiale de 2 protéines selon plusieurs critères • Action / Réaction entre le calculateur et le biologiste • Exemple de scénario avec du rendu multimodal : Le biologiste connaît quelques configurations potentielles et manipule les protéines en ce sens avec l’aide du simulateur qui l’informe par retour haptique de la concordance géométrique et par retour sonore de la concordance chimique. Puis le calculateur reprend la main pour le test exact de la combinaison BOUYER / BOURDOT – AS Haptique - 10 juin 2004

20. Conclusion • Des modèles psychophysiques d’intégration des modalités commencent à apparaître • A ma connaissance • pas encore de règles ou de modèles pratiques de combinaison des modalités • pas d’architecture matérielle et logicielle globale permettant le rendu multimodal • pas d’application fondant réellement un « rendu multimodal » sur des bases psychophysiques avérées BOUYER / BOURDOT – AS Haptique - 10 juin 2004