Design des environnements virtuels

1. Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval

2. Plan • L’impératif technologique et l’environnement virtuel intégré • Design des EV – Caractéristiques particulières • Design de l’interaction entre l’utilisateur et l’EV. • Tâches universelles d’interaction dans un EV. Objectifs pour le design des interactions. • Navigation: - techniques de déplacement virtuel (travelling) - techniques d’orientation spatiale (wayfinding) A. Branzan-Albu & D. Laurendeau GIF-66800

3. Diagramme d’un environnement virtuel simple

4. L’impératif technologique • Un environnement virtuel ne peut pas être conçu comme l’ensemble de ses sous-systèmes orientés vers des taches très spécifiques. • “One might think that all one needs in a virtual environment is an assortment of special interface devices hooked up to a computer. Once the hardware is obtained and hooked up, the rest of the implementation follows directly. This is a common misconception, which I call “the technological imperative” – Steve Bryson, NASA AMES 1992.

5. Exemple • Design des interfaces de RV pour un système utilisant le BOOM: • L’affichage visuel doit être tenu à la main, ce qui limite les possibilités de manipulation des objets virtuels.

6. L’environnement virtuel intégré Quels sont les défis majeurs pour le design des environnements interactifs et immersifs? • Compromis optimal entre la vitesse de traitement de données (lecture des interfaces, rendu graphique, rétroaction etc.) et l’exactitude des calculs. • dépend de l’application (niveau de réalisme requis, fréquences des interactions etc.) • Confrontation avec les limites actuelles de la technologie. Les options de design évoluent en fonction du progrès technologique.

7. Design des environnements virtuels – caractéristiques particulières • Design des EV versus design des systèmes (génie logiciel) Présence : - design de l’interaction utilisateur – EV. - design des interfaces utilisateur. Interface = outil hardware/software qui assure l’interaction et la communication entre l’utilisateur et l’EV. Périphérique d’entrée: composante hardware pour la communication utilisateur-EV ex : stylus, gant, etc. Technique d’interaction: méthode qui permet à l’utilisateur d’accomplir une tâche dans l’EV (composante software). Plusieurs techniques d’interaction sont possibles avec le même périphérique d’entrée. La même technique d’interaction peut être compatible avec plusieurs périphériques d’entrée.

8. Design de l’interaction entre l’utilisateur et l’environnement virtuel • Perspective utilisateur : difficulté de compréhension et d’interaction avec les systèmes 3D multimodaux. • Le monde réel quotidien contient plus d’indices permettant de bien réussir une action qu’une simulation virtuelle très réaliste. • Intégration de l’information multisensorielle communiquée par l’EV : courbe d’apprentissage non négligeable.

9. Design de l’interaction entre l’utilisateur et l’environnement virtuel • Dépend de la nature de l’application (modèle des exigences) • Fréquence versus complexité de l’interaction • Exemple: contemplation d’un monde virtuel à partir d’un point de vue stationnaire • Interaction : changement de l’orientation de la vue • Très fréquente; • Très simple, basée sur le tracking des mouvements de la tête.

10. A. Branzan-Albu & D. Laurendeau GIF-66800

11. Tâches universelles d’interaction dans un EV • Navigation : - déplacement (‘travel’) – composante motrice, mouvement - orientation spatiale (‘wayfinding’) – composante cognitive, prise de décision • Sélection des objets virtuels • Manipulation - spécification des propriétés de l’objet (position, orientation, forme etc.) • Contrôle du système - changement de l’état du système ou du mode d’interaction

12. Objectifs pour le design des interactions • Performance • efficacité • exactitude • Utilisation • Facile à utiliser • Facile à apprendre • Confortable pour l’utilisateur (ergonomique) • Utilité • Est-ce l’interaction aide à accomplir les tâches du système? • ‘transparence’ relative, afin de permettre aux utilisateurs de se concentrer sur leur tâches. Les trois objectifs doivent être vérifiés simultanément !

13. Navigation: techniques de déplacement dans un EV Le déplacement (travel) est défini comme : • La composante motrice de la navigation • mouvement entre 2 locations, en précisant la position (et l’orientation) du point de vue de l’utilisateur • Une technique fondamentale d’interaction avec l’EV, utilisée dans la plupart des applications de RV. Il est utile pour : • L’exploration de l’EV (l’utilisateur ne poursuit pas de cible spécifique. Son déplacement lui permet de connaître l’EV). • La recherche des cibles spécifiques dans l’EV (la composante motrice est une condition préliminaire pour la composante cognitive ‘wayfinding’) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponiblesur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

14. Techniques de déplacement dans un EV – Aspects d’implantation (1) • Contrôle de la velocité/accelération. • Est-ce que la rotation du monde virtuel est nécessaire? • Simplifications : rajouter des contraintes au mouvement • Hauteur constante • Suivi du terrain (ex. vol virtuel) • Conditions initiales / finales (début et fin du mouvement) : click to start/stop; press to start; release to stop; stop automatically at target location etc.

15. Techniques de déplacement dans un EV – Aspects d’implantation (2) • Les techniques de déplacement doivent être compatibles avec les périphériques d’entrée (input devices). • Tracking : Nombre de dégrés de liberté (DOF). • Classification des données d’entrées -signaux discrets; continus; hybrides; reconnaissance de la voix etc. exemple … A. Branzan-Albu & D. Laurendeau GIF-66800

16. Metaphores ‘naturelles’ de déplacement • Utilisent le mouvement physique et une métaphore réaliste ou presque réaliste de déplacement. • Techniques de marche • Simulation de la marche naturelle : rétroaction vestibulaire et kinesthésique. Tracking à grande échelle : caméras vidéo (UNC, Office of the Future) • Walking-in-place (GAITER) : analyse des mouvements de l’utilisateur pendant qu’il marche sur place pour déterminer sa direction, sa vitesse etc. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

17. Templeman’s Gaiter system, NRL

18. Metaphores ‘naturelles’ de déplacement • Tapis roulant Sarcos : The omni-directional treadmill

19. Métaphores usuelles pour la navigation dans un EV (1) • Métaphore de conduite (steering) : • Implique le contrôle continu de la direction du mouvement • basée sur le regard (gaze-directed steering) • pointage • dispositif physique (volant, pédale d’accélération et de frein etc.) • Métaphore de poursuite d’une cible (target-based travelling) : • L’utilisateur cible le point final de son déplacement • Le système effectue le mouvement entre les deux points • pointage vers un objet ciblé • utilisation d’une palette de sélection • Spécification des coordonnées du point final. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

20. Mathématiques de base pour le design de la navigation – Transformations de coordonnées • Soient : • Les sommets d’un object en SC2 • Une matrice M qui transforme SC1 en SC2 • Quelles sont les coordonnées du même objet en SC1? Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

21. Translate(4,4) P Transformations de coordonnées (exemple #1) Le point P a les coordonnées (2,2) dans le SC transformé (SC2). Quelles sont ses coordonnées dans SC1? Réponse: (6,6) Note: (6,6) = T4,4 P En général, si SC1 est transformé par une matrice M en SC2, un point P en SC1 correspond au point Q=MP en SC2. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

22. Transformations de coordonnées (exemple #2) Translation de (4,4) suivie d’un changement d’échelle (0.5, 0.5) P Coordonnées de P en SC3 (2,2) Coordonnées de P en SC2 S0.5,0.5 (2,2) = (1,1) Coordonnées de P en SC1 T4,4 (1,1) = (5,5) Pour transformer directement SC3 en SC1 on peut calculer T4,4 S0.5,0.5 (2,2) = (5,5) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

23. Transformation de coordonnées: cas général • Si SC1 est transformé par la séquence M1, M2, …, Mn en SCn+1, alors un point P en SCn+1 est représenté par M1-1 M2-1 … Mn-1 P en SC1. • Pour former la transformation composée entre deux systèmes de coordonnées, on utilise le produit des transformations matricielles élémentaires (translation, rotation, changement d’échelle). Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

24. Déplacement basé sur le regard(gaze-based steering) • Le point de vue est déplacé selon la direction du regard • Tracking de la tête et non tracking des yeux • Avantage : technique simple à implanter et à utiliser • Désavantage : l’utilisateur ne peut pas regarder autour de lui pendant son déplacement (les possibilités d’exploration de l’EV sont limités). Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

25. Déplacement basé sur le regard(gaze-based steering) • Implantation : fonction de callback exécutée avant le rendu graphique de chaque trame. • données d’entrée : information sur le suivi de la tête (matrice M de transformation entre le système de coordonnées de la tête et le système de coordonnées du monde virtuel). • Transformer le vecteur [0,0,-1] exprimé dans le SC de la tête en v=[x, y, z] exprimé dans le SC du monde virtuel • Normaliser v. Le vecteur unitaire vn=[xn, yn, zn] caractérise la direction du mouvement choisie par l’utilisateur. • Translater le point de vue par vn.(vitesse courante). • Note. La vitesse courante est exprimée en nombre d’unités/trame et elle représente un paramètre du déplacement. • Choix d’augmentation/diminution de la vitesse courante. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

26. Déplacement basé sur le pointage (pointing) • Le pointage représente aussi une technique de conduite (steering) • Tracking de la main: l’orientation de la main est utilisée pour déterminer la direction du mouvement. • Avantage: - facile à implanter - plus flexible que le gaze-based steering: permet de dissocier le déplacement et le regard. • Désavantage: niveau cognitif de complexité plus élevé (courbe d’apprentissage) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

27. Déplacement basé sur le pointage (pointing) • Implantation similaire à la technique de gaze-based steering. On utilise le SC de la main au lieu du SC de la tête. • Le rendu graphique doit aussi tenir compte du mouvement relatif (l’utilisateur peut regarder autour de lui). • Mise à jour du point de vue (hand tracking); mise à jour de l’orientation (head tracking) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

28. Déplacement basé sur une carte de l’environnement (map-based travel technique) • Technique de déplacement basée sur la poursuite d’une cible a priori connue. • L’utilisateur est représenté comme une icône sur une carte 2D. • La nouvelle position est spécifiée sur la carte par la méthode ‘drag-and-drop’, à l’aide d’un stylus. • Après la spécification de la nouvelle position, animation « lisse » de l’utilisateur entre la position de départ et la position d’arrivée. • Avantages : déplacement rapide dans un EV à grande échelle. • Désavantages : cette technique est difficile à apprendre pour les utilisateurs non familiers avec l’EV; appariement cognitif entre la carte 2D de l’EV et le monde virtuel 3D. - implantation assez complexe : le « vol » virtuel de l’utilisateur doit être assez lisse pour maintenir l’illusion de l’immersion. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

29. Déplacement basé sur une carte de l’environnement (map-based travel technique) Exemple : Tiré de Bowman et al, « Designing animal habitats within an immersive VE »

30. Implantation du déplacement basé sur une carte 2D • Données nécessaires : Correspondance entre la carte 2D et l’EV 3D : • Échelle de la carte : s • Quel point de la carte représente l’origine du SC de l’EV? o=(xo, yo, zo) • On suppose que le SC de la carte est aligné avec le SC de l’EV. • Si la sélection de l’icône est activée (drag): - si le stylus a intersecté l’icône, trouver la position du stylus dans le SC de la carte (x,y,z) (transformation de coordonnées nécessaire) - déplacer l’icône dans la position (x,0,z). Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

31. Implantation du déplacement basé sur une carte 2D • Si la sélection de l’icône a été désactivée (drop) • Trouver la position du stylus dans le SC de la carte :(x, y, z) • Déplacer l’icône à (x, 0, z) dans le SC de la carte. • Spécifier le point de vue désiré: pv = (xv, yv, zv) , où • xv = (x – xo)/s • zv = (z – zo)/s • yv = hauteur désirée à (xv ,yv) • Animation : (en supposant une trajectoire linéaire entre le point de départ et le point d’arrivée) • Calculer le vecteur de déplacement entre deux trames succésives m = (xv-xcurr, yv-ycurr, zv-zcurr) * (vitesse/distance) • For i=1:(distance/vitesse) : translater le point de vue par m. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

32. ‘Grabbing the air’ (1) • Technique de déplacement omnidirectionnel accessible partout dans l’environnement virtuel • Métaphore : escalade (descente) en corde; la corde virtuelle peut avoir n’importe quelle orientation • On peut utiliser une ou deux mains • Implémentation possible avec PinchGlovesTM

33. ‘Grabbing the air’ (2) Implantation pour une seule main : • Lors de la pince des doigts: • Obtenir la position initiale de la main dans le SC du monde : (xh, yh, zh) • À chaque trame jusqu’à ce qu’on lâche prise: • Obtenir la position courante de la main dans le système de coordonnées du monde : (x’h, y’h, z’h) • Calcul du vecteur du mouvement associé à la main: m = ((x’h, y’h, z’h) - (xh, yh, zh)) • Translater le monde par m (ou le point de vue par –m) • (xh, yh, zh) = (x’h, y’h, z’h)

34. Classification des techniques de déplacement (navigation virtuelle) Tiré de D. Bowman, ‘Travel Techniques’, Lecture Notes at SIGGRAPH 2000.

35. Une autre classification des techniques de déplacement (navigation virtuelle) Tiré de D. Bowman, ‘Travel Techniques’, Lecture Notes at SIGGRAPH 2000.

36. Évaluation des techniques de déplacement (navigation virtuelle) • Les techniques de type ‘steering’ ont des performances similaires sur une tâche impliquant seulement le mouvement absolu. (ex. : entrer à l’intérieur d’une sphère virtuelle). • Mouvement relatif par rapport à un objet virtuel: les techniques de ‘steering’ qui ne sont pas basées sur le tracking de la tête ont des meilleures performances. • Le “téléportage” (déplacement à une vitesse infinie) peut entraîner une désorientation de l’utilisateur. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

37. Évaluation des techniques de déplacement (navigation virtuelle) • La complexité de l’environnement affecte les performances cognitives de l’utilisateur(‘spatial awareness’) • Exploration de l’environnement avant de passer à d’autres interactions (ex : recherche des objets virtuels) • Expérience cognitive : quantifier la quantité de l’information mémorisée pendant une expérience de RV. Vue extérieure d’un tunnel virtuel en 3D. Tiré de Bowman et al : A Methodology for the Evaluation of Travel Techniques in Immersive Virtual Environments.

38. Vue intérieure du tunnel 3D Tiré de Bowman et al : A Methodology for the Evaluation of Travel Techniques in Immersive Virtual Environments. Résultat de l’expérience virtuelle A. Branzan-Albu & D. Laurendeau GIF-66800

39. Techniques d’orientation environnementale : wayfinding • Wayfinding – le processus cognitif qui permet de planifier la trajectoire de l’utilisateur dans l’environnement virtuel afin d’accomplir une tâche spécifique • Ce processus permet aussi d’acquérir un ensemble cohérent d’informations spatiales qui serviront à la familiarisation de l’utilisateur avec le monde virtuel. • Orientation dans un monde réel versus orientation dans un monde virtuel.

40. Wayfinding : processus de prise de décision

41. Modèle de navigation intégrant travelling et wayfinding. Tiré de Jul and Furnas (1997) A. Branzan-Albu & D. Laurendeau GIF-66800

42. Wayfinding : classification des tâches • Selon la méthode de recherche utilisée, il existe quatre types de tâches : • Recherche générale, exploratoire • Recherche naïve • Recherche ciblée (primed search) • Spécification de la trajectoire de mouvement. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

43. Wayfinding : carte cognitive (1) • Pendant son voyage virtuel, l’utilisateur construit la carte cognitive de l’EV en intégrant deux types d’information : • Apparenceet emplacement des objets virtuels Apparence : attributs visuels, auditifs, tactiles etc. Emplacement : information contextuelle, structure hiérarchique. • Information procédurale : comment peut-on arriver à un certain endroit de l’environnement : séquences d’actions ( ex. Mapquest : driving directions) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur www.3dui.org A. Branzan-Albu & D. Laurendeau GIF-66800

44. Wayfinding : carte cognitive (2) • Dans le processus de construction de la carte cognitive, plusieurs erreurs de perception peuvent apparaître : • Ex : l’utilisation des HMD (champ de vue limité) entraîne la sous-estimation des dimensions spatiales des objets. • Perception de l’orientation relative des objets : biasée surtout dans les EV non-immersifs (utilisateur exo-centrique). • EV complexes : structure hiérarchique d’apparence incomplète (information mémorisée hors de son contexte)

45. Wayfinding : l’effet des techniques de déplacement • Les techniques de conduite (contrôle continu du déplacement) associées a une bonne stratégie (prise de décision) sont bénéfiques pour l’orientation spatiale. • Une technique efficace de déplacement contient des éléments facilitant l’orientation spatiale. • Le téléportage entre différents points conduit à une désorientation spatiale au moins temporaire de l’utilisateur.

46. Wayfinding: l’effet de la référence (1) • Référence égocentrique (ex. HMD) • Pendant le voyage virtuel, l’utilisateur perçoit son mouvement comme un égo-mouvement (élément constitutif de la proprioception). • Il faut effectuer une correspondance correcte entre la perspective égocentrique et la carte cognitive de l’environnement • Position, orientation et mouvement des objets dans le SC de la tête (mains, torse etc.).

47. Wayfinding: l’effet de la référence (2) • EV non-immersifs (ex : Fishtank, ImmersaDesk etc.) : référence exocentrique. • La position, l’orientation et le mouvement des objets virtuels sont définis dans le SC de l’environnement.

48. Conception des techniques d’orientation spatiale (1) • Perspective utilisateur : faciliter la construction d’une carte cognitive correcte et complète de l’environnement (spatial knowledge) ; fournir des informations suffisantes pour que l’utilisateur perçoive correctement sa projection dans l’EV. (spatial awareness) • permettre un champ large de vue (vision périphérique, flux optique, perception de l’égo-mouvement) • augmenter le niveau de présence de l’utilisateur ( stimulation multisensorielle, scénario etc.)

49. Conception des techniques d’orientation spatiale (2) • Perspective de l’EV : • L’organisation de l’environnement virtuel doit être simple et si possible cohérente avec : - les principes d’organisation de environnements naturels et/ou - les principes de design architectural : « Buildings are located in and on space and create new spaces. These spaces can encourage movement and social interaction or restrict it…Spaces can attract people or put them off; include them or exclude them. It depends on how the space is planned and designed, and whether the plans and designs put people first.» Tiré de www. spacesyntax.com - Les lois de navigation dans un EV doivent être spécifiées clairement.

50. Wayfinding – étude des cas (1) Darken et Peterson (2001). Spatial Orientation, Wayfinding, and Representation. Hanbook of Virtual environment technology. Contexte • Environnement virtuel de type espace ouvert – océan. Affichage visuel : HMD ou Fakespace PUSHTM • Tâche principale :localisation des objets dans l’EV • Recherche naïve ou ciblée