Évaluation des environnements virtuels

1. Évaluation des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval

2. Aujourd’hui • Évaluation de l’utilisabilité des EV (traduit et adapté de SIGGRAPH 2001 Course on 3D User Interface Design, disponible sur www.3dui.org) Référence : D. Bowman, Evaluation of 3D interfaces, Lecture notes at SIGGRAPH 2001) • Facteurs humains dans le design des EV Référence : Stanney et al : Human factor issues in Virtual Environments : A review of the literature, Presence 1998, section 3.2.1. : Cybersickness.

3. Pourquoi évaluer les EV? • Les techniques d’évaluation systématique des EV représentent une étape relativement nouvelle dans le design de EV. • Avant : évaluation superficielle (étude des cas impliquant un nombre très limité d’usagers). • Maintenant : concept important, car l’évaluation influence le processus du design. • Adaptation des techniques d’évaluation pour les interfaces homme-machine (HCI, GUI).

4. Qu’est-ce qu’on évalue? • L’utilisabilité des environnements virtuels. • Un EV doit être : - facile à utiliser (apprentissage rapide des techniques d’interaction; performances élevées de l’utilisateur entraîné - vitesse + exactitude; appréciation subjective de l’utilisateur) - utile (transfert des performances etc.)

5. Techniques d’évaluation adaptées de HCI Cognitive walkthrough : • Chaque tâche principale du système est analysée par des experts. • Questionnaire détaillé sur chaque partie de la tâche. Ex : ‘Est-ce que l’utilisateur comprend bien ses options d’action a cet instant donné de l’expérience virtuelle?’ ( si oui, le monde virtuel est ‘compréhensible’) ‘Est-ce que l’utilisateur peut translater facilement son intention en action?’ ( si oui, les métaphores d’interaction sont suffisamment naturelles ou faciles à apprendre)

6. Techniques d’évaluation des EV adaptées de HCI Évaluation heuristique : • réalisée par des experts en design des interfaces utilisateur. • utilise un guide de design (design structuré des HCI) • examiner l’EV par utilisation ( visualisation d’une démonstration pre-enregistrée, lecture du manuel de l’utilisateur, etc.) • ex : tester si l’interface vérifie la ligne directrice( ‘guideline’) suivante : éliminer tous les degrés superflus de liberté pour la technique de manipulation implantée dans l’EV.

7. Techniques d’évaluation des EV adaptées de HCI Évaluation formative : - utilisée pour raffiner le design d’un ‘widget’, d’une technique d’interaction où même d’une métaphore d’interaction. Moyens : - en ligne : études d’observation réalisées sur des utilisateurs (utilisation de l’interface pour l’exploration ou pour accomplir des tâches précises). La présence simultanée de l’utilisateur et de l’expert est requise. - hors ligne : questionnaires, entrevues, enregistrements (‘think out loud’)

8. Techniques d’évaluation des EV adaptées de HCI • Évaluation sommative : • comparaison de plusieurs techniques pendant une seule séance d’évaluation. • ex : quelle est la technique la plus adéquate pour l’accomplissement d’une tâche spécifique? • contexte de l’évaluation sommative : formel (protocole expérimental strict, sélection des utilisateurs etc.) • mesures quantitatives des performances des utilisateurs pour chaque technique testée (temps requis pour l’accomplissement de la tâche, erreurs récurrentes etc.). • interprétation statistique des résultats.

9. Éléments importants pour l’évaluation des EV • Implication de l’utilisateur dans le processus d’évaluation : Utilisateur requis ou non-requis • Résultats : Quantitatifs et/ou qualitatifs • Contexte de l’évaluation : générique ou centré sur une application spécifique • Le choix d’une méthode d’évaluation implique une prise de décision sur ces trois aspects. Ce choix dépend des objectifs spécifiques et de la situation. • Ex : dans une phase préliminaire du processus de design, une évaluation qualitative ne demandant pas d’utilisateur est plus rapide et moins chère. De plus, elle devrait mener à un gain significatif en utilisabilité.

10. Classification des techniques d’évaluation

11. Modéles génériques de performance pour les EV • À présent, il n’existe pas de modèle de performance suffisamment robuste pour les EV. • Pour les HCI traditionnelles : la loi de Fitt [1954] • Modèle du comportement humain psychomoteur • Compromis entre la vitesse et la précision d’exécution d’une action rapide et ciblée ( ex : saisir un objet). • Le temps nécessaire pour saisir une cible de diamètre W située à une distance D est une fonction logarithmique de l’erreur spatiale relative D/W T= a + b log2(D/W + 1)

12. Modéles génériques de performance pour les EV Comment utiliser la loi de Fitt pour le design des HCI ? - Les actions usuelles et fréquentes sont exécutées via des boutons (props, menus, raccourcis etc.) assez grands et situés assez proches de la position courante de l’utilisateur (curseur 2D). Exemple : menus 2D pop-up • Est ce que la loi de Fitt est applicable pour des activité de sélection (pointage) en EV ? • occultation de l’EV par des widgets trop grands

13. Les techniques GOMS • Goals = tâches spécifiques à exécuter • Operators = action élémentaire effectuée pour atteindre un objectif ou un sous-objectif • Methods = séquence d’opérations • Selection rules = critères nécessaires quand plusieurs méthodes peuvent être utilisées pour la réalisation d’un même objectif Les GOMS sont utiles pour des applications spécifiques dans laquelle la séquence d’opérations est connue ; évaluation de la rapidité/précision d’action d’un utilisateur expérimenté et familier avec l’environnement. -ex : EV de simulation et d’entraînement pour des interventions minimalement invasives (endoscopie)

14. Aspects particuliers liés à l’évaluation des EV • Quelles sont les différences entre l’évaluation des EV et l’évaluation des HCI standard (ex: GUI) ? • Aspects physiques : l’EV existe dans un contexte réel • Aspect liés à l’évaluateur : Le processus d’évaluation peut perturber l’expérience de RV. • Aspects liés à l’utilisateur • Choix de la technique d’évaluation

15. Aspects particuliers liés à l’évaluation des EV Aspects physiques : l’EV existe dans un contexte réel • Dans un EV utilisant un HMD, le monde physique n’est pas perçu par l’utilisateur. En plus d’être utilisable, l’EV doit êtresécuritaire (éviter toutes les collisions possibles entre l’utilisateur et les divers objets physiques, les câbles etc.). • Dans les EV de type CAVE (affichages graphiques projectifs) les murs physiques sont invisibles à cause du graphique projeté. Le mouvement de l’utilisateur doit être restreint à une zonesécuritaire. • L’évaluation basée sur le protocole ‘thinkaloud’ peut entrer en conflit avec le fonctionnement d’un EV contrôlé par la voix.

16. Aspects particuliers liés à l’évaluation des EV Aspects physiques : l’EV existe dans un contexte réel Évaluation en ligne • Plusieurs types d’affichages graphiques sont centrés sur l’utilisateur, donc ils ne permettent pas une visualisation multiple; équipement additionnel nécessaire pour que l’évaluateur perçoive la même image que l’utilisateur. • HMD: multiplexer le signal vidéo qui sera transmis au HMD et à un moniteur. Pour des EV étendus, difficulté à visualiser les actions de l’utilisateur (possiblement à distance) et le monde virtuel au complet. • CAVE, Immersadesk : tracking simultané de l’utilisateur et de l’évaluateur (‘utilisateur passif’). • L’évaluation en ligne est purement visuelle.

17. Aspects particuliers liés à l’évaluation des EV Aspects physiques : l’EV existe dans un contexte réel Évaluation hors ligne • Enregistrement vidéo des actions de l’utilisateur et du contenu du monde virtuel pendant toute l’expérience RV. • Les deux enregistrements doivent être synchronisés ( les actions de l’utilisateur modifient le contenu du monde virtuel). • Défis : EV complexes, permettant l’interaction à distance et basés sur des techniques de déplacement rapide d’une place à l’autre. EV collaboratifs impliquant des utilisateurs multiples.

18. Aspects particuliers liés à l’évaluation des EV Rôle de l’évaluateur • Le processus d’évaluation peut perturber la sensation de présence de l’utilisateur (CAVE : l’évaluateur peut entrer dans le champ de vue de l’utilisateur). • Le niveau de présence (immersion sensorielle) affecte les performances de l’utilisateur. Donc, l’évaluateur doit rester invisible pendant toute l’expérience. • Les instructions données à l’utilisateur avant l’expérience doivent être très détaillées, explicites et précises. • Dans les EV destinés à l’entraînement, permettre le parcours d’une courbe d’apprentissage avant l’évaluation.

19. Aspects particuliers liés à l’évaluation des EV Aspects liés à l’utilisateur • Les environnements virtuels sont encore perçus aujourd’hui comme « une solution technologique cherchant un problème » (réticence de l’utilisateur) • Exemple ‘Are Haptics Really Necessary?’ MMVR13, 2005. • Quelle population d’utilisateurs choisir pour une expérience de RV? • Ex : pour évaluer la courbe d’apprentissage, il faut tester également des experts et des novices. Très peu d’utilisateurs experts sont disponibles (le personnel de recherche ne peut pas être considéré comme utilisateur expert) • Grande variabilité et différences inter-sujets – quel modèle statistique faut-il choisir? • Mesures sur le confort des utilisateurs (cybersickness) : la durée maximale d’une expérience immersive est de 30 minutes.

20. Aspects particuliers liés à l’évaluation des EV Choix de la technique d’évaluation • l’évaluation heuristique est problématique, à cause de l’absence d’un protocole standardisé de design des EV ( domaine en évolution) • Pendant une évaluation formelle, on peut identifier un nombre très grand de facteurs qui peuvent affecter la performance/l’utilisabilité. • Ex : évaluation d’une technique de déplacement (travelling). Facteurs : - la taille de l’environnement, le nombre d’obstacles, la forme de la trajectoire décrite pendant le déplacement, la latence du système, les habiletés d’orientation spatiale de l’utilisateur etc. • Quels facteurs faut-il analyser? • Quels facteurs faut-il maintenir constants afin d’éviter la variabilité excessive dans les résultats expérimentaux?

21. Aspects particuliers liés à l’évaluation des EV Aspects divers • Dû au manque des standards (comme pour les GUI’s), l’évaluation doit traiter séparément chaque composante de l’EV (ex : techniques d’interaction, de navigation, de manipulation etc.) • Les résultats sont difficilement généralisables, à cause des circonstances particulières pour le processus d’évaluation ( dispositifs d’entrée-sortie, contenu du monde virtuel etc.). Les performances des techniques d’interaction sont dépendantes de l’application.

22. Utilisation des taxonomies pour l’évaluation • L’espace de design pour les techniques d’interaction 3D peut être structuré par une classification. • Ex : classification basée sur une décomposition hierarchique de l’interaction étudiée. La tâche est décomposée en sous-tâches ( ex : manipulation simple = sélection + positionnement) • Pour chaque sous-tâche, la taxonomie fournit une liste de techniques possibles. • Une technique d’intéraction complète doit spécifier une composante pour chaque sous-tâche de base (voir exemple suivant)

23. C D B A Utilisation des taxonomies pour l’évaluation - exemple Tâche principale : changement de la couleur d’un objet. Sous-tâches : sélection d’un objet, sélection de la couleur Techniques possibles Sélection de l’objet : pointage (A), liste (B) Sélection de la couleur : - 3 curseurs RGB indépendants (C) - Cube RGB (D) Techniques: AC (15 sec.) AD (10 sec.) BC (20 sec.) BD (? sec.)

24. C D B A Utilisation des taxonomies pour l’évaluation - discussion • Évaluation granulaire • Pouvoir de prédiction pour la performance des techniques non-évaluées (BD) • La corrélation entre les différentes sous-composantes n’est pas prise en compte. AC (15 sec.) AD (10 sec.) BC (20 sec.) BD (? sec.)

25. Frameworks d’évaluation • Méthodologie systématique et structurée d’évaluation • Trois caractéristiques-clés doivent être spécifiées: - implication des utilisateurs représentatifs - contexte de l’évaluation (générique ou spécifique) - type de résultats produits A. Évaluation séquentielle (Gabbard et al) B. Banc d’essai – testbed (Bowmann et al)

26. Évaluation séquentielle • Gabbard, J. L., Hix, D, and Swan, E. J. (1999). User Centered Design and Evaluation of Virtual Environments , IEEE Computer Graphics and Applications, 19(6), 51-59. • Un ensemble de techniques d’évaluation exécutées de façon séquentielle : analyse des tâches centrée sur l’utilisateur, évaluation heuristique, évaluation formative, évaluation sommative • Le design et l’évaluation sont intégrés dans une boucle itérative • utilise des experts en design et des utilisateurs représentatifs; • résultats quantitatifs et qualitatifs • est centrée sur une application spécifique

28. Frameworks pour évaluation : ‘banc d’essai’ (testbed) • Le banc d’essai pour l’évaluation = environnement généralisé ou plusieurs expériences spécifiques ou génériques peuvent être implantées. • Contexte générique d’évaluation impliquant des utilisateurs et produisant des résultats quantitatifs et qualitatifs. • Variables indépendantes affectant l’utilisabilité: • tâche (ex. cible connue versus cible inconnue ) • environnement (ex. Nombre d’obstacles) • système (algorithme de détection des collisions) • utilisateur (ex : habiletés spatiales, expérience en RV etc. ) • Variables dépendantes (métriques de performance) • Vitesse, précision, confort de l’utilisateur, présence etc.

30. Exemple : banc d’essai pour la sélection et la manipulation des objets • Bowman et al : Testbed evaluation of Virtual environment interaction techniques, Presence (2001). • Banc d’essai plus simple car destiné à évaluer des techniques d’interaction et non un environnement virtuel au complet. • Évaluation formelle : taxonomie, facteurs externes, et métriques de performance

32. Taxonomie hiérarchique pour la sélection des objets

33. Taxonomie hiérarchique pour la manipulation des objets

35. Métriques de performance • Vitesse (efficacité d’exécution de la tâche) • Précision de sélection (capacité de sélectionner l’objet désiré) • Efficacité de sélection (combien d’objets peuvent être sélectionnés et à quelle distance) • Efficacité de manipulation (l’habileté de positionner et d’orienter un objet à une location quelconque dans l’EV) • Précision de positionnement (après la manipulation) • Facilité d’apprentissage (temps nécessaire pour maîtriser une technique de manipulation ou de sélection) • Facilité d’utilisation (charge cognitive supplémentaire introduite par la technique évaluée) • Confort de l’utilisateur (cybersickness)

36. Métriques de performance - discussion • La plupart des techniques de sélection/manipulation ont des performances très différentes selon les diverses métriques utilisées ( ex : vitesse et précision) • Il faut choisir les métriques les plus adéquates au modèle des exigences de l’EV. • Le modèle d’exigences peut être décrit en utilisant ces métriques de performance.

38. Facteurs extérieurs Liés à l’environnement : • visibilité; • nombre d’objets contenus; forme, taille et densité des objets; • niveau moyen d’activité dans l’EV (mouvement) • taille de l’environnement • niveau de détail contenu dans l’EV (charge cognitive) • Niveau de structuration de l’environnement (océan virtuel versus ville virtuelle)

39. Facteurs extérieurs Caractéristiques de l’utilisateur • âge, taille (ex : longueur du bras) • habiletés d’orientation spatiale • dextérité manuelle • Acuité visuelle (ex : perception correcte de la profondeur) • expérience antérieure en RV • habileté de fusionner des images stéréo • Background technique / non-technique

40. Facteurs extérieurs Caractéristiques techniques du système (hardware/software) • technique de rendu de surface • représentation du corps virtuel (avatar) • technique de détection des collisions • utilisation des contraintes de mouvement ( ex : sol plan) • réalisme de la simulation ( ex : attraction gravitationnelle) • frame rate • latence moyenne • affichages (graphiques, auditifs, visuels) utilisés

42. Banc d’essai pour la sélection et la manipulation des objets : Description • Idéalement, un banc d’essai doit implanter tous les facteurs extérieurs mentionnés. Impossible! • Simplifications : • Les tâches évaluées sont simples et génériques. • phase de sélection: l’utilisateur doit sélectionner un certain objet parmi un groupe d’objets. • phase de manipulation : l’utilisateur doit déplacer et orienter l’objet selon l’information contenue dans une cible.

43. Banc d’essai pour la sélection et la manipulation des objets : Description

44. Banc d’essai pour la sélection et la manipulation des objets : Description Variables intra-sujet pour la tâche de sélection : - distance utilisateur - objet ciblé (3 niveaux) - taille de l’objet à sélectionner (2 niveaux) Variables intra-sujet pour la tâche de manipulation - taille relative de l’objet par rapport à la position finale ( 2 niveaux) – pour tester la précision de la technique - nombre variable de DOF – pour tester l’efficacité de la technique : - 2 DOF : positionnement permis seulement dans le plan horizontal (contraintes : pas de translation ou de rotation dans le plan vertical) - 6DOF

45. Banc d’essai pour la sélection et la manipulation des objets : Description Sujets : 48, caractéristiques extraites à partir des questionnaires pré-expérimentaux Système : display HMD, tracking Polhemus fasttrack Techniques de sélection/manipulation évaluées : 9 - Go-go - Sélection : raycasting, occlusion - Positionnement : mapping linéaire entre la position de la main et la position de l’objet manipulé; utilisation des props (joystick)

46. Résultats de l’évaluation : sélection

47. Résultats de l’évaluation : sélection

48. Résultats de l’évaluation : manipulation

49. Résultats de l’évaluation : manipulation High accuracy=taille de la cible de positionnement petite par rapport à la taille de l’objet

50. Résultats de l’évaluation : facteurs humains • Les sujets de sexe masculin ont eu des meilleures performances • L’habileté spatiale et l’expérience antérieure en EV ne peuvent pas être utilisées pour prédire la performance. • La sélection par occultation peut provoquer la fatigue du bras. • La manipulation par changement d’échelle peut provoquer des vertiges après l’expérience de RV.