Méthodologie d’évaluation d’un système interactif

1. Méthodologie d’évaluation d’un système interactif Expérimentation Évaluation avec les vrais usagers Évaluation et processus de R&D Des principes à la réalité Définir une problématique Sortes d’évaluations Analytique ou heuristique (juges) Empirique (usagers) Procédure d’expérimentation Exemples Atelier : Évaluation empirique d’un site avec des usagers

2. Pas le temps d’évaluer.. • Le développement coûte trop cher • Je connais le domaine, je sais que c’est bien • Nous avons fait des tests à l’interne • Je préfère concevoir un nouveau système • Personne n’aime les critiques • Le système n’est pas fini • Nous avons fait passer un questionnaire, tout le monde aime ça

3. Évaluation et processus de R&Dorientée vers le support aux activités

4. Critères d’évaluation et processus de R&Dorientée vers le support aux activités Évaluation heuristique Évaluation empirique Technique Ergonomique Fonctionnelle Analyse de besoins Innovation Implantation

5. Des principes à la réalité • L’évaluation doit porter sur le contexte réel avec des usagers représentatifs • Ressources rares - technique, temps, personnes • Contraintes pratiques au niveau des choix, des versions, de l’accès aux usagers • Barrière d’utilité.. difficile « d’imaginer » si ça sera intéressant ou difficile. • Ne pas interrompre le processus • Complexité et multiples possibilités • Confidentialité • Difficulté à se rappeler (Verbalisations rétrospectives) • Évaluation à froid n’est pas valide • Effet Hawthorn : « Usagers qui cherchent à répondre pour satisfaire le chercheur  » Avant Durant Après

6. Qu’est-ce qu’évaluer un système ? • Validation des systèmes de communication informatisés • Validation de construit • Répondent-ils aux spécifications • Français, erreurs sur le fond dans le contenu • Fiabilité, efficacité - erreurs, temps de réaction • Utilisabilité - Répondent-ils aux critères ergonomiques. • Évaluation selon une norme • Standards • Évaluation selon un objectif • Utilisation, efficacité, rend services, Input/output • Nouveaux clients, Ventes, Nombre d’appels téléphoniques

7. Définir une problématique 1/3 TOUJOURS Préciser d’abord les objectifs de l’évaluation …. Évaluer un système = adapter aux activités et au contexte Valeur ajoutée du système • Recherche - les systèmes, les usagers, les théories, les expériences • Comparer un système à un autre ou à une version antérieure • observer les différences • Utilisabilité • Critères ergonomiques • Impact - notion d ’utilité (apprentissage, vente, échange) • À quoi ça sert, qui, pourquoi • différents usagers - attentes - appréçiation des éléments

8. Définition d’une problématique 2/3 • Organisationnel - Design Socio-technique • Compatibilité - avec les autres tâches, entre applications. • Spécifications minimales - minimise les opérations • Socio-technique - efficace au plan technique, mais aussi utilisabilité, pas trop de stress, valorisation, complexité, responsabilité, … • Valeurs humaines - éthique • Multifonctionnel - sert plusieurs buts • Séparation - pas trop d’interdépendance entre les tâches • Flux - ne crée pas de ralentissements • Supporte la congruence - pas d’erreurs dans le système

9. Définition d’une problématique 3/3 Facilité d’Apprentissage du système • Facile à apprendre ? pour qui ? Développement d’expertise ? • pourcentage d’utilisation, mémorisation • Qu’en pensent les experts ? • Conception • Identifier les problèmes ergonomiques • Focus et réorientation Bœdker • Goulots d’étranglement - échantillonnage des problèmes • Évaluation des différentes fonctions et cas d’utilisation.

10. Sortes d’évaluation • Évaluation analytique ou heuristique(en phase de conception Ch 8) • Basée sur l’analyse des tâches ou des activités - GOMS • Parcours cognitif (Cognitive walkthough) • Évaluation heuristique des principes ergonomiques (par des juges) • Évaluation empirique avec des usagers - Ex: Utilisabilité • Procédure d’expérimentation et d’observation • Méthodologie d’analyse des observations • Méthodologie d’analyse des traces • Vérification d’hypothèses • Utilisation des questionnaires

11. 1.1 Évaluation basée sur l’analyse des tâcheset des activités • Aussi appelé analyse hiérarchique des tâches • Utile pour analyser un système à développer,analyse des activités existantes • Utile pour développer la documentation • structure de tâche ≠ structure d’interface Exemple de recherche sur Amazon

12. 1.1 Évaluation basée sur l’analyse des tâches • Modèle - GOMS - Goal Operators Methods and Selection rules • Buts: Intentions, Mémoire de la tâche à faire, structure à explorer (Cas d’utilisation) • Opérateurs: éléments d'actions, composantes, effets, input, output • Méthode: organisation de la tâche, des buts et des opérateurs, suite d’actions • Règles de sélection: procédure générale de choix entre les méthodes • L’exemple … Comment ouvrir un fichier ?

13. Application du modèle GOMS • Utile lorsque la tâche est organisée sous formes de plans • Décrit le comportement idéal • Permet de caractériser les différences entre modèles usagers et tâches prévues • Permet de distinguer les novices, les experts et les méthodes efficaces pour la formation • Permet de choisir des versions ou options dans le système • Permet de considérer des variables comme • la distance des éléments, • le nombre d’opérations, • le temps de celles-ci, • la difficulté et • l'imbriquation • Peut servir à décrire un système a priori et à le valider sur papier

14. 1.2 Parcours cognitif (Cognitive walkthough) Différent de GOMS..car regarde moins la structure qu’un processus typique… on parle de l’approche des scénarios • Déterminer les séquences d’utilisation • Identifier les buts et extraire les états par lesquels passeront les usagers • Explorer les multiples chemins possibles • Évaluer l’utilisabilité des séquencesPour chaque action dans la séquence se mettre dans la peau d’un usager • Que veut faire l’usager ? • L’action requise est-elle suffisamment évidente ? • L’usager reconnaît-il que l’action répondra à ses buts ? • L’usager reconnaît-t-il que la réponse du système répond à ses besoins, qu’il a fait le bon choix.

15. 1.3 Évaluation heuristique par des juges Neutralité et entraînement desjuges • Évaluation heuristique… sort les principaux problèmes et les solutions. • Utilise des experts d’utilisabilité • Si on utilise des experts du domaine il faut leur donner des exemples de problèmes et les inciter à commenter leurs observations • Fait a priori avant de mettre le système en utilisation • Grille selon critères ergonomiques en adaptant les grilles au problème. • Planifier la consigne et une série de tâches avec support papier • Couvrir l ’ensemble de l ’application ou du moins les cas d’utilisation les plus fréquents • Compte-rendu systématique sur les problèmes (Nielsen)

16. En résumé Différentes sortes d’évaluation • Évaluation analytique (en phase de conception) • Basée sur l’analyse des tâches ou des activités - GOMS • Parcours cognitif (Cognitive walkthough) • Évaluation heuristique des principes ergonomiques (par des juges) • Évaluation empirique avec des usagers - Ex: Utilisabilité • Procédure d’expérimentation et d’observation • Méthodologie d’analyse des observations • Méthodologie d’analyse des traces • Vérification d’hypothèses • Utilisation des questionnaires

17. 1-3 Évaluation heuristique selon une grille théorique Neutralité et entraînement desjuges • Évaluation heuristique… sort les principaux problèmes et les solutions. • Grille selon critères ergonomiques - experts fait a priori sur le système lui-même en adaptant les grilles au problème. • Importance de donner des exemples de problèmes et de commenter • Couvrir l ’ensemble de l ’application • Compte-rendu systématique • Les juges peuvent aussi coder l ’ observation de vrais usagers • Autres grilles théoriques : Présence sociale, Feedback jeux, types d’interaction, niveau d’autorité, etc.

18. 2. Évaluation empirique avec des usagers Pour développer un système qui communique bien… ou pour la recherche …pour comprendre ce qui est important • Procédure d’expérimentation et d’observation • Méthodologie d’analyse des observations • Méthodologie d’analyse des traces • Vérification d’hypothèses • Utilisation des questionnaires

19. Imprimer les écrans et le montrer aux responsables Tester le guide d’utilisation Prototype de clavier avec Sorcier d’Oz Démos pour usagers naïfs Inviter un Olympien dans l’équipe de direction Entrevues avec athlètes et famille pour savoir si correspond aux besoins Test - Café et beignes gratuits Tests d’utilisabilité auprès de 100 personnes « Try to destroy it » Test dans situation similaire avant l’évènement Test de fiabilité en situation de surcharge. Grandes différences culturelles.. Watching helplessnness and hopelessness Corriger avant, vrais problèmes pas imaginaires, accélère, vente sans excuse. Différents tests - Système de messagerie Olympiques 84 Preece, J., Rogers, Y., & Sharp, H. (2002). Interaction design: beyond human-computer interaction. New York: J. Wiley & Sons.

20. Un autre cas… Hutch V-Chat 1Collaboration dans la communauté d’un Centre sur le Cancer R&D et Évaluation de V-Chat Permettre plus de communication asynchrone Vérifier s’il y a quelqu’un

21. Un autre cas… Hutch V-Chat 2Collaboration dans la communauté d’un Centre sur le Cancer • Problèmes • Mouvements difficiles avec la souris • Ne peuvent trouver la carte • Babillard pas clair.. • Ne voient pas boutons de navigation • Ne voient pas la zone de chat • Tâches… • Pointez sur vous, trouvez la carte, changez la couleur de votre chemise • Postez un message, faites signe, murmurez, • Trouvez quelque chose à faire à Seatle..allez sur yahoo • Trouvez un cadeau, envoyez le à.. Identité perceptioncommunicationTrouve informationPlaisir

22. ExploraGraph Interface de télé-apprentissage - Éditeur de soutien

23. Exemple : Marcelo MainaProblématique • Évaluer l’interface du Campus Virtuel par rapport aux habiletés et aux contraintes reliées à l'accomplissement des activités visées par les tuteurs, et identifier celles que l’environnement ne permet pas d’accomplir. • Modéliser l’activité des tuteurs et la décomposer en actions et en opérations à fin de spécifier les caractéristiques d’une interface ergonomique pour ces tâches. • Maina, M. (1999). Analyse de l'interface du Campus Virtuel par rapport aux activités du tuteur. Montréal: Université de Montréal.

24. Exemple d’analyse Activité : support et animation Action 6 : répondre à un message Opération : choisir icone de réponse • Problème : difficulté à différencier la réponse à la conférence, de la réponse à la personne • Solution : uniformiser les icones et les placer à proximité de façon à favoriser la comparaison et le choix d’un type de réponse. Réponse à la personne Réponse à la conférence

25. Outils d’évaluation auprès des usagers • Observations et analyse des observations • Analyse des traces d’utilisation • Journal, feuille de route (BBM) • Problèmes et commentaires positifs • Utilisation des fonctions • Réseaux de communication • Questionnaires • Entrevues et focus groupe • Analyse des variables externes (liées à l’efficacité)

26. Journal, feuille de route (BBM) • Ne doit pas interrompre - outil, concentration minimale • Ex.de la feuille de route et du journal de bord -> Feuille à cocher • Permet de noter des activités • Quelle tâche, Communiquer avec qui • Tâches (temps) • Permet de noter des commentaires • Problèmes, changements, besoins,

27. 2.1 Procédure d’expérimentation et d’observation • Préparation - hypothèses, tâche, choisir un contexte réel d’activité. • Tâche - choisir une séquence représentative, raccourcie • Sujets, échantillonnage • représentatif, au hasard, mesure répétées, schème contrebalancé • Installation • vidéo, audio, tester l ’application, le questionnaire • Déroulement • consigne • pratiquer verbalisation sur un problème différent • intervenir le moins possible, pas sur les causes • démontrer un minimum, observer, faire verbaliser • Questionner à la fin, vidéo revisité. • Questionnaires formels et informels • Sur quoi..?

28. Schème contrebalancé Groupe Temps 1 Temps 2 A condition1 condition2 B condition2 condition 1 2.1 Procédure d’expérimentation et d’observation • Préparation - hypothèses, tâche, choisir un contexte réel d’activité. • Tâche - choisir une séquence représentative, raccourcie • Sujets, échantillonnage • représentatif, au hasard, mesure répétées, schème contrebalancé • Installation • vidéo, audio, tester l ’application, le questionnaire • Déroulement • consigne • pratiquer verbalisation sur un problème différent • intervenir le moins possible, pas sur les causes • démontrer un minimum, observer, faire verbaliser • Questionner à la fin, vidéo revisité. • Questionnaires formels et informels • Sur quoi..? pour comprendre ce qui est important influence de l’humour dans les interfaces de soutien à l’apprentissage

29. Au moment de la conception Appliquer les critères ergonomiques - corriger les erreurs Cohérence interne et externe Réversibilité Protection contre les erreurs Etc. Appliquer les normes d’interfaces Utilisation des contrôles, groupes et position des boutons Tests techniques et corrections des bugs Objectifs de l’évaluation

30. Évaluation avec des utilisateurs potentiels, pour des activités représentatives Sujets Dix sujets (3 pré-test) professeurs experts en TA, professeurs novices en TA des chercheurs en TA (apporter de nouvelles idées) Tâche Décrire un scénario de cours Ajouter quelques règles de soutien Commenter un prototype papier Observations, entretiens Méthodologie d’expérimentation

31. Ne pas interrompre Ne pas lui parler Aider un minimum Procédure d’expérimentation • Préparer les tâches et les consignes • Vérifier les installations • Consigne, consentement • Observer et noter • Temps mis pour réaliser une tâche • Notices d’utilisation utilisées • Questions posées • Erreurs commises • Satisfaction de l’utilisateur • Actions de l’utilisateur • Diagnostic des problèmes ergonomiques • Suggestions sur le vif

32. LORIT- Exemple de laboratoire d’observation

33. Salle de contrôle et d’observation • Voir les postes et les caméras • Contrôle des postes • Contrôle des caméras • Contrôle des liens avec Internet • Contrôle des enregistrements • Supervision des expériences • Simuler l’interaction à distance • Sorcier d’Oz - simuler les interactions d’un système en développement, aide, questions suggestions.

34. Expérimentation à distance au Lorit@d

35. Virage - Indexation vidéo Déroulement dans le temps

36. 2.2 Transcription et analyse de vidéos analyse de protocole • verbalisations, buts et structures d’actions • problèmes, erreurs, conséquences, correction possible et solutions (design, formation ou aide, procédure) - Reed in Kirwan and Ainsworth 92 • codage des observations et des commentaires des usagers selon cette grille ergonomique, faire ensuite la synthèse selon les grandes catégories • Structure des activités, compatibilité.. • soutien, difficulté d’apprentissage • cohérence interne et externe • lisibilité, sens ambigu en contexte • contrôle, feedback, flexibilité etc... • utilité Seule façon de voir le lien avec les activités

37. Grilles d’analyse liées aux usages • grilles liées au contenu • grilles basées sur les catégories d’actes de language. • Communication Audit - Qui communique avec qui ? • actes de langage impliqués dans les informations échangées ou consultées, par exemple - information, analyse, question, ludique, artistique,... • sémiotique - quête, reconnaissance... • présence sociale • types d ’humour, de soutien, d ’information cherchée dans un site

38. 2.3 Analyse des traces • nombre de visites dans les différents environnements • temps passé dans les différents environnements • contexte du temps passé (en revenant ou en avançant, en venant d’où ?) • erreurs, appel à l’aide et autres fonctions ‘méta’ • Statistiques descriptives sur les données tableau des fréquences, des moyennes, % • tests de comparaison entre les groupes. • Analyse statistique - séries temporelles, analyse des séquencescartes cognitives (aussi avec observations)- séquence, association, cause… • contenu de page X commentaires • média X commentaires • Contenu de page X temps de consultation • contenu de l ’aide X temps de consultation, réaction

39. Réingénierie • Réviser globalement l ’atteinte des objectifs du système et fixer des priorités pour les ajustements • Repenser la structure des activités, de la navigation, des boîtes de dialogue • Faire la liste des corrections à apporter au niveau du vocabulaire et des icones • Réviser systématiquement les écrans, les boîtes de dialogues, les commandeset corriger en assurant la cohérence. Il faut proposer une solution globale.. Et non pas morcelée

40. 2.4 Questionnaires • après mais le plus vite possible, mise en situation si nécessaire • pas de mesures centrales • questions adaptées et claires • Questions fermées (et ouvertes à la fin) • Structuré de plus en plus détaillé, éviter les biais dans l ’ordre • Attirant • plusieurs questions sur un thème…éparpillées • pré-tester les questions et modifier celles qui ne sont pas claires ou inutiles, lorsque tout le monde a la même réponse. • faire la moyenne par thème ou alors distribution dans les réponses avec histogramme. • très d’accord, d’accord,....ordre naturel: 1= moins, 6 = mieux, 0 ne sait pas • alterner positif et négatif en évitant les formes négatives (l’interface est difficile à comprendre...on sait tout de suite ce qu’il faut faire) - inverser les réponses pour l’analyse

41. Problèmes dans les questionnairesFaulkner • Effet Hawthorn • Réponses à connotation émotionnelle • Suggérer la réponse • Embarrasser les sujets • Manque de précision • Questions imprécises • Questions trop complexes • Effets d ’ordre dans les questions

42. Types de questionnaires Questions fermées • Liste à cocher • Échelle multi-points • Échelle de Likert (valeurs à chaque niveau) • Différentiel sémantique (valeur opposée aux extrêmes • Rang - Par exemple ordonner les problèmes Questions ouvertes Principaux problèmes..et solutions Points pour la gravité Ce que vous avez préféré

43. Discussion et interprétation • comparer les résultats de différentes méthodes • qualifier et regrouper ce qui est le plus significatif • dire ce que ca apporte et ce qu’il faut faire ensuite Proposer des solutions Changer l’interface - rapport très structuré Former les utilisateurs Changer la procédure d’utilisation du système

44. Exemple - R&D Interface pour non-voyant • Gregory Petit • Développer une interface de transposition des images des manuels scolaires en graphiques tactiles. • Utiliser un dispositif de lecture dynamique des images • Le STReSS - Haptic Laboratory à McGill

45. Exemple - R&D Interface pour non-voyant • Gregory Petit • Définir le modèle de transposition et l’expérimenter avec des non-voyants Protocole expérimental et formulaires de consentement Certificat d’éthique

46. Exemple - R&D Interface pour non-voyant • Hypothèses • Dessins avec ou sans texture dans les formes • Synthèse vocale vs Voix enregistrée • Voyants vs Non-voyants • Adultes vs enfants • Méthodologie • Choix des sujets • Formulaire de consentement • Essais, exploration des images, questions de contenu • Questions sur l’expérience • Résultats • Enthousiasme, réussite • Les sons qui dérangent

47. Analyse des résultats

48. Atelier • Vous devez évaluer le site de • http://www.toile.com • Problématique : • Voir si les usagers trouvent facilement ce qu’ils cherchent ? • S’assurer que les touristes occasionnels et les gens d’affaires seront bien servis • Choisissez des tâches typiques ? • Préparez la consigne et quelques phrases pour encourager la verbalisation • Questionnaire - Préparez des questions selon la problématique ? • Grille de l’analyse de l’interaction observée

49. Atelier - Pour évaluer une maquette quelle différence ?Plusieurs méthodes possibles • Questions sur les cas d’utilisation ? • Proposer les cas et demander de réagir ? • Méthode des cartes - comparer à la structure prévue • Simuler un cas (cogntive walkthrough) • Montrer les écrans • Laisser naviguer sans intervenir • Prendre des notes • Retour sur l’expérience • Questionnaires fermés - utilisabilité, utilité • Questions ouvertes - positif, problèmes triés, ce qui manque • Focus group.. Ce qu’on peut améliorer