« É v a lu a tio n d e s a i d es t e c h ni q u es »

1. « Évaluationdes aides techniques» Pr. Éric Brangier Université de Metz Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

2. Plan de l’exposé • 1. Introduction • Handicap et assistance • 2. L’évaluation de l’usage des dispositifs • 3. Les techniques d’évaluation • méthodes d’inspection, • enquêtes d’usage, • tests d’utilisabilité • 4. Conclusion • Perspectives • Handicap et innovation pour tous Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

3. 1 Introduction : contexte de l’évaluation des assistants Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

4. Problème posé • Caractéristiques des grands handicapés • privation des ressources • réduction des relations • Développer le confort • confort fonctionnel • confort émotionnel • Idée: Assistance… « performance du facteur humain » Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

5. L’assistance à l’utilisateur • Assister un opérateur, c’est estimer qu’il risque de rencontrer des difficultés et que l’aide apportée améliorera la réalisation de sa tâche. • L’assistance = réunion de trois éléments • une tâche, • un opérateur chargé de réaliser la tâche • et un assistant (humain ou technique) chargé d’aider le premier dans sa tâche. • Définition large: • logiciels de supervision ou d’aide à la décision, • supports écrits de formation au poste de travail, • et les interfaces humain-machine. • Types: • Informative • Coopérative • Palliative Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

6. http://www.cs.umd.edu/hcil/members/cplaisant/ Assistance informative • donner des informations, souvent de nature procédurale • organise le champ informationnel de l’opérateur • Les aides textuelles, graphiques, au travail, par la diversité des formats de présentation et de leur contenu sont de bons exemples d’aide informative. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

7. Assistance collaborative • collaboration entre un agent d’assistance, humain ou technique, et un utilisateur disposant de ressources limitées. • L’assistant effectue un tri des informations, traite les informations estimées pertinentes et conseille l’opérateur. • L’assisté va construire ses connaissances et raisonnements au fur et à mesure des interactions avec l’assistance et, pour finir, opter pour une action ou décision. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

8. Technologie EDITH Personne malade En fin de vie Contexte Assistance palliative • prend la place de l’homme dans un certain nombre de tâches qu’il ne peut réaliser. • conçue pour pallier les déficiences humaines (handicaps moteurs ou sensoriels) ou l’inaccessibilité d’une situation (télésurveillance, robotique…). • prend en charge une grosse partie du travail d’exécution, l’opérateur devant pour sa part piloter l’aide qui pallie ses insuffisances ou impossibilités. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

9. 2 L’évaluation de l’usage des dispositifs d’assistance Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

10. Que faut-il évaluer? • « You know it won't work because you form a conceptualmodel of the device and mentallysimulate its operation. »D. Norman. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

11. Évaluation de l’assistance: orientations générales • Fonctionnalités • Usage dépend de l’adaptation à la fonction • Ensemble adapté de fonctions destinées à l’activité • Utilisabilité • Facilité d’utilisation • « degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction » (ISO 9241) • Emotionnalité • Attachement suscité par l’usage d’un produit • Capacité d’un produit à générer un sentiment agréable ou désagréable, conditionnant l’usage du produit. • Régulation socio-organisationnelle • Acceptation sociale Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

12. Critères d’acceptabilité Ergonomie du produit Fonctionnalité Utilisabilité Emotionnalité Ergonomie du contexte Utile? Facile? Agréable? Plaisir physique, psychologique, social, idéologique Relation affective Employabilité etc… Service rendu, Utilité Opérationnalité Ergonomie Compatibilité cognitive Adaptation IHM Régulation sociale Environnement, Contexte, Appuis socio-affectifs… Performances de la relation Humain- Aide technique- Contexte Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

13. Contexte des interactions entre l’homme, la technologie et l’organisation Résultat escompté OBJECTIFS équipement utilisateur Élaboration des caractéristiques de l’utilisabilité du produit de manière à atteindre un niveau défini d’efficacité, d’efficience et de satisfaction. tâche environnement Niveau d’adéquation entre les objectifs et les performances atteintes produit Résultats de l'utilisation Évaluation de l'utilisabilité (efficacité, efficience, satisfaction) du produit Structure générale de la norme ISO 9241.11 Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

14. Données élémentaires du contexte d’utilisation Nombre d’utilisateurs Aptitude physique Habilité cognitive Déficits et limitations physiques et cognitifs Motivation Attitude à l’égard de la tâche Ethnies, cultures, habitudes et compétences linguistiques Utilisateurs directs, indirects, occasionnels, experts, novices… Qualification et diplômes Formation initiale, formation continue Expérience de l’environnement Compétences dans le domaine Compétences sur le produit Expérience de la tâche Âge, sexe Fonctions exercées Niveau d’autonomie Identification du matériel Description du produit Types d’application possibles Spécifications informatiques (logiciels…) Incompatibilité avec d’autres matériels Signaux formels et informels émis par la machine Principales fonctionnalités Implantation architecturale Support papier, Documentations Nuisances évidentes Signalétique utilisateur équipement Contexte des interactions entre l’homme, la technologie et l’organisation équipement utilisateur Identification de la tâche Nom de la tâche Durée de la tâche Flexibilité de la tâche Fréquence d’exécution de la tâche Risques potentiels attachés aux erreurs Exigences physiques, cognitives et sociales liées à la tâche Exigences d’hygiène et de sécurité Objectifs de la tâche Pré-requis et post-requis de la tâche Décomposition hiérarchique de la tâche Interruptabilité des tâches tâche environnement Organisation du travail Culture organisationnelle Modalités de communication Organisation des temps et horaires Travail de groupe et mode de coopération Structure du pouvoir et du management Organisation des relations professionnelles et de leurs représentations Ambiances physiques de travail (bruit, température, vibration, lumière…) Aménagement des postes de travail (emplacement, posture, déplacement, design…) Évaluation des risques professionnels Port d’équipement de protection individuelle environnement tâche Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

15. produit produit Conception centrée sur l’utilisateurISO 13407 Étude préalable pour identifier les avantages d’une conception centrée sur l’utilisateur (compromis entre exigences, coûts, contraintes et bénéfices) Compréhension du contexte des interactions entre l’homme, la technologie et l’organisation équipement utilisateur tâche environnement Expression des besoins de l’utilisateur final par rapport au produit et au contexte d’utilisation (étude des exigences de l’activité de l’opérateur, de la technologie et de l’organisation). Cycle de conception/réalisation du produit: maquette, prototype, produit fini. Cycle itératif de test (inspection de l’utilisabilité, enquête d’usage, expérimentation) jusqu’à l’adéquation du produit aux besoins des utilisateurs et de l’organisation Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

16. Pratiques de conception/évaluation • Conception centrée utilisateur (ISO 13407) • Conception par l’usage • Conception participative • Conception universelle…. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

17. Les objectifs de l’évaluation • Dimensions de l’utilisabilité que l’on souhaite évaluer • « ISO 9241-11 » : un système est utilisable lorsque l’utilisateur peut accomplir sa tâche (efficacité), avec un minimum de ressources pour le faire (efficience) et que le système est estimé agréable à utiliser (satisfaction). • la facilité d’apprentissage • la tolérance du système aux erreurs de l’utilisateur. • Cycle de développement d’un produit • Type de besoins que le produit doit satisfaire  • Caractéristiques des utilisateurs ciblés par le produit  • Contexte global d’usage du produit • Contraintes de coûts ou de temps. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

18. Préciser les dimensions de l’utilisabilité à évaluer (1) • Efficacité • Examiner si les buts visés par l’utilisateur sont atteints. • Vérifier la capacité du système à satisfaire les intentions. • Efficience • Mesurer les ressources nécessaires pour atteindre les objectifs. • Quantifier le nombre de fonctions utilisées. • Comptabiliser le nombre de modes opératoires effectués pour accomplir une tâche donnée. • Calculer le temps mis par l’utilisateur pour réaliser la tâche. • Satisfaction • Apprécier si le système est agréable à utiliser. • Mesurer le nombre de fois qu’un utilisateur exprime de la frustration ou de la satisfaction. • Comptabiliser les remarques positives et/ou commentaires négatifs, à travers un questionnaire ou par l’intermédiaire d’un entretien. • Observer et comptabiliser les attitudes physiques favorables et/ou défavorables de l’utilisateur (gestes, mimiques, signes d’énervement ou d’agacement…). Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

19. Préciser les dimensions de l’utilisabilité à évaluer (2) • Facilité d’apprentissage • Mesurer la capacité du produit à être découvert naturellement. • Mesurer le temps de latence entre la consigne de l’évaluateur et le début d’une utilisation correcte. • Compréhension correcte et assimilation rapide du mode de fonctionnement. • Tolérance aux erreurs • Comptabiliser le nombre d’erreurs commises par l’utilisateur et le nombre de récupérations. • Quantifier le nombre de bonnes ou de mauvaises applications mentionnées par l’utilisateur. • Mesurer les temps nécessaires à la correction des erreurs. • Évaluer le système d’aide (compréhension de la documentation, facilité d’usage de l’aide informatisée…). Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

20. Types d’évaluation • Moments de l’évaluation • Évaluer pour prévoir : l’évaluation prospective. • anticiper les modes d’usages de produits à partir de l’analyse d’une situation donnée de manière à prévoir de nouveaux usages en concevant de nouveaux objets. • Évaluer pour valider : l’évaluation consécutive. • confirmer ou infirmer les orientations prises par la conception. • Évaluer pour améliorer en continu : l’évaluation itérative. • les processus de conception et d’évaluation sont liés et mutuellement dépendants  • Évaluation et cycledevie • lors de la première phase de la conception. • maquettage ou du prototypage. • conception définitive (comparaison avec le cahier des charges) • sur des produits existants à des fins comparatives(concurrence). • du produit et sa maintenance. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

21. Connaître les utilisateurs cibles et les besoins à satisfaire • Besoins des utilisateurs : • l’accessibilité physique, l’apprentissage, l’audition, la vision, la cognition, la communication, l’écriture, la lecture, la mobilité, leur profession, leur santé et soins personnels ou encore leurs besoins récréatifs… • La connaissance des besoins à satisfaire qui orienteral’évaluation. • Quel est le degré d’importance de l’amélioration apportée à l’utilisateur final ? • Quel est de degré de satisfaction du besoin par la technologie ? • Quels nouveaux besoins peuvent apparaître ? Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

22. Maîtriser les biais et attitudes de l’évaluateur • L’évaluateur ne biaise-t-il pas les résultats ? • Neutralité, bienveillance… • Qui évalue ? • Par soucis de validité et de fidélité, l’évaluation de l’utilisabilité doit-elle être réalisée par des spécialistes désengagés de la conception. • Que doivent indiquer les évaluations? • Que le produit satisfait l’utilisateur? • NON! • Que le produit n’est pas satisfaisant. • flatter le narcissisme des concepteurs ? • proposer des recommandations qui l’amélioreront. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

23. 3 Les techniques d’évaluation Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

24. Réelle LES ENQUETES D’USAGE La situation d’évaluation La source du savoir collecté Utilisateur Expert LES INSPECTIONS LES TESTS Artificielle Les méthodes d’évaluation • La source du savoir collecté : utilisateurs ou experts ? • La situation d’évaluation : artificielle ou réelle ? Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

25. Les grandes catégories de méthodes d’évaluation. • Analyser la situation réelle avec l’utilisateur : les enquêtes d’usage. • déterminer les objectifs et les tâches d’utilisateur, interpréter les conduites et élaborer des préconisations • Examiner l’utilisabilité sans utilisateur : les techniques d’inspection. • examiner, selon des critères éprouvés, l’utilisabilité d’un produit, mais sans utilisateur. • récapituler les sources d’inutilisabilité et proposer des solutions correctrices. • Impliquer l’utilisateur pour améliorer ou valider : les tests d’utilisabilité • effectuer des tâches représentatives avec le produit testé. • rédiger un rapport énumérant les problèmes et énonçant des recommandations basées sur les résultats des expériences. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

26. Les enquêtes d’usage • Découverte de données sur les usages • Double objectif: • D’innovation • D’aménagement • A la différence des autres méthodes d’évaluation, les enquêtes d’usage insistent sur : • Le rôle du contexte dans l’apparition d’un comportement d’un utilisateur. • L’observation de la réalité telle qu’elle est • L’idée que la technologie n’existe pas en soi, mais se réfère toujours à un usage. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

27. Illustrations de techniques • Analyse ethnographique • L’analyse de la situation d’utilisation • Les groupes de discussion • « focus group » • L’entretien structuré • Questionnaire • L’observation • Retour d’expérience (REX) Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

28. Edith environnement digital de téléactions pour handicapés Le monitoring de l’utilisation • « Tracer » l’utilisateur par des mouchards électroniques. • Quantifier les durées d’utilisation • Évaluer les fonctionnalités utilisées ou non • Recenser les difficultés à partir de la connaissance des opérations qui ne sont pas ou mal faites par l’utilisateur • Mesurer le taux global d’utilisation • Visualiser les séquences réelles d’action problèmes • Problèmes • déontologique  • interprétatif Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

29. Les techniques d’inspection • Porter un jugement sur ses capacités à être efficace, efficient, tolérant aux erreurs, facile à apprendre et satisfaisant pour ses utilisateurs. • Évaluateurs experts en facilité d’usage • l’inspection dépend de la qualité et de la quantité d’évaluateurs. • à privilégier pour dégrossir les problèmes d’utilisabilité et préparer des tests • Les techniques d’inspection reposent sur une conception classique de l’ergonomie • n’intègre ni l’analyse du travail, ni les dimensions organisationnelles, sociales ou culturelles du travail. • « machine humaine »  • Techniques relatives • Aux connaissances de l’évaluateur • A des outils pour appréhender l’utilisabilité du produit • A des modèles et théories de la performance humaine. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

30. Illustration des types d’inspection Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

31. Les tests d’utilisabilité • Mesure expérimentale de l’adéquation d’un dispositif aux utilisateurs cibles • Méthode pour évaluer un dispositif qui permet : • D’observer directement la manière dont des utilisateurs s’en servent ; • D’identifier les difficultés qu’ils rencontrent ; • De recueillir leurs verbalisations ; • De recenser leurs attitudes à l’égard du produit ; • D’impliquer d’autres partenaires que les utilisateurs. • Déroulement • Fixer et justifier les objectifs du test d’utilisabilité • Préparer le test d’utilisabilité (empiriques et théoriques) • Constituer un échantillon d’utilisateurs • 5 utilisateurs d’une catégorie donnée suffisent à détecter 80% des problèmes, MAIS parfois 5 utilisateurs ne sont pas suffisants… En prévoir 49 ! • Choisir des utilisateurs représentatifs • Veiller à la représentativité des situations d’utilisation Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

32. Utiliser un laboratoire d’utilisabilité (Pergolab) Zone d’accueil • 4 salles • 3 types d’intervenants • Déontologie • Déterminer le type de test à mener • Test de performance. • Test d’utilisation. • Test d’anticipation. • Test des systèmes d’aide à l’apprentissage. • Test de confrontation. • Le test de déploiement du produit. • Etc. Zone technique Couloir Fenêtres Miroirs sans tain Zone de test Zone d’observation Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

33. La restitution de l’évaluation • L’analyse des données recueillies • 1. verbales • 2. d’observations • 3. quantitatives • La validation des propositions • L’élaboration de recommandations • Produire des connaissances appropriables par l’ensemble des acteurs • La restitution du rapport d’évaluation • L’évaluation n’est pas seulement un constat, ce sont des résultats et analyses avec lesquels on décide. • L’utilisateur est au centre de la restitution. • le document écrit, • la présentation orale. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

34. 4 Conclusion & perspectives Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

35. Conception centrée utilisateur • Si vous voulez qu’un utilisateur comprenne votre dispositif d’assistance, vous devez d’abord comprendre l’utilisateur. • Comment votre assistant « parle »-t-il à l’utilisateur ? • Qu’est-ce que vous voulez que votre produit fasse pour l’utilisateur ? • Qu’est-ce que l’utilisateur va faire avec votre produit ? Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

36. Contexte organisationnel Utilisateur Accommodement Interface Utilisabilité Technologie Fonctionnalités Cadre de l’évaluation • Évaluer par: • Respect aux standards • Techniques et méthodes • La comparaison à des modèles cognitifs Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

37. Contexte Reconception Humain Machine Usage Adaptation Perspectives Interactif Symbiotique Exemple: Téléphone portable Handicap : Tous concernés + Généralisation aux utilisateurs « sains » Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

38. Peut-on faire « sans » ergonomie? • Oui, mais bon courage à vous! • Comment font les entreprises à « hi-tech »? (D’après Nielsen, 1994) Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

39. Entre les deux mon cœur balance Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz