IF-05 Qualité ergonomique des logiciels Pascal Salembier

1. IF-05Qualité ergonomique des logicielsPascal Salembier

2. Plan • Qualité et qualité… : génie logiciel et qualité d’usage • Qualité ergonomique et utilisabilité • Comment évaluer l’utilisabilité ? • Inspection ergonomique et test utilisateur • Normalisation • Au-delà de l’utilisabilité : « new usability » et « user experience » • Concepts • Méthodes • Limites • Exemples de conception basés sur un point de vue enrichi de l’utilisabilité

3. Quelques mauvais exemples…

4. Je regarde où ?… Désorientation perceptivo-cognitive

5. Quelle heure est-il ?…

6. A quelle vitesse ?…

7. Qu’est-ce que c’est ?…

8. Codes multiples

9. Quel numéro ?…

10. Top-loading VCR Facteurs secondaires de déterminationde la qualité d’usage

11. Three Miles Island Les opérateurs ne parviennent pasà identifier que la vanne de suppression est coincée en position « ouverte  » Les opérateurs ont été induits en erreur par les indications du pupitre de commande : l’indicateur lumineux présent indique uniquement si la fermeture de la vanne a été commandée ou non ; il ne donne pas directement l’état de la vanne. Situations professionnelles « à risque »

12. Prolifération des sites web… pour le meilleur et pour le pire… (1670 liens sur la page !)

13. Abstraction de cas singuliers problématiques • Des objets/commandes qui ne fonctionnent pas comme on s’y attend • Des objets/supports d’affichage/commandes différents qui apparaissent comme trop semblables • Des informations trop difficiles à voir/interpréter • Des objets incompatibles entre eux • Des objets difficiles à manipuler • Des informations/commandes difficiles à mémoriser

14. Abstraction de cas singuliers problématiques • Des informations trop longues à s’afficher • Des informations qui ressemblent à des commandes • Des commandes placées de manière inattendue • Des commandes disposées trop loin des dispositifs qu’ils contrôlent • Des commandes cachées • Des commandes « destructrices » trop faciles à activer • Des signes ambigus • Des informations manquantes • …

15. Qualité et qualité…

16. Plusieurs optiques d’évaluation/qualification/conception de la qualité des logiciels • Optique « Génie logiciel » • Relativement bien cadrée • Appréhendable par la série de normes ISO SQuaRE (norme de référence ISO/IEC 25000:2005 - Ingénierie du logiciel - Exigences de qualité et évaluation du produit logiciel ; normes annexes) • ISO/IEC 25001:2007 - Planification et gestion • ISO/IEC 25020:2007 - Modèle de référence de mesure et guide • ISO/IEC TR 25021: 2007 - Éléments de mesure de la qualité • ISO/IEC 25030: 2007 - Exigences de qualité • ISO/IEC 25051: 2006 - Exigences de qualité pour les progiciels et instructions d’essai • ISO/IEC 25062: 2006 - Format commun de l’industrie (CIF) pour les rapports d’essai et de rentabilité (propose un guide pour présenter les résultats des test utilisateurs)

17. Plusieurs optiques d’évaluation/qualification/conception de la qualité des logiciels • Optique « Usage » « Le concept de «qualité à l’usage» a été employé dans l’ISO/CEI 14598-1 afin d’opérer une distinction entre la qualité considérée comme caractéristique inhérente d’un produit logiciel, et la qualité atteinte lors de l’utilisation d’un produit logiciel dans des conditions définies, c’est-à-dire dans un contexte d’utilisation spécifique. Cette définition de la «qualité à l’usage» est très proche de celle de l’utilisabilité énoncée dans l’ISO 9241-11:1998. L’emploi du terme «qualité à l’usage» implique par conséquent la nécessité de prendre en compte les problèmes centrés sur l’opérateur humain lors de l’évaluation des produits logiciels. » NOTE La qualité à l’usage est définie comme «le degré auquel un produit peut être utilisé par des utilisateurs donnés pour répondre de manière efficace et satisfaisante à leurs besoins et satisfaire des objectifs déterminés, dans un contexte d’utilisation spécifique». ISO/CEI 14598-1

18. Qualité ergonomique des systèmes interactifs • Qualité ergonomique ou « utilisabilité » • Ergonomie (définition de l’IEA) « L’ergonomie (ou l’étude des facteurs humains) est la discipline scientifique qui vise la compréhension fondamentale des interactions entre les êtres humains et les autres composantes d’un système, et la mise en oeuvre dans la conception de théories, de principes, de méthodes et de données pertinentes afin d'améliorer le bien-être des hommes et l'efficacité globale des systèmes. » « Les ergonomes contribuent à la conception et à l’évaluation des tâches, du travail, des produits, des environnements et des systèmes en vue de les rendre compatibles avec les besoins, les compétences et les limites des personnes. »

19. «Utilité» et «utilisabilité» • Utilité : propre à la vision ergonomique liée à la notion de besoin fonctionnel (existence de points de vue différents : cf approches marketing) • Utilisabilité : notion faussement simple qui intègre plusieurs facettes et déterminants • Définition ISO 9241-11 (Exigences ergonomiques pour le travail de bureau avec les terminaux à écrans d evisualisation - Partie 11) « L’utilisabilité est le degré selon lequel un produit peut-être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction dans un contexte d’utilisation spécifié. »

20. Utilisabilité • Efficacité : représente ce qui produit l’effet attendu par l’utilisateur. Elle concerne la précision ou degré d’achèvement selon lesquels l’utilisateur atteint des objectifs spécifiés • Efficience : représente la capacité à réaliser une tâche donnée avec le minimum d’effort ; plus l’effort est faible, plus l’efficience est élevée. Elle concerne le rapport entre les ressources dépensées, la précision et le degré d’achèvement selon lequel l’utilisateur atteint des objectifs spécifiés

21. Utilisabilité • Satisfaction • Initialement notion « fourre-tout », mal spécifiée, appréhendable selon des méthodes approximatives (échelles de satisfaction, questionnaires,…) • Origine : incapacité à rendre compte de certains phénomènes avec les seuls critères d’efficacité et d’efficience, associés à des métriques non discriminantes • Incorporation progressive de dimensions d’évaluation supplémentaires par rapport à la norme ISO 9241-11 : facilité d’apprentissage, facilité de mémorisation

22. Utilisabilité • Facilité d’apprentissage « La facilité d’apprentissage est ce qui permet à un utilisateur débutant de se consacrer rapidement à son travail, en diminuant le temps nécessaire à l’apprentissage de l’application. La facilité d’apprentissage et la facilité d’utilisation sont généralement obtenus par différentes techniques qui permettent un guidage plus ou moins étroit de l’utilisateur. » • Facilité de mémorisation « La facilité de mémorisation est ce qui permet à l’utilisateur, après une période plus ou moins longue de non-utilisation, d’effectuer ses tâches sans avoir à réapprendre le fonctionnement de l’application. Cet attribut est d’autant plus important que l’application n’est utilisée qu’occasionnellement. Une application dont le fonctionnement est facile à retenir ne nécessite pas ou peu de réapprentissage. On voit ici que la facilité d’utilisation est liée à la facilité d’apprentissage. »

23. Evaluation de l’utilisabilité • Comment évaluer l’utilisabilité d’un système interactif ? • Approche centré sur le système : inspection ergonomique, évaluation experte • Approche centrée sur le couplage utilisateur/caractéristiques du système : tests utilisateurs

24. Inspection ergonomique : opérationnalisation de la notion d’utilisabilité • Conditions de l’utilisabilité d’un système interactif : respect de critères (ergonomiques) utilisables pour la conception et l’évaluation des dispositifs • Tentative d’assemblage opérationnel de résultats de travaux expérimentaux dispersés • Organisation d’un corps de recommandations existantes • Mise en oeuvre des critères d’évaluation lors de l’analyse d’une IHM doit permettre de se passer de tests utilisateurs • Applicables par des non-spécialistes : « discount method » • Niveau d’explicitation suffisant pour permettre des mesures • Niveau de standardisation suffisant pour permettre la réplicabilité de la démarche

25. Critères ergonomiques d’évaluation des IHM

26. Critères ergonomiques 1. Guidage 1.1. Incitation 1.2. Groupement/Distinction entre items 1.2.1. Groupement/Distinction par la localisation 1.2.2. Groupement/Distinction par le format 1.3. Feedback immédiat(p.53) 1.4. Lisibilité 2. Charge de travail 2.1. Brièveté 2.1.1. Concision 2.1.2. Actions minimales 2.2. Densité informationnelle 3. Contrôle explicite 3.1. Actions explicites 3.2. Contrôle utilisateur

27. Critères ergonomiques 4. Adaptabilité 4.1. Flexibilité 4.2. Prise en compte du niveau d’expérience de l’utilisateur 5. Gestion des erreurs 5.1. Protection contre les erreurs 5.2. Qualité des messages d’erreur 5.3. Correction des erreurs 6. Homogénéïté/Cohérence 7. Signifiance des codes et dénominations 8. Compatibilité

28. Critères ergonomiques • Catégorisation intensionnelle, extensionnelle, par différentiation • Validations expérimentales avec différents groupes de spécialistes facteurs humains de certaines propriétés des critères : • Complétude (couvre ts les problèmes rencontrés) • Indépendance (pas de recouvrement entre critères) • Applicabilité (tous les critères sont utilisés) • Limites des règles de conception/évaluation • Trop générales • Trop singulières • Travail d’adaptation à réaliser • Quid des nouvelles technologies pour lesquelles pas de critères ?

29. Tests utilisateur • Inspection ergonomique basée sur les critères ne se substitue pas à d’autres méthodes d’évaluation (tests utilisateurs) • La « qualité » ergonomique du système va être évaluée par des mesures de performance de l’usage du dispositif • Le problème est donc de trouver des indicateurs de performance pertinents • Classiquement : mesures de performance comportementale censés renvoyer à documentation de processus perceptifs/cognitifs (approche psychologie cognitive expérimentale classique) • Plus mesures de la « satisfaction » estimée par échelles de Likert (typique psychologie sociale expérimentale)

30. Tests utilisateur • Élaborer un test utilisateur (différentes phases) • Définir les objectifs du test • Choisir et recruter les participants • Sélectionner et organiser les tâches à réaliser • Créer des scénarios de test • Choisir quelles dimensions de l’utilisabilité évaluer • Préparer le matériel et l’environnement de test • Choisir les expérimentateurs • Conduire le test (consignes, accompagnement, interventions,…) • Développer et faire passer des questionnaires de statisfaction • Analyser les données • Présenter les résultats

31. Tests utilisateurs : normalisation • Normalisation de la passation de tests utilisateurs, du choix des méthodes, du format des CR • ISO/IEC 25062: 2006 ; ISO 16982 • Permettent d’assurer la traçabilité et l’historiques des campagnes de test • Elaborées pour permettre la comparaison entre résultats de tests utilisateurs, et la capitalisation de connaissances relatives à l’utilisabilité des systèmes interactifs • Basée sur la norme US ANSI NCITS 354-2001 • Permet de standardiser le rendu des résultats de tests utilisateurs • Donne un exemple de cartouche de rapports et précise les informations minimales que ce type de rapport doit contenir • Propose une checklist pour le suivi de la complétude de la passation (p.5) et du rapport (pp. 25-29)

32. Méthodes pour les tests utilisateurs (ISO 16982)

33. Exemples de mesures Extraits de la norme 9241 -11

34. Méthodes : choix en fonction des caractéristiques des utilisateurs(ISO 16982)

35. Méthodes : choix en fonction des caractéristiques des tâches (ISO 16982)

36. L’utilisabilité épuise-t-elle la qualité ergonomique d’un système interactif ?… • Le respect des critères ergonomiques et de « bons » résultats à des tests utilisateurs garantissent-ils la qualité ergonomique d’un système ? • Même avec enrichissement des dimensions d’évaluation (apprentissage ; mémorisation) : incapacité à rendre compte de certains résultats • Ex : visioconférence vs. Audioconférence (Ohlson et al.) • Ex : échec commercial de certains produits grand-public • Ex : refus d’utilisation de sytèmes d’aide à la décision dans environnements critiques • Nouvelle étape : intégration des aspects économiques, esthétiques, émotionnels, interactionnels, liés à la confiance,… => « New usability » ; « User experience »

37. « New usability »ACM Transactions on Computer-Human Interaction, Vol.9, n°2, June 2002 • Evolution du statut de l’utilisateur • User ---> Digital consumer (plus complexe à appréhender) • Extension des domaines d’application • Environnements domestiques • Ludo-éducatif, Loisirs • Extension des domaines technologiques • Terminaux mobiles (cadre classique de l’interaction modifié) • Intelligence ambiante (problème de l’attention, de l’interaction incidente et implicite) • Informatique ubiquitaire • Extension de l’empan temporel de l’évaluation • Appropriation • Usages émergents • «Innovation ascendante»

38. « User Experience »Behaviour & Information Technology, Vol.25, n°2, 2006 • Approche holistique • équilibre entre les aspects pragmatiques liés à l’accomplissement d’une tâche et les aspects indépendants de la tâche (« hédoniques ») • Réintégration de dimensions esthétiques, émotionnelles, développementales, sociales,… • La situation (caractère « ici et maintenant » de l’expérience devient l’unité pertinente d’analyse) • Focus sur le « subjectif » (vs. « objectif » de la usability traditionnelle) oriente le choix des méthodes et des paradigmes de référence (psycho-sociologie, micro-sociologie, phénoménologie plutôt que psychologie cognitive) • Accent sur le « + » plutôt que sur le « - » • Reconnaissance de la variation dynamique des critères (ex : centration sur les objectifs liés à la tâche puis sur incitation à l’exploration) • Equilibre « harmonieux » entre l’intérêt de l’utilisateur et l’intérêt commercial de l’entreprise (faire intervenir le jugement de tiers dans l’évaluation)

39. « New usability » et « User experience » • Caractère inapproprié des approches classiques de usability engineering • Situations de laboratoire vs. études de terrain • Paradigme HCI classique (1 ordinateur+1 utilisateur dans un lieu fixe interagissant de manière intentionnelle et visible) vs. nouveaux paradigmes (appliances disséminées dans l’environnement interagissant de manière implicite ou incidente avec plusieurs acteurs) • Echelle de temps différentes • Multi-dimensionnalité de l’utilisabilité (de l’utilisateur professionnel au consommateur numérique) : intérêt (« value ») de l’interaction est de nature variable (plaisir dans l’interaction, réalisation rapide d’un objectif, émotion esthétique, acquisition de connaissances,…)

40. Méthodologie d’évaluation « enrichie » • Modifications des dispositifs de recueil des données (ex : observation)

41. Méthodologie d’évaluation « enrichie » • Questionnaires • Tests psychotechniques/Grilles de personnalité • Entretiens • Recueil de commentaires sur l’expérience d’interaction

42. Entretiens d’Explicitation et d’Autoconfrontation • Verbalisations consécutives à l’activité • Sans traces : Explicitation • Guidage par l’intervieweur : focalisation et relances sur les points importants ; techniques d’entretien spécifiques • Assistées par les traces : Autoconfrontation • Eviterles rationnalisations a posteriori (justifications) • Relances adaptées pour éviter ce type de biais

43. Méthodologie d’évaluation « enrichie » • Questionnaires • Tests psychotechniques/Grilles de personnalité • Entretiens • Recueil de commentaires sur l’expérience d’interaction • Délégation du recueil de données aux sujets (diary reports, scrapbooks,…)

44. Limite actuelles de la notion de « user experience » • Approche pré-théorique (voire a-théorique…) • Pas de concepts et de langage de description ancrés dans un arrière-plan théorique • Quelques candidats possibles • Théories instrumentales de l’Activité : accent sur le « développement » psychique du sujet ; ré-actualisation dans le concept « d’extension du pouvoir d’agir » • Psycho-phénoménologie et neuro-phénoménologie (en liaison avec les travaux sur la conscience) • Développement de méthodes dédiées • Démonstration systématique de l’intérêt des évaluations basées sur l’UX et lien avec les problématiques de « qualité »

45. Documents associés au cours • Norme ANSI NCITS 354 - 2001Common Industry Format for Usability Test Reports (CIF).Similaire à la norme ISO/IEC Exigences de qualité et évaluation du produit logiciel (SQuaRE) - Formation commun de l’industrie (CIF) pour les rapports d’essai et de rentabilité. • Critères Ergonomiques de Bastien & Scapin, 1993 (rapport INRIA) • Norme ISO 13407Processus de conception centrée sur l’opérateur humain pour les systèmes interactifs • Norme ISO/TR 16982Méthodes d’utilisabilité pour la conception centrée sur l’opérateur humain

46. Les ouvrages de Don Norman • Le site de Jakob Nielsen http://www.useit.com/jakob/index.html