Méthodes et outils pour la démarche expérimentale Séance 2

1. Méthodes et outils pour la démarche expérimentaleSéance 2 Nadine Mandran Formation doctorants Janvier 2011

2. Aujourd'hui • Rappel : Hypothèses – Valeur ajoutée – Cible – Qualitatif vs Quantitatif • cours : - les familles de mesures - méthodes usuelles - objectif - cible  – biais - construire un protocole expérimental • pratique : Construire un protocole et les phases associées

3. Des mesures ? Par rapport à des perspectives futures • Besoins : Situation de manque ou prise de conscience d'un manque, mettre fin à un manque • Attentes : Action de compter sur quelque chose ou quelqu'un, sans notion de temps Par rapport aux capacités de l’outils perçus par l’utilisateur • Acceptabilité : Ensemble des conditions qui rendent quelque chose acceptable; Donner son consentement ou son assentiment à ce qui est offert, à ce qui arrive; agréer qqn. • Utilisabilité : norme iso9241 : « le degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction, dans un contexte d’utilisation spécifié ». • efficacité : le produit permet à ses utilisateurs d’atteindre le résultat prévu ; • efficience : atteint le résultat avec un effort moindre ou requiert un temps minimal ; • satisfaction : confort et évaluation subjective de l’interaction pour l’utilisateur. Par rapport aux capacités de l’outils non perçus par l’utilisateur • Perception • Connaissance • Mémorisation • Apprentissage / Appropriation

4. Des mesures Par rapport à utilisateur de manière intrinsèque • Comportement : Manière d'être ou d'agir d'une personne, psychologie : • Ensemble des réactions observables chez un individu placé dans son milieu de vie et dans des circonstances données. (behaviorisme) • Attitudes : un ensemble de réactions cohérentes, formation de systèmes et de manière de penser (Adorno, la personnalité autoritaire) , Phénomène latent. • Représentations mentales : (sciences cognitives) une représentation que l'on se fait, par la « pensée » d'une image, d'un concept ou d'une situation. Une représentation mentale peut être de l'ordre du réel ou du fictif. Par rapport aux usages de l’outil actuel ou futur • Usages : “ Pratique sociale que l’ancienneté ou la fréquence rend normale dans une culture donnée / (Dictionnaire de sociologie, Seuil, 1999, p.556) « les us et coutumes » • Usage : Fait de se servir de quelque chose, d'appliquer un procédé, une technique, de faire agir un objet, • selon sa nature, leur fonction propre afin d'obtenir un effet qui permette de satisfaire un besoin. • Utilisation : manière d’utiliser • Pratiques : Manière habituelle d'agir avec un objet, un concept, …..

5. Des mesures ? Acceptabilité Utilisateur Capacité de l’outil Usage par rapport à l’existant ou au futur Comportement Utilisabilité : • Efficience • Efficacité • Satisfaction Attitudes Usages Usage Perspectives Utilisation Pratiques Besoins Attentes Contexte socio-économique/industriel Formation démarche expérimentale - Marvelig - 2010

6. Des mesures ? Usage Usages Utilisation Pratiques Attentes Comportement Satisfaction Besoins Efficience Attitudes Efficacité Acceptabilité Contexte socio-économique/industriel Formation démarche expérimentale - Marvelig - 2010

7. La démarche qualitative Bla bla…. Bla bla…. • Comment ? • Mode de recueil ouvert, qui privilégie le spontané • Guider les séances avec une grille qui sera la trame. • Quoi ? • Audio, • Vidéo • Des dessins, • Des photos, • Des carnets de bords • Post-it • Des questionnaires (effectif faible)….

8. La démarche qualitative Bla bla…. Bla bla…. • Les critiques • Le nombre de sujets restreint • Un matériel lourd à exploiter • Des critères d’analyses « subjectifs » • Les réponses • Le qualitatif permet d’accéder au sens (Duyck, 2003) et/ou aux représentations. • La manière d’appréhender des notions inconnues • Permet de connaître en profondeur et avec précision, la durée de l’entretien • Effectif restreint mais des sujets connus • Des outils d’analyses systématiques (caqdas et analyse de discours, de contenu) • Pour des étapes de validation, plus proche du comportement

9. La démarche qualitative le matériel expérimental • Guide d’entretien : ensemble d’une suite de questions ouvertes • Guide d’animation : un ensemble d’activités organisées et minutées, des consignes claires, affichées. • Un carnet pour prendre des notes • Enregistreur, logiciel (Audacity), Caméra • Des maquettes, des prototypes • Des photos, des objets • Papier, feuilles tableau blanc, crayons, post-it, des gommettes …

10. La démarche qualitative : Les méthodes • Entretien semi- directif • Entretien en face à face • Guidé par une grille d’entretien élaborée au préalable • Environ 1h à 1h30 • Enregistrement audio • 20 sujets • Focus-group ou réunion d’utilisateurs • Séances de travail en groupes • Guidé par une grille d’animation • Organisation d’activités • Environ 2h à 2h30 • 3 focus de 8 personnes

11. Activités • Questionnaire de pratiques • Questionnaires de suivi • Questionnaire de synthèse • Faire faire des schémas d’interface • Des tris thématiques • Des représentations (une organisation) • Portrait chinois • Faire des discussions pro et anti • Des débats … • Faire des jeux de rôles • Grilles points forts/points faibles • Brainstorming silencieux • Diagramme des affinités • Diagrammes des relations • Classement des activités (vote, est nécessaire de ) • Imaginer ….. La démarche qualitative

12. La démarche qualitative : Les méthodes • Observation participante • Appartenir à un groupe, une entreprise • Annoter soi-même • Histoire de vie • Faire raconter une histoire qui s’est passée lors de l’utilisation de • Faire émerger les difficultés • Journal de bord et « Social probes » • Cerner les habitudes par le quotidien • Capturer ce qui forme le quotidien (maison, entreprise,…. ) 13 Octobre 2009 Conférence IHM 2009, Grenoble.

13. La démarche qualitative : Les méthodes • Tests par maquette • Avoir des produits, des concepts • Faire une maquette cliquable ou non, voire un prototype • A inclure dans un entretien • Peut permettre de capturer les traces • Magicien d’oz • Faire utiliser un outil, une application qui n’existe pas • Une personne simule l’audio, l’écrit …. • L’utilisateur peut réagir de manière naturelle • …

14. La démarche qualitative Autres techniques • Technique des incidents critiques • La technique consiste à établir un recueil systématique des dysfonctionnements à partir d’entretiens avec les utilisateurs et des observations conduites en situation écologique. Les incidents sont décrits sous formes de courts récits. • Technique de l’information à la demande • Le principe consiste à demander à l’utilisateur d’effectuer certaines opérations, en lui supprimant l’accès à certaines informations qui lui permettent réaliser son activité. Quand l’utilisateur a besoin d’une information, il la demande de manière explicite et l’expérimentateur lui fournit.  • Technique du rappel impromptu • Cette technique est recommandée pour l’étude de problèmes de présentation d’information et pour l’évaluation d’interface homme-machine. La technique consiste à interrompre l’utilisateur pendant l’activité en lui demandant d’effectuer un rappel sur les étapes du processus qu’il vient de mettre en place. • Technique du tri par cartes • Cette technique permet de découvrir comment les sujets organisent et catégorisent leurs items intervenant dans leur activité. On tente ainsi de déterminer la logique naturelle de l’utilisateur afin de la reproduire dans une IHM. Cette technique est particulièrement efficace pour l’analyse des problématiques experts/novices et pour la conception de site web. • Technique des jugements de proximité • Une des techniques spécifiques à la conception. La technique des jugements des proximités se fonde sur la notion de typicalité. C’est une forme de catégorisation dans laquelle un objet est défini par similarité avec un élément typique.  (97/100) • Technique du scénario : • Le scenario décrit une situation pour atteindre un but, que ce soit avec un système homme-machine ou non. La technique consiste à créer des scenarios fondés sur la présentation successive des supports matériels. Créer et jouer les scenarios permet de qualifier les réactions des utilisateurs potentiels. Il s’agit de comparer des comportements d’utilisateurs avec les comportements réels en situation d’interaction.

15. La démarche quantitative • Quand ? • Les questionnements et les thèmes à aborder sont connus. • Pour mesurer des actions faites sur une interface • Pourquoi ? Quantifier les comportements, les attentes ou les besoins au sein d’une population • Comment ? • Une enquête par sondage • Un questionnaire fermé lors d’une expé • Capture des traces lors de l’utilisation d’un logiciel • Capture de mouvements (gestuels, visuels, émotionnels, physiologique…. )

16. La démarche quantitative L’échantillonnage • Les quotas • Caler les résultats sur les données du recensement de la population ou sur des informations globales sur la population étudiée. • Le plus pratiqué car moins couteux • La méthode aléatoire • Tirer au hasard dans une base de sondage. • La probabilité d’inclusion d’un individu est connu sans biais. • Couteux car l’individu tiré au hasard ne doit pas être abandonné • L’exhaustivité (le recensement) • Avoir la totalité des individus ou des actions faites par les individus • Le plan expérimental • Le nombre de sujets est fixé a priori en fonction des facteurs expérimentaux

17. Démarche quantitativeNombre de sujets Individu statistique ou unité statistique • « La population statistique est l’ensemble sur lequel des méthodes et techniques de présentation, de description et d’inférence statistique sont appliquées. Il ne s’agit donc pas forcément d’une population au sens biologique du terme ». (J.Vaillant 2005) • « Population et individus : La population est l’ensemble des individus (ou unités statistiques) auxquels on décide de s’intéresser . Sa taille, habituellement désignée par N, est grande, ou même infinie. Le choix de la population étudiée dépend du problème qui est à l’origine de la démarche statistique, et de la façon dont on décide de le traiter. » (Vocabulaire de la statistique descriptive) • Exemples • l’action faite par un utilisateur : • 3 utilisateurs et 600 actions : 1800 individus statistiques • Le diagnostic établi par un enseignant pour un élève • 10 diagnostics * 4 enseignants * 20 élèves : 800 individus statistiques

18. La démarche quantitativeLes données • Les variables indépendantes ou facteurs ou explicatives • Celles qui sont fixées avant l’expérimentation • Deux classes d’âges (lycées et collégiens) • Le niveau d’accès des étudiants à un tuteur virtuel • Les variables dépendantes ou à expliquer • Celles qui seront mesurées • Temps de réalisation des exercices • Les indicateurs • Celles qui sont construites après • Ratio temps de réalisation de l’exercice i / temps total de réalisation

19. La démarche quantitativeLes variables • Les variables qualitatives ou nominales • Genre (Homme, Femme) • Diplôme (Bep, BAC, Bac+2, …) • Les variables quantitatives continues • Age • Temps d’une action • Nombre de réussites ou d’erreurs • Taille • Les mesures répétées danger … • Les variables quantitatives ordinales • Notation • Niveaux d’utilisation d’un logiciel • Echelle de satisfaction • Age en classes • Les variables séquentielles • Les séries chronologiques

20. Démarche quantitativeLe plan expérimental • A partir des hypothèses à tester • Identifier les facteurs • Identifier les variables • Dénombrer le nombre d’individus • Exemple de plan : Utilisation de Copex Chimie (C.d’Ham et I.Girault, Metah) • 120 étudiants en 1ère année de physique, répartis en 5 groupes • Facteurs : les niveaux d’accès au tuteur et à la description • full accès - accès limité - description limitée – accès et description limités – no tutor - pas de logiciel • Variables : l’accès aux leçons et les erreurs commises (50 variables), le temps de la session • Indicateurs : Les 50 variables sur le temps de la session • Les  « pas de logiciel » : groupe contrôle

21. Les biais • « Si les hommes définissent des situations comme réelles, alors elles sont réelles dans leurs conséquences. » Théorème de Thomas W.I Sociologue (1863-1947) • Nos comportements s’expliquent par la perception d’une réalité et non par la réalité elle-même. • Exemple Banque en faillite • Rosenthal, psychologue : effet Pygmalion • Expériences des rats

22. Les biais Contrôle • En expérimentation, avoir un groupe contrôle et un groupe à tester => Alfonso • Recréer une situation contrôle versus une situation test => Ansem et Luz Maria Didacticiens : pré test, exercice, post test, test lointain => mesures des pratiques, formation à la méthode, utilisation de la méthode, mesure d’utilisabilité , mesure de connaissance • En exploratoire ?

23. Les biais Principaux • Défaut d’attention • Effet de récence : mieux se souvenir des évènement récents • Effet de primauté : mieux se rappeler des 1ers éléments • Ancrage mental : effet de la 1ere impression - Conformité sociale : chercher à adhérer à la majorité • Complaisance expérimentale : vous faire plaisir • Biais de cadrage : influence de la présentation du sujet • Suggestion : insuffler des idées au participants • Dissonance cognitive : être en accord avec ses actes, réinterprétation d’une situation • Biais de représentativité : mauvais choix des cibles, manque de diversité ou trop, effectif • Charge de travail et lassitude …

24. Comment faire ? • Débroussailler, explorer, valider … • Le matériel à disposition est identifié • Les hypothèses sont formulées • Lister les phases pour chaque hypothèses • Lister les méthodes les plus appropriées • Lister les grands thèmes à aborder par les méthodes

25. Cocoon, Fatou Camara IIHM/FT • Objectif IHM : construire un arbre de vie augmenté sur mobile et PC • Hypothèses : L’augmentation des réseaux sociaux tend à faire disparaitre les frontières entres les sphères sociales • Explorer, valider • Utilisation des outils de communication • Utilisation des Réseaux sociaux • Deux maquettes à disposition • Améliorer les maquettes

26. Cocoon, Fatou Camara IIHM/FT • Utilisation des outils de communication • Utilisation des Réseaux sociaux • Entretiens qualitatifs sur l’utilisation de réseaux sociaux et des outils de communication • => Sphères disjointes => en fonction du contenu • Quels contenus ? Quels partages ? => un questionnaire auprès de 200 personnes • Deux Maquettes à disposition • Tester en entretiens • Améliorer les maquettes • Des focus group

27. A votre tour … • A partir de votre problématique • Etablir un premier protocole • Lister les phases et ensuite les méthodes les plus appropriées • Organiser ces phases les unes par rapport aux autres : grilles d’animation • A Partir d’un exemple • Objectifs : • Connaître les habitudes et les comportements des personnes pour organiser d’un point de vue intelligence ambiante leur espace familial • Mesurer leur manière de programmer certains outils du quotidien, les outils informatiques mais surtout les appareils qui font partie de leur quotidien • Faire émerger/expliciter les moyens de communication existants dans la famille • Faire un état des technologies actuelles en intelligence ambiante et mesurer la distance entre l’existant et le connu par le grand public • Connaitre leur utilisation du prototype créé • Comment feriez vous ? • PENSEZ A VOUS METTRE A LA PLACE DES PARTICIPANTS A VOTRE EXPERIENCE