Metoder til usability-evaluering

1. Metoder til usability-evaluering Jan Stage Professor, PhD Forskningsleder i Informationssystemer (IS)/Human-Computer Interaction (HCI) Aalborg Universitet, Institut for Datalogi, HCI-Lab jans@cs.aau.dk

2. Oversigt • Introduktion • MAUSE-projektet • Klassiske metoder • Moderne metoder • Opsummering 2

3. Oversigt • Introduktion • Metoder • Praksis • MAUSE-projektet • Klassiske metoder • Moderne metoder • Opsummering 3

4. Metoder til usability-evaluering

5. To undersøgelser af forhindringer i praksis • Primært Nordjylland • Software-virksom-heder, typisk svar fra mellemledere • Deltagere i en-dages konference om usability • Tallene angiver procent af svarene i hver undersøgelse Første undersøgelse Anden undersøgelse

6. Oversigt • Introduktion • MAUSE-projektet • Projektets formål • Review, report and refine (R3UEMs) • Typer af evalueringsmetoder • Klassiske metoder • Moderne metoder • Opsummering 6

7. MAUSE-projektet • Financieret af EU under COST programmet • Førende forskere inden for usability-arbejde fra det meste af Europa • Resultater inden for: • Måling af kvalitet af interaktive systemer • Definition og måling af user experience • Nytteværdi af usability-evaluering (downstream) • Samspillet mellem software-udvikling og usability-evaluering • http://www.cost294.org/

8. Review, Report and Refine (R3UEMs) • Katalog over eksisterende metoder til usability-evaluering • Baseret på en overordnet opdeling: • DGMMData Gathering and Modelling Methods • UIEMUser Interactions Evaluation Methods • CMCollaborative Methods • http://141.115.28.2/cost294/upload/522.pdf 8

9. DGMM Data Gathering and Modelling Methods (1) • Used for gaining knowledge about users and their activities and provide representations of these • Two subcategories: • DGM • Data Gathering Methods • Focus on ways to gather knowledge about the relevant characteristics of the users, tasks and contexts in which interactive systems are being used • Examples of methods: • Surveys (users, tasks, contexts) • Think aloud (about the the way a work task is carried out) • Card sorting (key concepts and their relations)

10. DGMM Data Gathering and Modelling Methods (2) • MM • Modelling Methods • Often associated with specific data gathering methods • Provide, at various levels of detail, with variable underlying models and languages, an accurate representation of users and their activities • Examples of methods: • Personas • Task models • Scenarios • Use cases 10

11. UIEM User Interactions Evaluation Methods (1) • Explicitly targeted towards evaluation • Two subcategories: • KMbM • Knowledge- and Model-based Methods • Analytical and not necessarily requiring direct access to users • Three categories: • Expert evaluation: inspection based solely on the evaluator’s knowledge and experience – Examples: expert inspection or walkthrough • Document-based evaluation: inspection based on some guiding documents, at various degrees of precision – Examples: heuristic evaluation or walkthrough • Model-based evaluation: inspection based on some theoretical models, usually cognitive – Example: cognitive walkthrough

12. UIEM User Interactions Evaluation Methods (2) • EM • Empirical Methods • Can only be used after some form of interaction design is available • Direct acces to end-users is mandatory • Example: classical user testing 12

13. CM Collaborative Methods • Referred to as “creativity methods” • Require the active participation of the users in the evaluation or design • Rely on various forms of organisation and communication • Examples: • Cooperative user testing • Cooperative user testing research

14. Oversigt • Introduktion • MAUSE-projektet • Klassiske metoder • Bruger-baseret tænke-højt test (EM) • Ekspert-baseret heuristisk inspektion (KMbM) • Erfaringer • Moderne metoder • Opsummering 14

15. Bruger-baseret tænke-højt test (EM) Fordele: • Giver ”meget stærk oplevelse” • Meget præcis problempåpegning • Giver indtryk af brugerens ”mentale model” • Kan gennemføres tidligt i systemudviklings-processen • En bruger løser en række realistiske opgaver ved hjælp af systemet • Brugeren "tænker højt" imens: • Beskriver intentioner • Forklarer handlinger • Udtrykker forståelse • En testleder observerer og spørger, når brugeren glemmer at tænke højt • Testlederen griber ind eller hjælper, når testpersonen er gået i stå Ulemper: • Unaturlig situation • Testlederrolle meget svær • Omfattende analysearbejde • Fokus på “novice-brugere” • Systemet testes på opgavernes præmisser • Designere påvirkes stærkt • Meget stresset situation for brugeren

16. Ekspert-baseret heuristisk inspektion (KMbM) • Eksperterne arbejder individuelt og noterer problemer ud fra en checkliste (heuristikker) • Scenario med relevante opgaver kan strukturere processen • Systemet gennemgås to gange: • Fokus på helhed og umiddelbare indtryk • Fokus på detaljer såsom funktioner i forhold til opgaver • I fællesskab udarbejdes en samlet problemliste Eksempel på checkliste: • Enkel og naturlig dialog • Tal brugerens sprog • Minimer krav til hukommelsen • Sørg for konsistens • Giv feedback • Lav tydelige udgange • Lav genveje • Giv konstruktive fejlmeddelelser • Forebyg fejl 16

17. Erfaringer • Bruger-baserede (EM empiriske metoder) • Eksempel: tænke-højt med en typisk bruger • Styrke: problemerne er oplevede, og deres alvor kan vurderes • Svaghed: tidskrævende at forberede og gennemføre100-200+ timer over 4-6 uger • Ekspert-baserede (KMbM viden- eller modelbaserede metoder) • Eksempel: heuristisk inspektion udført af en HCI-ekspert • Styrke: kan gennemføres hurtigt og fjerne ”bommerter” • Svaghed: mange falske positiver

18. Oversigt • Introduktion • MAUSE-projektet • Klassiske metoder • Moderne metoder • Målsætning • Eksempler • Opsummering 18

19. Aktiviteter i en usability-evaluering • Form: formative/summative • I udviklingsprocessen: • Eksplorativ • Vurdering • Validering • Sammenligning • Deltagere og roller • Sted og udstyr • Testplan: • Formål • Hovedspørgsmål • Brugerprofil • Deltagere og roller • Testmetoder • Opgaver • Kontekst og udstyr • Dataindsamling • Formidlingsform Opgavedefinering Planlægning Forberedelse Udførelse Fortolkning Formidling • Genskabelse af kontekst • Informering af deltagerne • Fordel roller i teamet • Klargør udstyr • Opgaveudarbejdelse • Fremstilling af materialer • For hver deltager: • Introduktion • Opgaveløsning • Dataindsamling • Logning • Debriefing • Tidsforbrug • Videoanalyse • Transskribering af logfiler • Identifikation af problemer • Kategorisering af problemer • Rapport (komplet) • Rapport (fokuseret) • Redesignforslag • Redesign workshop • Observation • Multimedia præsentation

20. Moderne metoder • Moderne metoder er typisk udviklet for at finde løsninger, der fjerner eller reducerer vigtige forhindringer for usability-arbejde i praksis • Fire eksempler: • Alle fire giver metode(støtter udførelse) • Reducere tidsforbrugeti den ”dyreste” aktivitet • Inddrage udviklerne • Adgang til brugerne • Inddrage brugerne (ogreducere tidsforbruget)

21. Data analysis is the single most resource demanding activity IDA – right after the evaluation: Usability problems are documented Organized by a facilitator Significant reduction: 75-90% of effort Almost the same number of problems are identified 1. Reducere tidsforbruget 21

22. 1. Instant Data Analysis (IDA) Antal fundne problemer: Tid brugt på analyse: IDA = 11.5 t., Video = 59.75 t. Instant Data Analysis kan: Hjælpe evaluatorer til at identificere de mest kritiske og alvorlige usability-problemer oplevet af testbrugerne. Udføres på kun 20% af tiden sammenlignet med traditionel videoanalyse Reducere “støj” skabt ved kosmetiske og unikke usability-problemer

23. Udviklerne kan trænes i usability-evaluering Første forsøg et forløb på10 x 4 timer (40 timer) Mere fokus på problemidentifikation Nu et revideret forløb på(40 timer): 2 dages undervisning 1 dags øvelse 1 dags evaluering med coaching 1 dags dokumentation Udviklet et værktøj til identifikation og kategorisering af usability-problemer 2. Inddrage udviklerne 23

24. 3. Adgang til brugerne Remote usability-evaluering er en situation hvorevaluatorerne er adskilt fra brugerne i tid og/eller rum (Castillo, Hartson og Hix, 1998) Remote synkron: Testleder og bruger er fysisk adskilt med realtids-observation af brugere Data indsamles via webcam, mikrofon og screen capture software og analyseres efterfølgende, som var det en traditionel test Fordele: Billigt teknisk udstyr Testpersoner/testleder behøver ikke befinde sig samme sted Brugerne kan bedre lide det end almindeligt lab Samme performance som lab-test med videoanalyse

25. Often difficult to organize an evaluation Use the Internet as the laboratory Synchronous performance is comparable Asynchronous requires significantly less effort (about 15%) as the users are testing Remote synkron evaluering

26. 4. Inddrage brugerne Remote Asynkron Evaluering: Testleder og bruger er fysisk adskilt Brugerne modtager korte instruktioner og udfører testen uden testleder Ingen direkte observation af brugerne Data indsamles via en webformular (f.eks. kvalitative problembeskrivelser) Indrapporterede problemer filtreres og bearbejdes efterfølgende Fordele: Simpelt setup (ingen kameraer mv.) Testbrugere behøver ikke at være fysisk til stede Brugerne genererer selv data

27. Remote Asynkron: Resultater 62 usabilityproblemer identificeret i alt RA finder 50 % af de kritiske problemer Tidsforbrug

28. Oversigt • Introduktion • MAUSE-projektet • Klassiske metoder • Moderne metoder • Opsummering 28

29. Metoder til usability-evaluering • Katalog over eksisterende metoder: • Data Gathering and Modelling Methods • User Interactions Evaluation Methods • Collaborative Methods • Beskrivelse af klassiske metoder • Bruger-baseret tænke-højt test (EM) • Ekspert-baseret heuristisk inspektion (KMbM) • Eksempler på moderne metoder • Reducere tidsforbruget i den ”dyreste” aktivitet (IDA) • Inddrage udviklerne (Træning i usability evaluering) • Adgang til brugerne (remote synkron) • Inddrage brugerne – og reducere tidsforbruget (remote asynkron)