7. Eyetracking - Remote brugertest

1. 7. Eyetracking - Remote brugertest ITU F2008

2. Udførelse: Hvordan foregår det? • Som en brugertest, dog er testperson og moderator fysisk adskilt Modereret • Tele-/web-konference, desktop sharing • Tænke højt metoden – mere kvalitativt Umodereret • Krydsning mellem online survey, usability test og logfilanalyse • Pop up/dialog boks • Skema (profil, intention …) • Opgave eller testspørgsmål • Skema (oplevelse, udbytte, tilfredshed) • Automatisk – kun kvantitativt

3. Hvorfor lave remote test? Modereret • Spare udgifter til rejse, lokaler, udstyr • Spare projektets tid • Nå ud til fjerne målgrupper, afdække kulturelle forskelle i brugeroplevelsen Umodereret • Ovenstående • Kvantitet! • Udnytte nye teknologiske muligheder • Etablere nye måder at indsamle data online

4. Eksempel: UserVue

5. Fra UserVues egen beskrivelse • Invite Participant and Observer(s) • Use Free Integrated Phone Service to Call Participant • View and Record Participant's Screen • Mark Important Moments • Analyse: • Easily calculate time on task, error rate, and other common measurements. • Edit and create highlight videos to focus on points of interest.

6. Et par alternativer • Lad brugeren overtage moderators skærm • Fordelen er at man kan have en lokal prototype • Ring over telefon eller Internet • Sikrer kontakt ved tekniske problemer

7. Gatherplace.net

8. Gatherplace.net

9. Eksempel på umodereret

12. Forrester Report, december 2003-Best Practices For Remote Usability Testing Resume: • When implemented correctly, remote usability tests combine scenario-relevant feedback and clickstream data to help site managers detect and quantify design flaws. Problem: • Sites still don't meet users' goals. • Web analytics can't tell what customers are trying to do. Løsning: • Automated remote usability studies combine different testing approaches. • There are many options for remote usability tests. • One choice: whether user goals are assigned or unassigned. • Remote usability tests can help compare design alternatives. Anbefaling: • Assemble a portfolio of testing methods.

13. Problemstillinger Modereret • Besvarer hvad brugerne gør og hvordan de gør og lidt hvorfor • Ift almindelig test: færre data • Toncentrations mangel • Tekniske begrænsninger (fx Internet OG telefon samtidig) • Derfor ikke så udtømmende og detaljerede resultater Umodereret • Besvarer hvad brugerne gør og hvordan de gør men ikke hvorfor • Kan ikke overværes undervejs • Kvantitativ undersøgelse • Ufleksibelt • Man kan ikke probe videre på fund eller resultater • Svarkategorier/-mulighederne – tager de højde for brugernes situation? • Åbne svar-muligheders begrænsede værdi • Selvrapporterede problemers begrænsede værdi

14. Andre fordele og ulemper • Det er ideelt til: • E-commerce web sites • Large, informational web sites • Web Applications • Intranets • Det er problematisk ved: • Highly secure client/server applications • Handheld Apps or other products with a significant hardware component • (requires observation of physical interactions) • Test sessions lasting three hours or longer • Projects where the client wants to physically observe the users

15. Metodiske usikkerheder • Teknisk • Svigtende forbindelse eller systemfejl • Dårligt forbindelse eller båndbredde • Forsinkelser eller ”hakken” • Personlig computer eller testmiljø • Integrerede eller adskilte støttesystemer • Menneskeligt • Kulturelle eller sproglige udfordringer • Koncentration! • Fokus og nærvær

17. Ressourcer og udbydere • www.leotrace.com • www.userzoom.com • www.gatherplace.net • www.webex.com • www.netopia.com • www.techsmith.com • Se også http://remoteusability.com/

18. Eyetracking

19. Yarbus 1967 Task description: 1. Free examination 2. Estimate material circumstances of family 3. Estimate ages of people 4. What the family has been doing before the arrival 5. Remember clothes 6. Remember positions of people and objects 7. Estimate how long the visitor has been away Tidligt studie af ”task”

20. Eyetracking i 90’erne

21. Udførelse • Ikke-forstyrrende måleudstyr bygget direkte ind i skærm • Infrarødt lys sendes mod ansigtet • Reflektioner fra øjet optages af intrarødt kamera • Fikseringspunkter optages 50-120 gang pr. sekund • Observatører kan ”live” følge øjenbevægelser • Efterfølgende analyse kan give en række visualiseringer

22. Heatmap

23. Fikseringstid og rækkefølge (Gazeplot)

24. Video… (3:00 og frem)

25. Begrundelse for at bruge eyetracking i usability • Øjenbevægelser mod fine detaljer i omgivelserne • Mental proces (eye-mind hypotesen)

26. Begreber i eyetracking • Fiksering: Når øjet fokuserer på samme punkt (ca.100 ms. for at registrere noget kognitivt) • Dvæletid: Når øjet ”dvæler” ved et område i længere tid, eks. en serie af fikseringer. • Sakkader: Små justeringer af øjet imellem fikseringerne (20-35 ms.) • ”Stay or go”-beslutning indenfor 5-10 sekunder på samme forside, hjemmeside, reklame etc. • Søgning og scanning inden vi begynder læsning

27. Pop-up effekt

28. Blikfangere • Kontraster (brud) i størrelse,mætning, farver, form, tekstur, position (2d og 3d) • Usædvanlige objekter - overraskelse, konflikt, nyhed, tvetydighed • Kompleksitet • Ansigter • Bevægelser (særligt perifert syn)

29. Hvorfor eyetracking? Tilbyder mere end andre metoder: • Hvad lægger brugerne/seerne mærke til? • Hvad lægger de ikke mærke til? • I hvilken rækkefølge og hvor meget? • Både kvantitativ og kvalitativ analyse • Skelne opmærksomhed / forståelse / handling • Måle kognitiv indsats (belastning / engagement) • Måling af emotionel respons

31. Nyere studier http://www.poynterextra.org/eyetrack2004/index.htm

32. Eyetrack III • Tekst - ikke billeder - er indgangen (til forskel fra aviser) • Lille tekst læses - stor tekst scannes • Overskrifter og underrubrikker/manchetter fikseres i venstre side - her skal der være interessante ord for at få læseren til at gå videre i teksten

33. Googles Golden Trangle

34. F-mønsteret

35. Visuel søgning (hvor?)

36. Engagement (hvor meget?)

40. Do we need eyetracking? • Brugerne kan huske op til 70% af hvad de faktisk kiggede på – selvrapportering har fordele • Designere kunne kun forudsige 46% • Logo fanger markant mindre en fotos • Brugere kan ikke huske rækkefølge • Der kan være noget at hente fra quick-n-dirty metoder

41. I detaljen gemmer sig information…

42. Open what?

43. Eyetracking: Made Cheap iComponent Mousetracking

44. Spørgsmål til en metode • Reliabilitet og validitet • As in: Reliable=Troværdig og Valid=Gyldig • Reliabilitet: Får metoden troværdig sådan at de data vi får fra den er til at stole på? • Validitet: Er metoden gyldig til at opfange de spørgsmål vi søger besvaret, eller får vi reelt svar på noget helt andet? • Tænk over det ift. iComponent og øvelse

45. Næste uge, besøg hos KMD • ITU betaler transport til og fra KBH’s HBG • Vi starter hos KMD, indgang syd, kl. 17 præcis • Program til kl. 19 og derefter lidt fælles hygge • Vi deler jer i to grupper • Vi udpeger en gruppe der skal lave brugertest i hver gruppe (Charlotte) og en grupper der stiller testperson til rådighed. • Disse grupper skal udvælge testleder og logger. • Vælg nogen der ikke har prøvet det og ikke har erfaringer med det. • Alle andre skal også deltage som loggere…