Kognitiivinen läpikäynti

1. Kognitiivinen läpikäynti Teemu Talja 58306103 Käyttöliittymien arviointimenetelmät Kevät 2006 Tietojenkäsittelytieteen laitos Helsingin yliopisto

2. Johdanto - kysymykset Tutkimuskysymykset • Mitä eroa simulointitestauksen tuloksiin verrattuna? • Mistä erot johtuvat? • Mitä ongelmia kognitiivisella läpikäynnillä ei löytynyt, mitä perusteellisessa käytettävyystestissä löytyi? • Samoilla tehtävillä ja käyttöliittymällä on tehty perusteellinen käytettävyystesti keväällä 2005 Kognitiivista läpikäyntiä koskevia omia epäilyksiä • Huomioiko analyysivaiheen kysymykset käyttäjän poissulkevan ongelmanratkaisustrategian? • Huomioiko analyysivaiheen kysymykset sommittelun ja visuaalisen fokuksen vaikutuksen? Kirjallinen tehtävänanto Suullinen tehtävänanto

3. Johdanto - taustateoriaa • Kognitiivisen läpikäynnin kysymykset on ymmärrettäviä kognitiotieteen laitoksen käytettävyyskurssien valossa (Donald Normanin tenttikirjat) • Onko Norman tuttu? • Normanilla on vankka tieteellinen tausta (kognitiotiede / kognitiivinen psykologia) • Norman on tutkinut teknologian aiheuttamia katastrofeja, esim. lentokoneonnettomuuksien syitä (human factors) • Helppolukuinen & provosoiva kirja: The design of everyday things, suomentaja nimennyt -> Miten avata mahdottomia ovia? • Onko kenelläkään huono näkö? • Kannattaa tulla eturiviin: pientä fonttia luvassa

4. Menetelmän esittely: yleiskuva Suunnittelijan malli Käyttäjän malli Käyttöliittymä Tavoitteet • Opittavuuden arviointi • Välittyykö suunnittelijan käsitys käyttöliittymän toiminnasta käyttöliittymän välityksellä käyttäjälle? (Lewis ja Wharton, 1997) • Hyödyllisyyden varmistaminen • Lewis ja Wharton (1997) lisäys menetelmään: suunnittelija korjaa käyttöliittymää, jos tehtävän suorittaminen ei muuten ole mahdollista Työvaiheet • Valmistautuminen • Määrittele käyttäjien tausta • Valitse tehtävät • Määrittele oikeat toimintosekvenssit • Korjaa käyttöliittymää jos on tarvis • Määrittele käyttöliittymän tilat toimintosekvenssin ajalle • Analyysi • 4 kysymystä • Kysymykset kysytään erikseen jokaisesta toimenpiteestä • Kirjaa toimenpiteisiin liittyvät ongelmat ja niiden syyt sekä taustatiedot, joita toimenpiteiden onnistunut suorittaminen edellyttää • Dokumentoi parannusehdotukset, joita analyysin aikana tulee mieleen • Jälkipyykki • Korjaa havaitut ongelmat Kaavio: Lähdettä Norman (1988) mukaillen

5. Menetelmän esittely: valmistautuminen Käyttäjien tausta määritellään tehtävä- kohtaisesti (Wharton et al, 1994) -> Taustan ja tehtävien määrittely muodostaa yhden työvaiheen - Määrittele käyttäjien tausta • Miten hyvin käyttäjät tuntevat käytettävät välineet (käyttöjärjestelmä, www-selain ym.)? (Lewis ja Wharton, 1997) • Millaisessa ympäristössä käyttäjä toimii? (Lewis ja Wharton, 1997) - Valitse tehtävät • Mitä käyttäjä tietää analyysin pohjana käytettävistä tehtävistä? (Wharton et al, 1994, Lewis ja Wharton, 1997) • Erittäin tärkeä vaihe (Lewis ja Wharton, 1997, s. 730) (Oikeiden tehtävien löytäminen on tärkeä vaihe kaikissa tehtäväpohjaisissa arviointi- ja suunnittelumenetelmissä?) - Määrittele oikeat toimintosekvenssit • Suunnittelija määrittelee oikean toimintosekvenssin (Lewis ja Wharton, 1997) • Vrt. simulointitestauksessa valitaan omasta mielestä paras toimintosekvenssi, jonka jälkeen kritisoidaan suunnittelijan mallia • Suunnittelija korjaa käyttöliittymää, jos tehtävän suorittaminen nykyisellä käyttöliittymällä ei ole mahdollista (Lewis ja Wharton, 1997) - Korjaa käyttöliittymää jos on tarvis • Käyttöliittymän alkuperäinen suunnittelija korjaa Määrittele käyttöliittymän tilat toimintosekvenssin ajalle • Tämä työvaihe on tarpeen jos kattavaa kuvausta käyttöliittymästä ei ole vielä olemassa

6. Esimerkkitapaus: valmistautuminen • Toimiva prototyyppi: Tapiolan yksityishenkilöille tarjoamat vakuutukset esittelevä konfiguraattori • Tuotetarjonta ei täysin vastaa Tapiolan todellista tarjontaa • Käyttöliittymä on Tapiolalle tehty demo Esimerkkidokumentti: Valmistautumisvaiheen muistiinpanot Sisällysluettelo Tuettavat tehtävät 1 Esimerkkitehtävä 1: Vakuutuksen ostaminen 1 Käyttäjien aiemmat tiedot tietokoneista 1 Käyttöliittymässä hyödynnetyt suunnittelumallit 1 Käyttäjien aiemmat tiedot tuettavista tehtävistä 1 Käyttäjän tiedot esimerkkitehtävässä 1 (Vakuutuksen ostaminen) 2 Käyttöympäristö 3 Oikeat toimintosekvenssit 4

7. Esimerkkitapaus: Tuettavat tehtävät • Järjestelmä on yleinen tietojärjestelmäkehys, joka tukee sopivan tuotteen löytämistä Esimerkkitehtävä 1: Vakuutuksen ostaminen • Olet juuri ostanut uuden, melko arvokkaan sähköbasson. Kuljetat bassoa paljon mukana keikoilla ja kaupungilla • Esineisiin on muutenkin kasautunut huomattava summa sinun ja puolisosi rahaa pidemmän ajan kuluessa • Asutte vuokralla Töölössä Miksi valitsin juuri tämän tehtävän? • Käyttöliittymä on sopivalla kypsyysasteella tehtävän kognitiivista analyysia varten (vrt. Lewis ja Wharton, 1997: ”Käyttöliittymän alkuperäinen suunnittelija korjaa käyttöliittymää, jos tehtävän suorittaminen ei muuten ole mahdollista”) • Keskityn demoissa analyysivaiheeseen • Tehtävän suorittaminen on mahdollista käyttöliittymän avulla • Sattumalta polulle ei osu suuria tehokkuusongelmia • Tehtävä on todellinen ja ongelmallinen tilanne vakuuttamisen kannalta • Taustalla omat ongelmat vakuutusasiakkaana

8. Esimerkkitapaus: Oikea toimintosekvenssi

10. Esimerkkitapaus: käyttäjien tausta (1/2) Käyttäjien taustan määrittelyssä kannattaa keskittyä melko lailla pieniin linjoihin; suuret linjat eivät vaikuta enää, kun toimintosekvenssi on kiinnitetty Käyttäjien aiemmat tiedot tietokoneista • Käyttäjien kokemus tietokoneista ja internetin käytöstä vaihtelee paljon. Voidaan olettaa, että surffailu netissä on käyttäjälle tuttua • Muuten käyttäjä luultavasti menisi vakuutusyhtiön palvelupisteeseen hankkimaan tietoa vakuutuksista Käyttöliittymässä hyödynnetyt suunnittelumallit • Wizard -tyyppinen käyttöliittymäratkaisu on ainakin puolille käyttäjistä tuttu • Käyttäjä olettaa wizard -käyttöliittymästä, että Seuraava-nappi siirtää seuraavaan näkymään ja kaikki näkymät tulevat lopulta käydyksi läpi mielekkäässä järjestyksessä Käyttäjän tiedot esimerkkitehtävässä 1 (Vakuutuksen ostaminen) (1/2) • Käyttäjä tietää, että harrastaa musiikkia ja kuljettaa bassoa paljon mukana keikoilla ja kaupungilla. • Käyttäjä saattaa olla ajatellut, että basso voi hajota näissä oloissa. • Käyttäjä tietää, että hänellä ja hänen puolisollaan on melko paljon arvokkaita esineitä. • Käyttäjä ei välttämättä tiedä, että hänen pitää valita itselleen kotivakuutus, kun haluaa vakuuttaa esineitä. • Käyttäjä tietää, että asuu vuokralla Töölössä kerrostalossa. • Käyttäjä tietää, että omaisuutta sijaitsee • Keikoilla • Kotona • Työhuoneella • Treenikämpällä. • Käyttäjä tietää, että hänellä on keikoilla yleensä mukana basso ja bassovahvistin sekä iPod-mp3-soitin ja Jatkuu...

11. Esimerkkitapaus: käyttäjien tausta (2/2) Käyttäjän tiedot esimerkkitehtävässä 1 (Vakuutuksen ostaminen) (2/2) • kannettava tietokone. Käyttäjä tietää, että keikalla soittimia säilytetään ennen keikkaa esiintymislavalla ja öisin keikka-autossa. • Käyttäjä tietää, mutta ei välttämättä muista juuri ko. hetkellä, että kotona on hänen omista esineistä yleensä pari sähköbassoa, sähkökitara, bassovahvistin, CD-levykokoelma ja kannettava tietokone. • Käyttäjä tietää, mutta ei välttämättä muista juuri ko. hetkellä, että kotona on hänen ja hänen puolisonsa yhteiset pöytätietokone, stereot, kirjat ja kodin irtaimisto. • Käyttäjä tietää, että työhuoneella on hänen ja hänen puolisonsa uudehko tietokone, jossa on printteri ja skanneri. • Käyttäjä tietää, että säilyttää bassovahvistinta ja soittimia usein treenikämpällä. • Käyttäjä tietää mutta ei välttämättä muista, että keikan jäljiltä soitinlaitteita voi olla äänentoistofirman varastossa. • Käyttäjä tietää mutta ei välttämättä muista, että hänen ja puolisonsa kamerat ovat yleensä kotona mutta että niitä kuljetetaan myös mukana. • Käyttäjä tietää mitä omistaa mutta ei osaa luetella omaisuuttaan puhtaalta pöydältä. Käyttäjä tietää suurin piirtein yksittäisten esineiden arvot, mutta ei omaisuutensa kokonaisarvoa. ( Käyttäjä omistaa kaiken kaikkiaan kolme sähköbassoa, sähkökitaran, kontrabasson, kaksi bassovahvistinta, kannettavan iPod -musiikkisoittimen, kannettavan tietokoneen, Nikonin vanhan järjestelmäkameran ja noin 500 CD-levyn kokoelman. Musiikkitarvikkeiden osuus on noin 8 000 euroa ja CD-kokoelman arvo noin 3 500 euroa. Käyttäjä tietää, että IPodin arvo on 400 euroa, kannettavasta tietokoneesta saisi nyt myytäessä 400-500 euroa ja Nikonin järjestelmäkameran arvo lisälaitteineen on 350-400 euroa. Esineiden arvo on yhteensä noin 13 500 euroa. ) • Käyttäjä tietää mitä arvokkaampia esineitä omistaa puolisonsa kanssa ja näiden esineiden arvot. Käyttäjä ei välttämättä muista ko. hetkellä, että omistaa paljon kirjoja ja muuta kodin irtaimistoa. Käyttäjä tietää yksittäisten esineiden arvot, mutta ei yhteisen omaisuuden kokonaishintaa. ( Käyttäjä ja hänen puolisonsa omistavat digitaalikameran, kaksi pöytätietokonetta, stereot ja aika paljon kirjoja. Käyttäjä tietää, että digitaalikameran arvo on 500 euroa, pöytätietokoneiden arvo on noin 600 euroa per tietokone ja stereojärjestelmä maksoi vuosi sitten ostettaessa 450 euroa. Käyttäjä ei tiedä, että kirjojen arvo divariin vietäessä olisi 1 300 euroa. Käyttäjä ei ehkä muista, että omistaa huonekaluja, astioita ja muuta normaalia kodin tarviketta. ) • Käyttäjä tietää mutta ei välttämättä muista ko. hetkellä puolisonsa yksityistä omaisuutta. Käyttäjä osaa arvioida puolisonsa yksityisten esineiden arvon. ( Myös hänen puolisonsa omistaa Nikonin vanhan järjestelmäkameran. Käyttäjä tietää, että Nikonin arvo lisälaitteineen on 300 euroa. ) • Käyttäjä tietää, että kotiovessa on murtolukko, mutta että sitä ei yleensä pidetä lukossa. Käyttäjä tietää, että kotona ei ole muuta erityistä turvavarustelua.

12. Menetelmän esittely: analyysivaihe • Tavoitteleeko käyttäjä oikeaa vaikutusta (oikeaa konkreettista muutosta)? Vrt. Norman (1988): luonteva kytkentä (mapping) käyttäjän tavoitteen ja oikean (seuraavan) toiminnon tuotoksen välillä Apukysymyksiä (Wharton et al, 1994, s. 115) a) Vastaako oikean toiminnon tuotos käyttäjän mielessä olevaa päämäärää? b) Jos ei: Valitsisiko käyttäjä kuitenkin oikean toiminnon, koska käyttöliittymä näyttää eksplisiittisesti, mitä tuotosta seuraavaksi pitää tavoitella? c) Jos ei: Valitsisiko käyttäjä kuitenkin oikean toiminnon hänelle tutun vakiintuneen toimintamallin perusteella? • Huomaako käyttäjä, että oikea toiminto on tarjolla? Vrt. Norman (1988): näkyvyys • Ymmärtääkökäyttäjä oikean toiminnon ja oikean vaikutuksen yhteyden? Vrt. Norman (1988): Luonteva kytkentä (mapping) oikean toiminnon tuotoksen ja sen ulkoasun välillä JA Ei luontevaa kytkentää (mapping) oikean toiminnon tuotoksen ja väärän toiminnon ulkoasun välillä Apukysymyksiä (Wharton et al, 1994, s. 115-116) a) Vastaako oikean toiminnon ulkoasu sen tuotosta? b) (Oikea vastaus on ei) Vastaako jonkin väärän toiminnon ulkoasu oikean toiminnon tuotosta? • Kun oikea toiminto suoritetaan, näkeekö käyttäjä että tehtävän suoritus edistyy? Vrt. Norman (1988): Palaute Apukysymyksiä (toiminnan seitsenvaiheisen mallin vaiheita 5-7 mukaillen (Norman, 1988)) a) Tapahtuuko käyttöliittymässä mitään näkyvää muutosta toiminnon suorittamisen jälkeen? b) Onko olemassa luonteva kytkentä (mapping) todella tapahtuneen muutoksen ja käyttäjälle näkyvän muutoksen (palautteen) välillä?

13. Esimerkkitapaus: analyysivaihe • Yhden tehtävän analyysin ei pitäisi kestää montaa tuntia (Lewis ja Wharton, 1997) • Analyysi tehtiin kahdessa sessiossa • Yksi sessio: • 2,5-3 tuntia • 20-25 toimenpidettä • vajaa 30 ongelman ilmentymää • n. 20 aidosti eri ongelmaa • Yleensä tehtävä ei vaadi 43 toimenpidettä kuten nyt analysoitu tehtävä?

25. 9.

26. 9. 10.

27. 9. 10. Toimenpiteiden 9 ja 10 kohdalla havaitut ongelmat

28. 9. 10. Onnistumistarinat

29. Demo: analyysivaihe • Hypättiin välivaiheita yli • Seuraavaksi toimenpide 42

32. Toimenpiteen 42 kohdalla havaitut ongelmat

33. Toimenpiteen 42 kohdalla havaitut ongelmat • Huom. Sama kysymys voi aiheuttaa monta erilaista epäonnistumistarinaa

34. Toimenpiteen 42 kohdalla havaitut ongelmat

39. Analyysivaihe: parannusehdotukset • Dokumentoitiin parannusehdotukset, joita analyysin aikana tuli mieleen

40. Menetelmän esittely: jälkipyykki Jälkipyykki <-> analyysivaiheessa havaittujen ongelmien korjaaminen • Jälkipyykin helpottamiseksi analyysivaiheen tuotoksissa tulee arvioida ongelmien laajuutta • Tässä seminaarityössä ei tehty jälkipyykkiä, koska asetettuna tavoitteena oli arvioida mitä ongelmia menetelmän avulla löytyy

41. Kognitiivinen läpikäynti: kommentteja • Kognitiivisen läpikäynnin valmisteluvaiheessa on paljon hyvää • Tehtäväkohtainen käyttäjän taustan määrittely on hyvä idea • ”Mitä käyttäjä tietää ko. tehtävästä?” • Toimiiko ”vain olennaisten” kohtien analysoiminen käytännössä? • Tietävätkö suunnittelijat etukäteen, missä kohtaa ongelmia löytyy? • Jos suunnittelija tietää, että jossain kohtaa on ongelma, eikö hän luultavasti tiedä myös mikä ongelma on – eikä tarvitse tämän ongelman löytämiseen mitään systemaattista arviointimenetelmää? • Jos kysymys aiheuttaa epäonnistumistarinan, kannattaa kysyä se uudestaan • Sama kysymys voi aiheuttaa monta erilaista epäonnistumistarinaa • Tässä käyttöliittymässä näin kävi ainakin 5 kertaa  • Kognitiivinen läpikäynti keskittyy oikean toiminnon keksimiseen (3 kysymystä) • Palautteen / tiedon tulkitseminen jää vähemmälle huomiolle (1kysymys) • Vain 10,5% ongelmista liittyi palautteeseen (kysymykseen 4), vaikka palautteen analyysin lisänä oli pari omaa apukysymystä

42. Kognitiivinen läpikäynti: menetelmän rajoituksia 1. Jos tehtävien valinta epäonnistuu, ongelmia ei löydy • Vakava tehokkuusongelma jäi huomaamatta • Jos käyttäjä valitsee monta henkilöä, jokaisen henkilön kohdalla pitää käydä samat kysymykset läpi • Jos käyttäjä valitsee kotivakuutukseen monta kohderyhmää, samat kysymykset pitää käydä moneen kertaan läpi • Ko. ongelmat löytyivät samalla tehtävällä käytettävyystestissä, jossa ”harhailu sallitaan” • Sama ongelma on kaikissa läpikäyntimenetelmissä? 2. Jos asiantuntija ei ole ammattitaitoinen, ongelmia ei löydy • Sama ongelma on kaikissa asiantuntija-arvioissa?

43. Kognitiivinen läpikäynti: Mitä eroa simulointitestauksen tuloksiin verrattuna? Löytyisivätkö viime viikon helmet.fi -ongelmat kognitiivisella läpikäynnillä ja simulointitestauksella? • Opittavuusongelmat löytyisivät vain kognitiivisessa läpikäynnissä • Hyödyllisyysongelmia löytyisi sekä kognitiivisessa läpikäynnissä että simulointitestauksessa • Tehokkuusongelmia löytyisi vain simulointitestauksessa Huom. Arvioin ”lonkalta”, mitä ongelmia helmetistä löytyisi kognitiivisen läpikäynnin kysymyksien avulla; en tehnyt systemaattista läpikäyntiä helmet.fi:lle vaan valitsemalleni Tapiola -järjestelmälle.

44. Kognitiivinen läpikäynti ja simulointitestaus: Miksi eri menetelmillä löytyy eri ongelmat? • Kognitiivinen läpikäynti ja simulointitestaus löytävät eri ongelmia, koska ongelmat • tunnistetaan niissä erilaisin mekanismeihin

45. Simulointitestausta koskevia kommentteja ja kysymyksiä • Missä työvaiheissa em. ohjeita käytetään? • - Parasta toimenpidesekvenssiä laatiessa? • - Kun parasta toimenpidesekvenssiä käydään läpi? • Tarkistuslista tarkkailtavista asioista on olemassa (Sari Laakso, 20.1.2006) • - Onko tarkistuslista jossain saatavilla? • ”Käyttöliittymäasiantuntija [...] simuloi testitapauksen suorittamisen parasta ratkaisua pitkin useita kertoja” (Laakso, 2004) • - Jos tunnistusohjeet olisivat todella selkeät, voitaisiinko välttyä iteroinnilta kuten kognitiivisessa läpikäynnissä? • Nostaako simulointipohjainen asiantuntija-arvio esiin huonoista visualisoinneista aiheutuvat tehokkuusongelmat? • Olisiko tehokkuusläpikäynti kuvaavampi ja HCI –alan ihmisille ymmärrettävämpi nimi kuin simulointitestaus?

46. Mitä ongelmia kognitiivisella läpikäynnillä ei löytynyt, mitä perusteellisessa käytettävyystestissä löytyi? Taulukko: Kognitiivisessa läpikäynnissä löytyneet ongelmat suhteessa käytettävyystestissä löytyneisiin ongelmiin Esim. Vakava tehokkuusongelma, joka syntyy, kun käyttäjä valitsee ’Konevoimalla kuljetettavat laitteet’, jää kognitiivisessa läpikäynnissä huomaamatta, koska se ei osu optimaaliselle polulle. Juuri tässä skenaariossa ongelman pystyi (sattumalta?) väistämään. Kognitiivisessa läpikäynnissä selviää, miksi tämä vakava tehokkuusongelma syntyy.

47. Kognitiivisessa läpikäynnissä havaitsematta jäänyt ongelma 1: Käyttäjä täyttää henkilötietoja, vaikka ei halua henkilövakuutusta Käytettävyystestissä selvisi, että käyttäjille on epäselvää, mikä henkilöt -sivun merkitys on. Tämä aiheuttaa paljon turhaa työtä ja ongelmia. Yksi käyttäjä totesi henkilötiedot täytettyään, että hänen ei ollut varsinaisesti tarkoitus ottaa henkilövakuutusta.Toinen käyttäjä luuli, että ’henkilöt’ tarkoittaa talouteen kuuluvia henkilöitä, vaikka heitä ei haluttaisi vakuuttaa. Kun kyllä/ei -kysymyksen merkitys on käyttäjälle epäselvä, käyttäjä selvittää kokeilemalla, mitä kysymys tarkoittaa. Toisin sanoen käyttäjä valitsee ’kyllä’ ja katsoo, mitä tapahtuu.

48. Kognitiivinen läpikäynti ja käytettävyystestaus: kognitiivisessa läpikäynnissä havaitsematta jääneet optimaalisen suorituspolun ongelmat Ongelmat on luokiteltu kolmeen eri vakavuusluokkaan: 1. Lievä ongelma, ei vaadi akuutisti toimenpiteitä 2. Merkittävä ongelma, mutta ei este tehtävän suorittamiselle 3. Vakava käytettävyysongelma, saattaa estää tehtävän suorittamisen Tämän ongelman havaitsemiseen ei ole mitään mekanismia kognitiivisessa läpikäynnissä

49. Kognitiivinen läpikäynti ja käytettävyystestaus: kognitiivisessa läpikäynnissä havaitsematta jääneet optimaalisen suorituspolun ongelmat Ongelmat on luokiteltu kolmeen eri vakavuusluokkaan: 1. Lievä ongelma, ei vaadi akuutisti toimenpiteitä 2. Merkittävä ongelma, mutta ei este tehtävän suorittamiselle 3. Vakava käytettävyysongelma, saattaa estää tehtävän suorittamisen Tämän ongelman havaitsemiseen ei ole mitään mekanismia kognitiivisessa läpikäynnissä

50. Mitä olisin voinut tehdä toisin? • Oon turhan arka ja perfektionistinen kenttätutkimuksen tekemisessä • Miksi? • Rutiinin puute • Persoonallisuuskysymys • Pitkiä käyttäjän tietoutta koskevia pohdintoja ei suoraan hyödynnetty analyysissä; turhaa työtä? • Toisaalta ei hyödynnetty, kun muistin asiat muutenkin? • Tässä vaiheessa tehdyt huolimattomuudet heijastuu kaikkiin myöhempiin vaiheisiin – huolellisuus tarpeen? • Vrt. käyttäjätutkimuksessa ei kannata tehdä oikopolkuja (Lewis ja Wharton, s. 730)