Kyselylomakkeet käytettävyystutkimuksissa

1. Kyselylomakkeet käytettävyystutkimuksissa Käytettävyystutkimuksen menetelmät –seminaari 29.01.2004 Toni Vanhala

2. Kyselylomake Kyselylomake ei ole: • tutkimussuunnitelma tai –strategia • tutkimuksen tavoite (itsetarkoitus) Kyselylomake on tiedonkeruumenetelmä

3. Tutkimuksen tarkoitus • Eksploratiivinen (exploratory) tutkimus • Uusien ilmiöiden löytäminen • Teorioiden muodostaminen • Tutkimusstrategiana usein tapaustutkimus • Kuvaileva (descriptive) tutkimus • Tapahtumien ja ilmiöiden kuvailu • Tyypillinen tutkimusstrategia kysely (survey) • Selittävä (explanatory) tutkimus • Syy- ja seuraussuhteiden etsiminen • Yleisten tulosten tavoittelu • Sopivin strategia kokeellinen tutkimus (Robson, 1994)

4. Tutkimusstrategiat

5. Kyselylomakkeilla kerättyä tietoa 1/3 • Yksityiskohtainen tieto tapaustutkimuksessa • Tekstieditorin ongelmallisten toimintojen tunnistaminen ja ongelmien kuvaaminen (Root & Draper, 1983) • Tutkittava muuttuja kokeellisessa tutkimuksessa(Björk et al., 1999) • Kahden eri selaimen ominaisuuksien arviointi • Yleisnäkymän (overview) laatu • Hakemisen (searching) helppous

6. Kyselylomakkeilla kerättyä tietoa 2/3 • Taustatiedot kokeellisessa tutkimuksessa • Verkossa käytettävien fonttien luettavuuden vertailu (Bernard, 2002) • Koulutustaso, näkökyky, ikä, lukemistiheys • Navigointivalikon paikan vaikutus (Kalbach, 2003) • Ammatti, Internetin käyttökokemus, kätisyys • Laajan aineiston kerääminen kyselyssä • Internetin käyttäjinen yleisimmät ongelmat (GVU’s 4th WWW survey, 1995)

7. Kyselylomakkeilla kerättyä tietoa 3/3 • {Uuden menetelmän kehittäminen • 101 käytettävyyden heuristiikan onnistuminen 249 käytettävyysongelman selittämisessä (Nielsen, 1994) • Mutta: vastaajina vain Nielsen itse!}

8. Lomakkeilla kerätty tieto • Subjektiivinen (suora) tieto • Vastaajan arvio arvioidun kohteen ominaisuuksista (miellyttävyys) • Objektiivinen (epäsuora) tieto • Vastaajan ominaisuudet (ikä, sukupuoli, ...) • Arvioidun kohteen ominaisuudet (käytettävyys) • Yleisellä tasolla (Usability questionnaires, 2004)

9. Koska lomaketta kannattaa käyttää? • Teoria ohjaa tutkimusta • Kysymykset vaihtoehtoineen osataan määrittää • Haastattelussa tietoa voidaan välittömästi tarkentaa • Tutkimukseen osallistujien määrä suuri • Survey-tyyppinen tutkimus • Osallistujat luokiteltava • Taustatiedon kerääminen vertailua varten • Tutkimuksen ongelmiin varautuminen ja luotettavuuden arviointi (Hufnagel & Conca, 1991) • Haastattelu ei sovellu • Haastattelijan vaikutus tuloksiin (esim. kysymykset koskevat henkilökohtaisia asioita)

10. Standardoidut lomakkeet • Kehitetty iteratiivisesti testaamalla ja muokkaamalla lomaketta toistuvasti • Tulokset toistettavia ja luotettavia • Aiempia testituloksia olemassa • Vertailu muihin järjestelmiin mahdollista • Mittaavat yleisiä ominaisuuksia

11. Standardoituja käytettävyyslomakkeita (1/2) • SUMI (Kirakowski, 1994) • kaupallinen • mukana tietokanta muiden järjestelmien testituloksista • saatavilla myös suomenkielisenä • viisi ulottuvuutta: tehokkuus, tunne, avuliaisuus, hallinta, opittavuus • QUIS (Chin et al., 1988) • uusin versio (7.0) kaupallinen • suunniteltu arvioinnin kohteeseen sovellettavaksi • vanhempi versio (5.0) Shneidermannin (1992) kirjassa arvioi: yleisiä reaktioita, näyttöä, terminologiaa ja järjestelmän tietoja, oppimista ja järjestelmän kyvykkyyttä

12. Standardoituja käytettävyyslomakkeita (2/2) • SUS (Brooke, 1996) • ilmainen • yleinen ja yksinkertainen • tulosten analyysi yksinkertainen • PSSUQ (Lewis, 1995) • ilmainen • Monia muita, ilmaisia ja kaupallisia (Usability questionnaires, 2004)

13. Syitä lomakkeen muokkaamiseen • Lomake on liian pitkä • Tutkittava joukko poikkeaa alkuperäisen lomakkeen vastaavasta • Lomake täytyy kääntää toiselle kielelle • Käytetään alkuperäisestä poikkeavaa tiedonkeruumenetelmää (Kitchenham & Pfleeger, 2002a)

14. Perusteita uuden lomakkeen laatimiselle • Standardoidut lomakkeet eivät mittaa tärkeiksi koettuja asioita • taustateoria ei tunnu sopivalta • esim. SUMI: tehokkuus, tunne, avuliaisuus, hallinta, opittavuus • Tarvitaan yksityiskohtaista/kattavaa tietoa • standardoidut lomakkeet mittaavat yleisiä ominaisuuksia • tapaustutkimukset, käytettävyystestaus; kokeellinen tutkimus (Järvinen & Järvinen, 2000; Usability questionnaires, 2004)

15. Vastausvaihtoehdot • Avoimet kysymykset • ei valmiita vastausvaihtoehtoja • jos kysymyksen kohteesta ei ole riittävästi tietoa • jos kysymys on henkilökohtainen • eksploratiivisessa tutkimuksessa • analysointi raskasta • Vaihtoehtokysymykset • valmiit vastausvaihtoehdot • kysymyksen kohde tunnettu, teorian kattama • synnyttävät määrällistä aineistoa (Robson, 1994; Järvinen, 2000)

16. Vaihtoehtojen asteikko • Nominaaliasteikko • luokat eroavat laadullisesti • esim. sukupuoli • Ordinaaliasteikko • luokat ovat järjestyssuhteellisia • esim. vähän, sopivasti, paljon • Intervalliasteikko • peräkkäisten luokkien ero on yhtäsuuri • esim. lämpötila (celsius) • Suhdeasteikko • asteikon nollakohta voidaan määrittää • esim. ikä, käyttökokemus vuosissa

17. Kysymysten vaatima päättely • Luokittelun edellyttäminen • Esim. Onko järjestelmä tarkka? • Selittämisen edellyttäminen • Esim. ”[Tietyn teknologian] käyttö lisää tuottavuuttani. ” • Ennustamisen vaatiminen • Esim. ”Tehtävän suorittaminen [taulukkolaskentaohjelmalla] vaatisi minulta paljon (enemmän/vähemmän) aikaa kuin saman tehtävän suorittaminen taskulaskimellani. ” (Hufnagel & Conca, 1991)

18. Luokittelun ongelmat • Moniselitteinen kysymys tai asiayhteys • Sanalliset frekvenssiasteikot • Luokittelun kohteesta hankitun (tunne-)kokemuksen merkittävyys ja saatavuus • Aiemman kokemuksen tuoreus • Tehtävän suorituksen aikana annettu arvio negatiivisempi (Teague et al. 2001) • Arviointi tehtävien aikana vaikuttaa käyttäytymiseen (Root & Draper, 1983) • Tiedon puute • Mielipiteen puute (Hufnagel & Conca, 1991)

19. Selittämisen ongelmat • Luokitteluun liittyvät ongelmat • Vastaajien erot: • onnistumisissa • odotuksissa • asiantuntemuksessa • koetusta vastuussa • valinnan vapaudessa (Hufnagel & Conca, 1991)

20. Ennustamisen ongelmat • Luokitteluun liittyvät ongelmat • Selittämiseen liittyvät ongelmat • Tutkijan antama taustatieto (cognitive priming) • Tulevaisuuden tärkeysjärjestyksen arvioinnin vaikeus • Tulevaisuuden tärkeysjärjestyksen epävarmuus (Hufnagel & Conca, 1991)

21. Muita ongelmia lomakkeiden käytössä • Vastaajien valikoituminen • suuren otoksen käyttäminen vaikeuttaa postitettujen lomakkeiden seurantaa • epäedustavan otoksen valitseminen • heikentää tutkimuksen yleistettävyyttä • Kysymysjärjestys • Edelliset kysymykset vaikuttavat seuraaviin (cognitive priming) • Satunnaistaminen tuottaa sekavan lomakkeen • Vastaaja ei välttämättä vastaa kysymyksiin järjestyksessä • Tylsä alku turhauttaa vastaajan (Babbie, 1973) • Yleiset kysymykset ennen tarkkoja (Robson, 1994)

22. Kyselylomakkeen arviointi • Onko tuloksissa satunnaisuutta? (reliabiliteetti) • uudelleen suoritettaessa • muunnellulla lomakkeella • lomakkeen eri osien välillä • eri arvioijien välillä (tarkkailijan täyttämä lomake) • Mittaako oikeaa asiaa? (validiteetti) • Sisältövaliditeetti • Fokusryhmän arvio • Kriteerivaliditeetti • Vertaaminen muihin kyselyihin tai tiedonkeruumenetelmiin • Kirakowski (1994) mainitsee kaksi lomakkeiden vertailututkimusta • Rakennevaliditeetti • Vaikeaa arvioida; taustateoriaan vertaaminen (Kitchenham & Pfleeger, 2002b)

23. Vastaajien valinta • Kaikkia yksittäisiä tapauksia harvoin kyetään tutkimaan • Pienentää kuluja tietoja kerättäessä ja analysoitaessa • Tulosten analyysissa usein tärkeämpää saada edustava kuin suuri otos • Pienellä otoksella vastaamatta jättäneet voidaan tutkia • Satunnainen vs. ei-satunnainen • Satunnainen tukee yleistettävyyttä

24. Tulosten analyysi • Työmäärä riippuu kerätyn tiedon tyypistä • Laadullinen aineisto vaatii luokittelua, puolueeton luokittelu useita luokittelijoita • Laadullisen aineiston analyysiin ei ole yleispäteviä sääntöjä • Vastausten johdonmukaisuuden tarkistaminen • Liian suuri määrä aineistoa (iso lomake) • Tuottaa epäilyttäviä tuloksia, tilastollisessa analyysissa virhemarginaali

25. Yhteenveto • Päätä tutkimuskysymykset ja tutkimusstrategia • Valitse jokaiselle ominaisuudelle (muuttujalle) sopivin tiedonkeruumenetelmä • Kyselyt sopivat subjektiivisten arvioiden mittaamiseen • ISO9241: toimivuus, tehokkuus, tyytyväisyys • Käyttäjien vaikutelmat toimivuudesta ja tehokkuudesta tärkeitä! • Suunnittele lomake ongelmiin varautuen • Testaa ja iteroi • Kerää data ja analysoi tulokset

26. Lähteet (1/2) • Babbie, E. R. (1973) Survey research methods. Wadsworth publishing. • Bernard, M., Lida, B., Riley, S., Hackler, T. &Janzen, K. A Comparison of Popular Online Fonts: Which Size and Type is Best? Usability News, 4(1). Software usability research laboratory. Wichita state university. • Björk et al. (1999) WEST: A Web Browser for Small Terminals. UIST‘99, ACM symposium on user interface software and technology, CHI Letters, 1(1). • Brooke, J. (1996) SUS: A quick and dirty usability scale. Usability Evaluation in Industry. Taylor and Francis. • Chin, J. P., Diehl, V. A. & Norman, K.L. (1988) Development of an instrument measuring user satisfaction of the human-computer interface. Proceedings of CHI’88, 213-218. ACM Press. • GVU’s 4th WWW user survey. (1995) http://www.cc.gatech.edu/gvu/user_surveys/survey-10-1995/. Georgia Tech Research Corporation. 29.1.2004. • Hufnagel, E.M. & Conca, C. (1994) User response data: The potential for errors and biases. Information Systems Research, 5:1, 48-73. • Kalbach, J. & Bosenick, T. (2003) Web page layout: acomparison between left- and right-justified site navigation menus. Journal of digital information, 4 (1). • Kirakowski, J. (1994) The use of questionnaire methods for usability assessment. Background notes on the SUMI questionnaire. • Kitchenham, B. A. & Pfleeger, S. L. (2002a) Principles of survey research part 3: constructing a survey instrument. Software engineering notes, 27(2). • Kitchenham, B. A. & Pfleeger, S. L. (2002b) Principles of survey research part 4: questionnaire evaluation. Software engineering notes, 27(3). • Lewis, J. R. (1995) IBM computer usability satisfaction questionnaires: psychometric evaluation and instructions for use. International Journal of Human-Computer Interaction, 7, 57-78. • Nielsen, J. (1994) Enhancing the Explanatory Power of Usability Heuristics. Proceedings of CHI’94, 152-158. ACM Press.

27. Lähteet (2/2) • Robson, C. (1993) Real world research: a resource for social scientists and practioner-researchers. Blackwell publishers. • Root, R. W. & Draper, S. (1983) Questionnaires as a software evaluation tool. Proceedings of CHI’83, 83-87. ACM Press. • Teague, R., De Jesus, K. & Nunes-Ueno, M. (2001) Concurrent vs. post-task usability test ratings. CHI '01 extended abstracts on Human factors in computing systems, p. 289-290. ACM press. • Usability questionnaires. http://www.hcirn.com/atoz/atozu/usaques.php. Human-Computer Interaction Resource Network. 29.1.2004.