1 / 26

Evaluering

Evaluering. INF 1500; introduksjon til design, bruk og interaksjon 8 november 2010. Oversikt. Vise hvordan observasjon, intervjuer og spørreskjema også kan brukes i evalueringsfasen Gå igjennom sentrale begreper om evaluering Introdusere ulike metoder for evaluering. Evaluere.

wilmer
Download Presentation

Evaluering

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Evaluering INF 1500; introduksjon til design, bruk og interaksjon 8 november 2010

  2. Oversikt • Vise hvordan observasjon, intervjuer og spørreskjema også kan brukes i evalueringsfasen • Gå igjennom sentrale begreper om evaluering • Introdusere ulike metoder for evaluering

  3. Evaluere • Evaluere eller teste? Hva er forskjellen? Likheter? • Hva evalueres? • Hvorfor evaluere? • Hvordan evaluere? • Hvem skal gjøre evalueringen? • Hva benyttes data fra evalueringen til? • Evaluere i forhold til hva? Kriterier? Mål?

  4. Evaluere • Etymologi; évaluation, from évaluer "to find the value of," from é- "out" (see ex-) + valuer (see value). • Teste, eksperimentere, eksaminere, sjekke, prøve ut, verifisere, validere… • ”theproofofthe pudding is in theeating”

  5. Hvorfor, hva, hvor og når skal vi evaluere? • Iterativ utvikling; det betyr at evaluering og design er kontinuerlige prosesser som undersøker • Hvorfor: for å undersøke om brukerne kan benytte løsningen • Hva: konseptmodell, tidlige prototyper, endelige prototyper • Hvor: i ”naturlige omgivelser” eller i laboratorium omgivelser • Når: tidlig i prosessen, sent i prosessen, og alt imellom;)

  6. Bruce Tognazzini – om ”hvorfor evaluere” • Iterativ design, med repetisjon av design og testing, er den eneste måten å forsikre seg om gode resultater. Dersom du ikke har bruker testing som en integrert del av design prosessen så kaster du bort ressurser • Altså: ressursbruk i forhold til måloppnåelse..

  7. Hvem skal gjennomføre evalueringen? • De som har laget prototypen eller systemet? • Andre? • Fordeler og ulemper?

  8. Øvelse • Tenk deg at du sender bort dine prototype (oblig 2) til et firma (eller en annen gruppe) som skal gjøre evalueringen av prototypen • Hva trenger dette firmaet av informasjon fra deg? • Tror du resultatene vil skille seg fra de resultatene du selv ville fått?

  9. Nivåer – av HVA • Bruker • Tjeneste • Grensesnitt • Nettleser • Applikasjon • HW • Software • Nettverk • Omgivelse • Hva er det vi skal evaluere? Person? Handling? Grensesnitt? Oppgaveløsning? Hardware? Medium? Software? Bruken? Måloppnåelsen? Robusthet? Estetikk?

  10. Evaluering - begreper • Analytisk evaluering • Kontrollerte eksperimenter • Felt studie • Formativ evaluering • Heuristisk evaluering • Prediktiv evaluering • Summative evaluering • Brukbarhets laboratorier • Bruker studier • Brukbarhets studier • Brukbarhets testing • Bruker testing

  11. Tilnærminger til evaluering • Brukbarhets testing • Felt studier • Analytisk evaluering • Kombinerte tilnærminger • Opportunistisk evaluering

  12. Øvelse • To og to • Oppgave: Still klokken 3 sekunder frem (armbåndsur, mobiltelefon, PC, annet) • Planlegg evalueringen • Gjennomføre evalueringen.

  13. Karakteristika ved tilnærmingene • Brukbarhets testing • Brukere gjør oppgaver i kontrollerte omgivelser, målinger og feil blir rapportert • Felt studier • Brukere gjør oppgaver i ”naturlige” omgivelser, beskrivelser blir rapportert • Analytisk • Brukere er ikke involvert, kan gjøres hvorsomhelst, problemer blir rapportert

  14. Evaluerings tilnærming og metoder • Brukbarhets testing • Observasjon • Spørre brukere • Testing • Felt studier • Observasjon • Spørre brukere • Spørre eksperter • Analytisk • Spørre eksperter • Modellere

  15. Øvelse • Tenk ut – hva er fordeler og ulemper ved • Brukbarhetstesting • Felt studier • Analytisk evaluering

  16. Evaluering i ulike kulturer • Lese fra høyre til venstre – eller venstre til høyre? • Bar hud/fotografier/kvinne/mann • Metaforer – opp ned;)

  17. Oppsummering • Evaluering og design er sentralt i bruker - sentrert utvikling • Noen av de samme teknikkene blir benyttet for krav etablering • Tre tilnærminger: • Brukbarhets testing • Felt studier • Analytisk evaluering

  18. Oppsummering - fortsettelse • Metoder for evaluering • Observasjon • Spørre brukere • Spørre eksperter • Bruker testing • Inspeksjon • Modellere brukeres oppgaveløsning • Triangulering betyr å benytte ulike teknikker for å oppnå flere perspektiver, eller å analysere data ved ulike teknikker • Å jobbe med begrensninger er sentralt for de som gjør evelaueringer

  19. DECIDE (BUVIBE) • Determine goals • Bestemme mål • Explorethequestions • Utforske spørsmålene • Choosetheevaluationapproach and methods • Velge evaluerings tilnærming og metoder • Identifythepracticalissues • Identifiser de praktiske forholdene • Decidehow to dealwithethicalissues • Beslutte hvordan etiske spørsmål skal håndteres • Evaluate, analyze, interpret and present the data • Evaluere, analysere, tolke og presentere dataene

  20. Bestemme målene • Hva er målene for evalueringen? • Hvem vil ha resultatene – og hvorfor? • Målene vil influere evalueringsmåten? • Eksempler på mål: • Identifiser den beste metaforen for en gitt design? • Sjekk at grensesnittet er konsekvent (consistent) • Undersøke på hvilke måter teknologien endrer arbeidspraksis? • Forbedre brukbarheten til en eksisterende løsning

  21. Utforske spørsmålene • For all evaluering trengs mål og spørsmål • Eksempel: Et mål er å finne ut hvorfor mange brukere foretrekker å kjøpe papirbasert billett fremfor elektronisk billett – dette spørsmålet kan deles opp/operasjonaliseres til: • Hva er brukerens holdninger til elektroniske billetter? • Er brukerenebekymret eller opptatt av sikkerhet? • Hvordan oppleves brukergrensesnittet. • Og disse tre spørsmålene kan operasjonaliseres ytterligere.

  22. Velg evaluerings tilnærming og metoder • Evaluerings tilnærming påvirker hvilke metoder som benyttes, og hvordan data blir samlet, analysert og presentert • For eksempel vil feltstudier typisk: • Involvere observasjoner og intervjuer • Være ute i ”felten”, altså ikke laboratorium omgivelser • Data som samles er oftest kvalitative

  23. Identifiser praktiske forhold • Hvordan velge brukere? • Håndtere budsjett og kostnader? • Håndtere tidsfrister og tidsrammer? • Finne de som skal evaluere? • Velge utstyr som skal benyttes for å gjennomføre evalueringen og samle inn data

  24. Bestemme hvordan etiske spørsmål skal håndteres • Utvikle et ”informert samtykke” dokument/presentasjon • Deltagere har rett til: • Å vite hva som er målet med studien • Å vite hva som gjøres med funnene og dataene fra studien • Vern av personlig informasjon som blir gitt • Å trekke seg fra studien når de ønsker • Å bli behandlet høflig

  25. Evaluere, tolke og presentere data • Tilnærmingen som benyttes påvirker hvordan data blir evaluert, tolket og presentert • Følgende vurderes: • Pålitelighet (reliability) • Gyldighet (validity) • Bias • Omfang • Økologisk gyldighet: hvordan påvirker miljøet funnene (Hawthorn effekt)

  26. DECIDE oppsummering • Determine goals • Bestemme mål • Explorethequestions • Utforske spørsmålene • Choosetheevaluationapproach and methods • Velge evaluerings tilnærming og metoder • Identifythepracticalissues • Identifiser de praktiske forholdene • Decidehow to dealwithethicalissues • Beslutte hvordan etiske spørsmål skal håndteres • Evaluate, analyze, interpret and present the data • Evaluere, analysere, tolke og presentere dataene

More Related