Retail Reinvented college week 5, 14 okt Fons van Kesteren

2. Retail Reinventedcollege week 5, 14 oktFons van Kesteren • Testen

3. Testen

4. Drie oude chinezen Zhuang Zi Han Fei Confucius

6. HVA=University of Applied Sciences

7. testverslag • %$(**^$^%@*%$^%$#()^%##%!%$#W%^$^%&^#%#^%$@#^%$#^%$*$^%%^#%$&^%(^%#%^%$@!)(&^$^$#)&^@(_*&$#$#!^%%@&(*^*^%#&^_)(&(*%^#W%$#@&)_*(%$%@#*&+_()*^&%^#@^&_)(*^*^%@^%#%^$&)&^^&$%@*&)_)(*%@%$*&$%$^@^%$*^%$&#^%@%$!^$^%)*(^_(*&(^$#@&%^$(*&^(&%&$%@&)&%)(*&)*%%@^%*&_(&(*%%$@%$#@*^(*^&$@%$$&*%#^%$#%$(*&^(_^%$%@^%^_*^&$#^&(&)&^)(*&%#^$$%#@^(&%&$%#*^%)^

8. testverslag Redenen voor het schrijven van een testverslag • De resultaten en conclusies overdraagbaar naar anderen collega’s, opdrachtgever, docenten • Structuur in je eigen denkproces

12. Hst 1: Inleiding • Waarom ? Om de lezer en jezelf inzicht te verschaffen in het doel van de test en de vragen die je wilt beantwoorden.

13. Hst 1: Inleiding §1 Aanleiding Briefing/Debriefing, user requirements list, concept resentatie: Wensen en eisen met betrekking tot je product. • Experience goals • End goals • Live goals Opdracht: schrijf op: drie eisen mbt jou product

15. “Alleen de allerslimsten en de allerdomsten veranderen nooit van mening.”

16. Hst 1: Inleiding §2 Testvragen/testdoelen • Wensen en eisen met betrekking tot je product In vraagvorm: • Is mijn applicatie ‘leuk’ om te gebruiken? • Is mijn applicatie gebruiksvriendelijk? • Past mijn applicatie bij de doelgroep ‘jongeren 20-30’? • Geeft mijn adviesmodule een goed wijn advies?

18. Hst 2: methode • Om duidelijk te maken hoe je de vragen gaat beantwoorden.

19. Hst 2: Methode

20. Hst 2: Methode §1 keuze testmethode en technieken §2 beschrijving van het prototype §3 hoe het resultaat gemeten wordt §4 gewenste resultaten/voorspellingen §5 selectie van testpersonen §6 testprocedure

21. Hst 2: Methode§1 keuze testmethode en technieken Kwalitatief: • Key-path scenario test • Video/audio opname • Hardop denken • Eye tracking • Interview • Expert review • … Kwantitatief: • A/B tests • Google analytics • Enquetes • …

22. Hst 2: Methode§1 keuze testmethode en technieken Test vragen: • Is mijn applicatie ‘’stimulerend’ om te gebruiken? (verhoogt het conversie) • Is mijn applicatie gebruiksvriendelijk? • Past mijn applicatie bij de doelgroep ‘jongeren 20-30’? • Geeft mijn adviesmodule een goed wijn advies? Test Technieken • A/B testVideo observatie • Key-path scenario testvideo observatieinterview • Snelle enquete onder doelgroep • Domein expert review

23. Hst 2: Methode§2 beschrijving van het prototype Wetenschappelijk: “operationalisatie van onafhankelijke variabelen” Waar moet het prototype aan voldoen? • Papieren prototype? • Wireframes? • Met of zonder vormgeving? • Echt werkend of een simulatie? => Wat wil je testen?

24. Hst 2: Methode§2 beschrijving van het prototype • Test vragen: • Is mijn applicatie ‘leuk’ om te gebruiken? • Is mijn applicatie gebruiksvriendelijk? • Past mijn applicatie bij de doelgroep ‘jongeren 20-30’? • Geeft mijn adviesmodule een goed wijn advies? • Kernmerken prototype • Werkend prototypeVormgegeven • Wireframes, papieren prototype,werkend prototype zonder vormgeving • Alleen vormgeving, uitstraling • Papieren prototypeBeslisboo • NB: voor volledige documentatie of prototypeverwijs naar bijlage

25. Hst 2: Methode§3 hoe het resultaat gemeten wordt Wetenschappelijk: “operationalisatie van afhankelijke varabelen” • Emotie -> beoordeling van gezichtuitdrukking • Gebruiksvriendelijkheid -> aantal kliks, snelheid • Inhoudelijke correctheid ->expert beoordeling, cijfer

26. Hst 2: Methode§3 hoe het resultaat gemeten wordt • Test vragen: • Is mijn applicatie ‘leuk’ om te gebruiken? • Is mijn applicatie gebruiksvriendelijk? • Past mijn applicatie bij de doelgroep ‘jongeren 20-30’? • Geeft mijn adviesmodule een goed wijn advies? • Operationalisatie • - Subjectieve beoordeling video door twee personen- analytics van A/B test • - Het aantal keer dat gebruiker van pad afwijkt, en tijd tot einde van taak- beoordeling gezichtuitdrukking • Snelle enquetevraag: “voor welke leeftijdsgroep denk je dat dit is?” • Experts beoordelen de kwaliteit van de adviezen en geven een cijfer.

27. Hst 2: Methode§3 hoe het resultaat gemeten wordt Kwaliteit van de meting: • Validiteit • Betrouwbaarheid

28. Hst 2: Methode[ §4 gewenste resultaten/voorspellingen ] Niet noodzakelijk bij eerste tests • Emotie -> beoordeling van gezichtuitdrukking -> postieve emoties af te lezen • Gebruiksvriendelijkheid -> aantal kliks, snelheid-> maximaal drie kliks bij iedere taak • Inhoudelijke correctheid ->expert beoordeling, cijfer-> minimaal een 8

30. Hst 2: Methode§5 selectie van testpersonen Aantal testpersonen: Kwalitatieve test : (keypathscenario/expertinterview/videoopbservatie)richtlijn: 2 - 5 testpersonen Kwantitatieve test: ( A/B test, enquete)richtlijn 20+ ( van veel afhankelijk, statistiek )

31. Hst 2: Methode§5 selectie van testpersonen !!!!!!!!!!!!!! De manier van selecteren doet er toe !!!!!!!!!!!!! • Vrienden hebben vaak overeenkomstige meningen • Studenten zijn hoog opgeleid • Op zaterdag tref je vaker fun shoppers

32. Hst 2: Methode§6 testprocedure • Waar wordt de test gedaan? • Wanneer wordt de test gedaan? • Welke vragen stel je de gebruiker? • Hoe lang gaat de test duren? • …. Alles wat van invloed kan zijn op de interpretatie van de resultaten.

33. Hst 2: Methode Alles wordt systematisch overdacht: §1 keuze testmethode en technieken §2 beschrijving van het prototype §3 hoe het resultaat gemeten wordt §4 gewenste resultaten/voorspellingen §5 selectie van testpersonen §6 testprocedure

34. Hst 2: Methode • Wetenschappelijke methode? • Nooit van gehoord.

37. Hst 3: Resultaten • Samenvatting van de feitelijke resultaten • Per onderszoeksmethode • Geen meningen of interpretaties • Zijn de voorspellingen uitgekomen Kwalitatieve resultaten: belangrijke fragmenten, stills Kwantitatieve resultaten: grafieken en tabellen

38. Hst 4: Resultaten • Kwalitatieve resultaten: belangrijke fragmenten, stills Is de app leuk om te gebruiken?

39. Hst 4: Resultaten • Kwantitatieve resultaten: grafieken en statistieken

41. [ Hst 4: Discussie ]*

42. [ Hst 4: Discussie ]* • Verschillende interpretaties van de gevonden resultaten.

43. “Waar mensen discussiëren,wordt iets over het hoofd gezien.”

45. Hst 5: Conclusies • Geef antwoord op de in de inleiding gestelde vragen ! • Eén voor één per vraag • Suggesties voor verder onderzoek • Consequenties voor ontwerp van het product

47. Han Fei ( 250 BC ) • Uitvinder van bureaucratie • Iedereen is voor de wet gelijk • Transparantie van bestuur • Besturen door te straffen en te belonen

48. Daarom • heeft het verslag de standaard hoofdstuk indeling?(inleiding, methode, resultaten, [discussie,] conclusie) • Worden er in de inleiding relevante vragen gesteld? • Worden in de conclusies de gestelde vragen beantwoord?(voor zover mogelijk)================================== Beloning: het testverslag kan inhoudelijk besproken worden.