College Mens-Computer Interactie

1. College Mens-Computer Interactie Hoofdstuk 11: Evaluatie-technieken Hoofdstuk 12: Help en Documentatie

2. Evaluatie-technieken • CREDIT-project • Evaluatie-raamwerk Suzanne Kabel (model-gebaseerd/heuristieken)

3. Evaluatie • Ten aanzien van een ontwerp • Ten aanzien van een prototype of implementatie

4. Ontwerp-evaluatie • Cognitive walkthrough • Beschrijving van het prototype-ontwerp • Taakanalyse • Stappenplan • Achtergrond van de gebruikers

5. Cognitive walkthrough: ontwerp van een rekenmachine • Stel relevante vragen bij elke stap • Is het duidelijke waar die knop voor dient? • Wat verwacht je als effect? • Is het effect zichtbaar na uitvoering van de actie?

6. Heuristieken • Zichtbaarheid van de toestand van het systeem • Overeenkomst tussen systeem en de werkelijkheid • Gebruiker is de baas • Consistentie • Voorkomen van fouten • Help en documentatie

7. Model van Kabel (1998) • Systeem gezichtspunt: • Keystroke level • Content level • Gebruikers’ gezichtspunt: • Mental model level • Overlappend gezichtspunt • System image level • Process level

8. CREDIT exercitie

9. Evaluatie van een implementatie • In het laboratorium • Het experiment • In het veld • Met gebruikers in hun eigen omgeving

10. Experimentele evaluatie • Proefpersonen • Variabelen: onafhankelijke en afhankelijke • Hypothesen • Experimentele opzet

11. Observatie-technieken • Hardop denken • Protocollen • Codeerschema’s • Voor- en nadelen • Check achteraf (post-task walkthroughs) • Video/audio • Logging

12. Query-technieken • Interviews • Vragenlijsten • Verschillende typen: • Open • Antwoordschalen • Multiple choice

13. Het kiezen van een evaluatie-methode • Stadium • Stijl • Objectief versus subjectief • Kwalitatief versus kwantitatief • Type informatie • Onmiddelijke of uitgestelde respons • Niveau van verstoring • Benodigde bronnen

14. Help en Documentatie • Quick reference • Task-specific help • Full explanation • Tutorial

15. Vereisten • Beschikbaarheid • Correctheid • Consistentie • Flexibiliteit • Niet hinderen

16. Adaptieve Help-systemen: een voorbeeld • EUROHELP-project (Wizard of Oz als evaluatie-techniek) • Adaptief Helpsysteem • Help en Coaching (leren) • Diagnose en Didactische Strategie

17. Doel van Eurohelp • Ontwikkeling van een help-system shell voor informatieverwerkende systemen (tekstverwerkers, mailprogramma’s, enz). • Generiek systeem waarin een representatie van een nieuwe applicatie kan worden ingevoerd.

18. Op naar de Wizard of Oz-techniek: Systeem Ontwerp en Evaluatie

19. Wizard of Oz set-up

20. Opdracht aaan de proefpersonen

22. Gebruikte technieken • Hardopdenken (zowel de student als de tutor) • Logfiles en tijd-stempels (timestamps) • Talkfiles (communicatie tussen student en tutor)

24. Uitkomsten • Er waren betere en slechtere onderwijzers • De goede onderwijzers onderscheidden zich door • Het gebruik van adequate conventies (onderwerp introduceren, bondige informatie verschaffen, compliment uitdelen) • Het juist interpreteren van het gedrag (diagnose) • Het afwisselen van pure hulp en uitleg

25. Wizard of Oz studie • Bepalend voor de implementatie van het uiteindelijke systeem • Het gedrag van de uiteindelijke implementatie is later vergeleken met het oorspronkelijke gedrag van de menselijke onderwijzers (daarover straks meer)

27. EUROHELP • Passieve en actieve hulp (reageren op vragen of actief ingrijpen) • Butlering versus coaching • Het principe van de ‘local need’ - gebrek aan kennis of misconceptie in een specifieke context (J aan het eind van een regel)

28. Monitoring en Diagnose • Monitoring: over de schouder van de gebruiker meekijken • Diagnose: planherkennig > local need • Van commando’s naar taak naar plan

29. Local Need • Fout • Gelegenheid voor het aanbieden van nieuwe kennis • Gelegenheid om iemand ergens aan te herinneren • Gebrek aan terugkoppeling

30. Hulp versus coaching • Pure hulp lost een lokaal probleem op: directief, zeg tegen de gebruiker wat hij moet doen zonder uitleg • Coaching is bedoeld om de kennis van de gebruiker over de applicatie te vergroten

31. Didactische Doelen Generator • Hiërachische weergave van concepten die de gebruiker volgens bepaalde ‘machine learning’ principes kan leren • ‘Machine learning’ principes: • Generalisatie/Specificatie • Abstractie/Concretisering • Inversie • Analogie • Identiek • Opportunistische coaching: selecteer het geschikte moment om de gebruiker iets te leren

32. Coaching strategieën • Fout > Remediatie • Nieuwe kennis > Expansie • Herinneren > Nog eens zeggen (reminding) • Gebrek aan terugkoppeling > Geef terugkoppeling

33. Coaching principes • Wees opportunistisch • Wees conservatief • Wees beknopt • Relateer het nieuwe aan het bekende (didactische doelen) • Wees informatief • Wissel operationele kennis en ondersteunende kennis af

34. Coaching principes vervolg • Wees precies • Wees beleefd • Geef aan wat het onderwerp is

35. Strategieën en tactieken • Skelet-strategieen: overkoepelende ‘templates’ die geinstantieerd worden met specifieke tactieken • Voorbeeld inhoudelijke tactieken: • Beschrijving (description) • Opdracht (direction) • Operationalisatie (operationalisation) • Beperking (limitation)