Eksperimentel metode

1. Eksperimentel metode John Paulin Hansen ITC, Usability F2003

2. Den eksperimentelle metode • Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant

3. Variable i GazeTalk eksperimentet • Afhængige: • Word per minute • Error rate • Key stroke per Character • Subjektive ratings på spørgeskema • Uafhængige: • Antal ordforslag • Skriveform

4. 5 trin i et eksperiment • 1. Definer problem og hypotese • 2. Opstil den eksperimentelle procedure • 3. Udfør eksperimentet • 4. Analyser data • 5. Uddrag konklusioner

5. Eksperimentelle designs • Two-group design: Eksperimentel gruppe og kontrolgruppe • Multiple group designs: Evaluere flere niveauer af den uafhængige variabel • Factorial design: kombinerer flere niveauer af to (eller flere) forskellige uafhængige variable • Between-subjects:to forskellige forsøgsgrupper • Within-subjects: samme person oplever alle niveauer af den uafhængige variable • Mixed design: bruger between-subjects på en uafhængig variabel i et et factorielt design og with-in på en anden uafhængig variabel

6. Design 2x2x2

7. Design af Gazetalk eksperiment

8. Resultateksempel WPM

9. Mange slags afhængige variable • Ofte flere i samme forsøg • Typer: Opgavetid, antal rigtige, antal fejl, præcision, antal falske alarmer, subjektive skalavurderinger, hjerterytme, galvanisk hud respons, pupilreaktioner, reaktionstid på secondary task, stresshormoner i blod, ekspertvurderinger af præstationer m.fl.

10. Eksperimentel planlægning • Udstyr • Deltagere • Kontrol af andre variable - eg. ved tilfældig fordeling af opgaver til subjekter fra en homogen gruppe eller fra en stor gruppe med normal diversitet • Neutraliser rækkefølge-effekten

11. Eksperimentet udføres • Lav et pilot-forsøg for at sikre, at der ikke sker uventede ting • Gennemfør forsøget med nøjagtig samme betingelser (eller stop det og lav et nyt forsøg) • Sørg for at tjekke kalibrering af måleudstyr undervejs • Overhold alle etiske regler

12. Data analyse • Deskriptiv statistik: gennemsnit og standardafvigelsen • Statistiske analyser: • T-test for two-group design • Anova hvis der er mere end to grupper • Udregner sandsynlighed for, at den fundne forskelle er tilfældige (p<0.05) • Type I fejl og type II fejl

13. Lindsay and Staffon (1988) nuclear control interface

14. Increase of temperatures

15. Time tunnels in an unstable state

16. 4 experimental displays

17. Analysis • 3 factor analysis of variance (ANOVA) with the factors: • Display format (4 levels), • Data type (3 levels “slow”, “medium” an “Noise”) • Information type (2 levels: graphical and graphical plus digital).

18. Reaction time

19. Hit rate on all data types

20. Hit rate on HF data

21. Conclusion “ Both the temporal and the configural dimension seem important for the design of effective process displays. The result …… suggest that the spatial integration of temporal information in the time tunnel format shows promise as a support for process data when targets are to be detected in the presence of noise” (Human Factors, 37 (3), 539 - 552.)

22. Eksempel: Mate

23. Beskrivende metoder • Målinger i den virkelige verden • Fx. fra web log filer • Hastighedsmålinger i trafikken • Udvikle taxonomi til at score observationer • Ofte videooptagelser der scores • Opinionsmålinger og spørgeskema-undersøgelser • Fra selvadministrerede til strukturerede interviews • Hændelsesanalyser • Ulykkesrapporter og indberetninger i databaser

24. Dataanalyse ved beskrivende metoder • Gruppeforskelle - ANOVA • Relationer mellem kontinuerlige variable (korrelationskoefficient (r)) • Komplekse modeller - kendes fx. fra makroøkonomiske modeller • Modeller kan være konceptuelle eller det kan være matematiske ligninger, vægte i et netværk m.m. • Eksempel ”COMBIMAN” som er en matematisk model for den menneskelige fysiognomi • Navigatørmodel til skibssimulatorer

25. Målinger af variable • Hvordan måler man den mentale arbejdsbelastning ? • Ikke bare tælle samtidige arbejdsopgaver, for nogen af dem kan være automatiseret • I stedet har man fx. brugt: • Subjektive angivelser • Præstationsmålinger • Fysiologiske målinger (hjernebølgeaktivitet og hjerterymer) • Secondary task metoden

26. Objektive versus subjektive målinger • Objektive målinger som fx. præstationer, fysiologiske data er efter manges mening bedre end subjektive angivelser • I HCI forskning kan computeren samle enorme mængder af objektive data - men hvad siger de? • Ofte fundet af subjektive data er de bedste til at forudsige senere reaktioner eller adfærd • Det er ofte nemmere at indsamle subjektive data

27. Kvalitetskriterier for human factors forskning (1) • Konstruktionsvaliditet: Manipulerede man den variabel man ville og målte man den rigtige afhængige variabel (er forsøgspersonerne virkelig trætte i et eksperiment om sammenhæng mellem fejlhyppighed og træthed) • Intern validitet: Er det KUN de kausale variable der har været i spil?

28. Kvalitetskriterier for human factors forskning • Ekstern validitet: Kan de fundne resultater bruges udenfor den eksperimentelle situation - er præmisserne beskrevet så klart, at de umiddelbart kan generaliseres? • Etisk korrekthed: Har forsøgspersonerne været skånet for fysisk og psykisk overlast, er deres anonymitet bevaret, er de frivillige og har de vidst hvad de gik ind til?

29. 20 minutters opgave: Forsøgsdesign • 1. Bliver man dårligere til at stave almindeligt dansk, når man benytter automatisk stavekontrol? • 2. Hjælper det på effektiviteten af en fly-evakuering, at besætningen instruerer om nødprocedurer før take off ? • 3. Har advarsler på tobaksannoncer nogen effekt på rygere ? • 4. Hvad er den ideelle placering af knap-paneler på en hjemmeside: for oven, til venstre eller andre steder ? • 5. Hvordan afbilder man mest effektivt et web-steds struktur med en knap-struktur ? • 6. Hvad har størst betydning for om brugere kan huske en hjemmeside de har besøgt