260 likes | 383 Views
Psykologi, Human Factors og HCI. John Paulin Hansen ITC, Usability E2002. Den eksperimentelle metode. Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant. 5 trin i et eksperiment. 1. Definer problem og hypotese
E N D
Psykologi, Human Factors og HCI John Paulin Hansen ITC, Usability E2002
Den eksperimentelle metode • Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant
5 trin i et eksperiment • 1. Definer problem og hypotese • 2. Opstil den eksperimentelle procedure • 3. Udfør eksperimentet • 4. Analyser data • 5. Uddrag konklusioner
Eksperimentelle designs • Two-group design: Eksperimentel gruppe og kontrolgruppe • Multiple group designs: Evaluere flere niveauer af den uafhængige variabel • Factorial design: kombinerer flere niveauer af to (eller flere) forskellige uafhængige variable • Between-subjects:to forskellige forsøgsgrupper • Within-subjects: samme person oplever alle niveauer af den uafhængige variable • Mixed design: bruger between-subjects på en uafhængig variabel i et et factorielt design og with-in på en anden uafhængig variabel
Mange slags afhængige variable • Ofte flere i samme forsøg • Typer: Opgavetid, antal rigtige, antal fejl, præcision, antal falske alarmer, subjektive skalavurderinger, hjerterytme, galvanisk hud respons, pupilreaktioner, reaktionstid på secondary task, stresshormoner i blod, ekspertvurderinger af præstationer m.fl.
Eksperimentel planlægning • Udstyr • Deltagere • Kontrol af andre variable - eg. ved tilfældig fordeling af opgaver til subjekter fra en homogen gruppe eller fra en stor gruppe med normal diversitet • Neutraliser rækkefølge-effekten
Eksperimentet udføres • Lav et pilot-forsøg for at sikre, at der ikke sker uventede ting • Gennemfør forsøget med nøjagtig samme betingelser (eller stop det og lav et nyt forsøg) • Sørg for at tjekke kalibrering af måleudstyr undervejs • Overhold alle etiske regler
Data analyse • Deskriptiv statistik: gennemsnit og standardafvigelsen • Statistiske analyser: • T-test for two-group design • Anova hvis der er mere end to grupper • Udregner sandsynlighed for, at den fundne forskelle er tilfældige (p<0.05) • Type I fejl og type II fejl
Analysis • 3 factor analyse of variance (ANOVA) with the factors: • Display format (4 levels), • Data type (3 levels “slow”, “medium” an “Noise”) • Information type (2 levels: graphical and graphical plus digital).
Conclusion “ Both the temporal and the configural dimension seem important for the design of effective process displays. The result …… suggest that the spatial integration of temporal information in the time tunnel format shows promise as a support for process data when targets are to be detected in the presence of noise” (Human Factors, 37 (3), 539 - 552.)
Beskrivende metoder • Målinger i den virkelige verden • Fx. fra web log filer • Hastighedsmålinger i trafikken • Udvikle taxonomi til at score observationer • Ofte videooptagelser der scores • Opinionsmålinger og spørgeskema-undersøgelser • Fra selvadministrerede til strukturerede interviews • Hændelsesanalyser • Ulykkesrapporter og indberetninger i databaser
Dataanalyse ved beskrivende metoder • Gruppeforskelle - ANOVA • Relationer mellem kontinuerlige variable (korrelationskoefficient (r)) • Komplekse modeller - kendes fx. fra makroøkonomiske modeller • Modeller kan være konceptuelle eller det kan være matematiske ligninger, vægte i et netværk m.m. • Eksempel ”COMBIMAN” som er en matematisk model for den menneskelige fysiognomi • Navigatørmodel til skibssimulatorer
Målinger af variable • Hvordan måler man den mentale arbejdsbelastning ? • Ikke bare tælle samtidige arbejdsopgaver, for nogen af dem kan være automatiseret • I stedet har man fx. brugt: • Subjektive angivelser • Præstationsmålinger • Fysiologiske målinger (hjernebølgeaktivitet og hjerterymer) • Secondary task metoden
Objektive versus subjektive målinger • Objektive målinger som fx. præstationer, fysiologiske data er efter manges mening bedre end subjektive angivelser • I HCI forskning kan computeren samle enorme mængder af objektive data - men hvad siger de? • Ofte fundet af subjektive data er de bedste til at forudsige senere reaktioner eller adfærd • Det er ofte nemmere at indsamle subjektive data
Kvalitetskriterier for human factors forskning (1) • Konstruktionsvaliditet: Manipulerede man den variabel man ville og målte man den rigtige afhængige variabel (er forsøgspersonerne virkelig trætte i et eksperiment om sammenhæng mellem fejlhyppighed og træthed) • Intern validitet: Er det KUN de kausale variable der har været i spil?
Kvalitetskriterier for human factors forskning (2) • Ekstern validitet: Kan de fundne resultater bruges udenfor den eksperimentelle situation - er præmisserne beskrevet så klart, at de umiddelbart kan generaliseres? • Etisk korrekthed: Har forsøgspersonerne været skånet for fysisk og psykisk overlast, er deres anonymitet bevaret, er de frivillige og har de vidst hvad de gik ind til?
10 minutters opgave: Forsøgsdesign • 1. Bliver man dårligere til at stave almindeligt dansk, når man benytter automatisk stavekontrol? • 2. Hjælper det på effektiviteten af en fly-evakuering, at besætningen instruerer om nødprocedurer før take off ? • 3. Har advarsler på tobaksannoncer nogen effekt på rygere ? • 4. Hvad er den ideelle placering af knap-paneler på en hjemmeside: for oven, til venstre eller andre steder ? • 5. Hvordan afbilder man mest effektivt et web-steds struktur med en knap-struktur?
Alternativer til den eksperimentelle metode • Guru - konsultation / Terapi • Egne erfaringer / Introspektion • Observationer af brugere / Iagttagelse af mennesker (Kirkegaard) • Darwinistisk designudvikling/ Socialpsykologiske eksperimenter (”Robinson-metoden”) • Teoribaseret design / Psykoanalyse