1 / 33

Eksperimentel metode

Eksperimentel metode. Den eksperimentelle metode. Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant. Variable i spøgelses eksperimentet. Afhængige: reaktions-tid fejl-rate genkendte spøgelser

freya-bullock
Download Presentation

Eksperimentel metode

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Eksperimentel metode

  2. Den eksperimentelle metode • Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant

  3. Variable i spøgelses eksperimentet • Afhængige: • reaktions-tid • fejl-rate • genkendte spøgelser • Subjektive ratings på spørgeskema • Uafhængige: • animation eller blink • normal eller forvrænget perspektiv

  4. 5 trin i et eksperiment • 1. Definer problem og hypotese • 2. Opstil den eksperimentelle procedure • 3. Udfør eksperimentet • 4. Analyser data • 5. Uddrag konklusioner

  5. Eksperimentelle designs • Two-group design: Eksperimentel gruppe og kontrolgruppe • Multiple group designs: Evaluere flere niveauer af den uafhængige variabel • Factorial design: kombinerer flere niveauer af to (eller flere) forskellige uafhængige variable • Between-subjects:to forskellige forsøgsgrupper • Within-subjects: samme person oplever alle niveauer af den uafhængige variable • Mixed design: bruger between-subjects på en uafhængig variabel i et et factorielt design og with-in på en anden uafhængig variabel

  6. Design 2x2x2

  7. SMS forsøg

  8. Normalfordelt?

  9. Input-betingelser

  10. System-betingelser

  11. Interaktionseffekt

  12. Signifikans Difference std. err. Prob Ordbog,gå - mt,kno 6,67879 2,583 0,045951 Ordbog,sidde - mt,gå 9,90000 2,559 0,001822 Ordbog,sidde - mt,kno 14,7455 2,315 0,000001 Ordbog,sidde - mt,sidde 11,2286 2,485 0,000283 Ordbog,sidde - Ordbog,gå 8,06667 3,028 0,038671 Ordbog,sidde - Ordbog,kno 12,6462 2,267 0,000012

  13. Kommunikationshastigheder

  14. Mange slags afhængige variable • Ofte flere i samme forsøg • Typer: Opgavetid, antal rigtige, antal fejl, præcision, antal falske alarmer, subjektive skalavurderinger, hjerterytme, galvanisk hud respons, pupilreaktioner, reaktionstid på secondary task, stresshormoner i blod, ekspertvurderinger af præstationer m.fl.

  15. Eksperimentel planlægning • Udstyr • Deltagere • Kontrol af andre variable - eg. ved tilfældig fordeling af opgaver til subjekter fra en homogen gruppe eller fra en stor gruppe med normal diversitet • Neutraliser rækkefølge-effekten

  16. Eksempel: Mate

  17. Eksperimentet udføres • Lav et pilot-forsøg for at sikre, at der ikke sker uventede ting • Gennemfør forsøget med nøjagtig samme betingelser (eller stop det og lav et nyt forsøg) • Sørg for at tjekke kalibrering af måleudstyr undervejs • Overhold alle etiske regler

  18. Data analyse • Deskriptiv statistik: gennemsnit og standard fejlen • Statistiske analyser: • T-test for two-group design • Anova hvis der er mere end to grupper • Udregner sandsynlighed for, at den fundne forskelle er tilfældige (p<0.05) • Type I fejl og type II fejl

  19. Beskrivende metoder • Målinger i den virkelige verden • Fx. fra web log filer • Hastighedsmålinger i trafikken • Udvikle taxonomi til at score observationer • Ofte videooptagelser der scores • Opinionsmålinger og spørgeskema-undersøgelser • Fra selvadministrerede til strukturerede interviews • Hændelsesanalyser • Ulykkesrapporter og indberetninger i databaser

  20. Dataanalyse ved beskrivende metoder • Gruppeforskelle - ANOVA • Relationer mellem kontinuerlige variable (korrelationskoefficient (r)) • Komplekse modeller - kendes fx. fra makroøkonomiske modeller • Modeller kan være konceptuelle eller det kan være matematiske ligninger, vægte i et netværk m.m. • Eksempel ”COMBIMAN” som er en matematisk model for den menneskelige fysiognomi • Navigatørmodel til skibssimulatorer

  21. Målinger af variable • Hvordan måler man den mentale arbejdsbelastning ? • Ikke bare tælle samtidige arbejdsopgaver, for nogen af dem kan være automatiseret • I stedet har man fx. brugt: • Subjektive angivelser • Præstationsmålinger • Fysiologiske målinger (hjernebølgeaktivitet og hjerterymer) • Secondary task metoden

  22. Objektive versus subjektive målinger • Objektive målinger som fx. præstationer, fysiologiske data er efter manges mening bedre end subjektive angivelser • I HCI forskning kan computeren samle enorme mængder af objektive data - men hvad siger de? • Ofte fundet af subjektive data er de bedste til at forudsige senere reaktioner eller adfærd • Det er ofte nemmere at indsamle subjektive data

  23. Kvalitetskriterier for human factors forskning (1) • Konstruktionsvaliditet: Manipulerede man den variabel man ville og målte man den rigtige afhængige variabel (er forsøgspersonerne virkelig trætte i et eksperiment om sammenhæng mellem fejlhyppighed og træthed) • Intern validitet: Er det KUN de kausale variable der har været i spil?

  24. Kvalitetskriterier for human factors forskning • Ekstern validitet: Kan de fundne resultater bruges udenfor den eksperimentelle situation - er præmisserne beskrevet så klart, at de umiddelbart kan generaliseres? • Etisk korrekthed: Har forsøgspersonerne været skånet for fysisk og psykisk overlast, er deres anonymitet bevaret, er de frivillige og har de vidst hvad de gik ind til?

  25. Simulations and Experiments

  26. Danish experiment

  27. Japanese experiment

  28. Typing speed, 12 Danish student subjects • Input: • PC-mouse • Smart Nav head tracker • Quickglance eye tracker • Design: • 12 sentences in each block • by 3 devices (counterbalanced) • in two days • Results: • Learning effect for head and gaze • Mouse is fastest • No difference between head and gaze input

  29. Typing speed, 15 Japanese student subjects • Input: • PC-mouse • Smart Nav head tracker • Quickglance eye tracker • Design: • 12 sentences (including Kanji characters) • by 3 devices (counterbalanced) • in two days • Results: • Learning effect • Mouse is fastest • No difference between head and gaze input

  30. Errors • Significant most errors for gaze typing • Danish subjects made much more errors than Japanese subjects • Significant drop in errors for head and gaze typing from day one to day two

  31. Comments from novice users of gaze dwell time typing: • ”A bit difficult to get used to not dwelling at un-intended buttons ..” • ”Difficult to orient yourself without activating something” • ”It can be hard to keep starring at the buttons you want”

  32. Subjective ratings, Danish & Japanese subjects

  33. 15 minutters opgave: Forsøgsdesign • 1. Bliver man dårligere til at stave almindeligt dansk, når man benytter automatisk stavekontrol? • 2. Hjælper det på effektiviteten af en fly-evakuering, at besætningen instruerer om nødprocedurer før take off ? • 3. Har advarsler på tobaksannoncer nogen effekt på rygere ? • 4. Hvad er den ideelle placering af knap-paneler på en hjemmeside: for oven, til venstre eller andre steder ? • 5. Hvordan afbilder man mest effektivt et web-steds struktur med en knap-struktur ? • 6. Hvad har størst betydning for om brugere kan huske en hjemmeside de har besøgt

More Related