1 / 25

Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest

Tema 2: Nye datamuligheder. Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest. Hanne-Pernille Stax, ph.d HPS@DST.DK. Plan. Kvalitetsudvikling af digital dataindsamling på Danmarks statistik Nye datamuligheder

walda
Download Presentation

Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Tema 2: Nye datamuligheder Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest Hanne-Pernille Stax, ph.d HPS@DST.DK

  2. Plan Kvalitetsudvikling af digital dataindsamling på Danmarks statistik • Nye datamuligheder • Digitale skemaer og standardiseret interaktion • Metoder i brugertest af digitale skemaer • Fund fra brugertest af digitale skemaer • Kvalitetsudvikling af digitale skemaer

  3. 1. Nye datamuligheder Digital dataindsamling • Digitale skemaer, der udfyldes online. Fordele for NSI: • Data kan valideres ved udfyldelse – respondenten stoppes hvis der er fejl. • Data kan anvendes direkte i systemer til statistikproduktion. • NSI sparer tid til tastning / scanning. • NSI undgår fejl ved tastning/ scanning.

  4. 1. Nye datamuligheder Digital dataindsamling • Digitale skemaer, der udfyldes online. Fordele for respondenten: • Data kan valideres ved udfyldelse – respondenten stoppes hvis der er fejl. • Kun relevante spørgsmål vises. • Dynamisk vejledning – kun hjælp når der er behov. • Dynamiske beregninger mv. som støtte.

  5. 2. Det digitale skema som tekst - eller interaktionelt medie? Kvalitet – Hvad skal vi teste? Tekst-forståelse: Respondenten skal selv læse, forstå og handle på præ-formuleret tekst. • Test: Kvalitet/forståelighed af sprogligt/visuelt input til respondenten. Interaktion: Ikke alt er vist fra start. Skema-elementer vises som respons på respondentens handlen. • Test: Respondentens interaktion med skemaets elementer.

  6. 3. Metoder i brugertest: Issues Dataindsamling til business-statistik Interne testere • Bemærker respondenten x? • Forstår respondenten x? • Anvender respondenten x som intenderet? • Mangler respondenten noget? X = element, ord, vejledning, dynamisk funktion, etc…

  7. 3. Metoder i brugertest: Issues Dataindsamling til business-statistik Eksterne brugere • Matcher begreber / koncepter respondentens sprogbrug / records? • Matcher opgørelsesmåder / kategorier respondentens records? • Fungerer skema-elementer så de letter respondentens byrde / task? • Fungerer skema-elementer så de sikre høj data-kvalitet?

  8. 3. Testforløb Teknisk test • Fungerer x som specificeret Brugertest • Etnografisk præ-interview • Observation af udfyldelse – uden hjælp • Think-aloud protocol • Probing – kognitiv interviewing • Debriefing interview

  9. 3. Metoder: Etnografisk interview Indledende interview om… • Forventninger • Kompetencer • Hvordan R plejer at udfylde skemaer. • Giver info. om ”normal” brug • Fastholder R i ”egen” rolle

  10. 3. Metoder: Observation af besvarelse • R udfylder som normalt • Tester hjælper/forklarer IKKE undervejs • Optag eller notér.

  11. 3. Metoder: Think-aloud • Alle tanker & idéer er væsentlige • Spørg hvad R tænker – hvis der er pauser • 2 personer kan samarbejde og diskutere • Optag eller notér. Fordele: • Respondenten vælger fokus • Mulighed for fokus på ukendte problemer. Ulemper: • Forstyrrer svarproces at skulle tale undervejs • Kan motivere til ”unormalt” høj tankeaktivitet  • Ikke systematisk belysning af issues.

  12. 3. Metoder: Probing / kognitivt interview • Løbende - Spørg mens der svares + Nemt at huske - Forstyrrer svarproces • Retrospektive - Spørg bagefter + Autentisk svarproces - Svært at huske + effekt af senere tasks • Lokalt motiverede - Spørg til Rs handlen + Respondentens perspektiv - Ikke systematisk belysning af kendte issues • Forberedte - Spørg til kendte issues + Systematisk fokus på kendte issues - Ukendte issues kan overses

  13. 3. Metoder: De-briefing Opfølgende interview om… • Oplevelse • Vurdering / evaluering • Input & idéer til forbedring

  14. 4. Fund: Vejledninger Struktur – Før: • Vejledning før opgave / task • Kronologisk – nummererede punkter • Som en opskrift: • Vælg først x • Angiv så y • Ret evt. z • …

  15. 4. Fund: Vejledning Struktur - Efter • Nummereret liste fungerer fint - før task. • Men – respondenter går direkte til task og læser så vejledning ”bagfra”... • Re-designes m. markerede keywords: • Regnskabsår: Gør x og y • Lønudgifter: Udfyld z og p • Udgået: Marker f og q • …

  16. 4. Knap – Før: ”?” ud for hver type

  17. 4. Knap – Efter: ”Eksempler” på flere typer

  18. 4. Skema-elementer udenfor skærm - Før Vises Vises Vises

  19. 4. Skema-elementer udenfor skærm - Efter

  20. 4. Overført info. - Før

  21. 4. Overført info. - Efter: Kant + beregning

  22. 5. Kvalitetsudvikling – Survey

  23. 5. Kvalitetsudvikling – På tværs af surveys

  24. 5. Kvalitetsudvikling – På tværs af NSIs

  25. Tak for opmærksomheden Spørgsmål og kommentarerer velkomne HPS@DST.DK

More Related