130 likes | 301 Views
Kvalitetsmålinger ved hjelp av paradata. Øyvin Kleven og Gustav Haraldsen Seksjon for planlegging og brukertesting Avdeling for datafangst Statistisk sentralbyrå, Norge. ” Nye datamuligheder” i kvalitetsarbeidet. Datainnsamlingsprosessen. Foregår ”utenfor institusjonen”
E N D
Kvalitetsmålinger ved hjelp av paradata Øyvin Kleven og Gustav Haraldsen Seksjon for planlegging og brukertesting Avdeling for datafangst Statistisk sentralbyrå, Norge Nordisk Statistikermøde - København. Danmark 11-14 August 2010
”Nye datamuligheder” i kvalitetsarbeidet Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Datainnsamlingsprosessen • Foregår ”utenfor institusjonen” • Vanskeligere å måle enn en del andre ”interne prosesser” • Men er svært avgjørende for kvaliteten i statistikken • I metodelitteraturen ofte pekt at det er svært begrenset hva vi vet om hva som foregår ”ute hos respondenten” Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Datainnsamlingsprosessen • Vi forsøker gjerne å lage gode innsamlingsprosesser ved testing i forkant • Siden 1980 tallet vanlig å benytte kognitive intervjuer for å få innblikk i svarprosessen • Behov for å utvikle metoder som kan gi oss informasjon om svarprosessen direkte • Paradata kan brukes til dette Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Pradata hva er det? • Paradata kan defineres som data som beskriver hvordan respondenten fylte ut et spørreskjema i motsetttning til hva de fylte in • Server Side Paradata (SSP) er informasjon som genereres i serveren og dreier seg om hvilke websider brukeren klikker seg inn på. • Client Side Paradata (CSP) er informasjon om hva som foregår innenfor en webside. Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Bindeledd mellom kvalitative tester og kvalitetsindikatorer for svarprosessen • I SSB har vi benyttet paradata som et supplement til tradisjonelle kvalitative tester av skjema, der hvor vi identifiserer problemer i skjemaet i små strategiske tester kan vi etterprøve det ved paradata. • Paradata kan benyttes til å kvantifisere kognitive problemer eller for å identifisere spørsmål som bør testes kvalitativt. • Paradata kan dermed sies å ”avsløre” dårlige spørsmål og byrdefulle prosesser som ellers er gjemt inne i elektroniske skjemaer. Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Bindeledd mellom kvalitative tester og kvalitetsindikatorer for svarprosessen Survey QDET Client side Para data Cognitive process In depth interview Test observations Quality indicators Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Paradata kan si noe om hvor enkelt respondentene synes det er å svare på et spørsmål Thinking about last time you bought something from Statistics Norway, were you satisfied or dissatisfied with the following? Give one answer on each line. Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Eytracker lar oss komme enda lenger inn i hodene på respondentene ved bruk av paradata Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Fokusområder Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Adferdsregistrering og client side paradata ved Eyetracker Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Oppsummering • Innenfor kvalitetsarbeidet i statistikkbyråene er det viktig å forsøke å måle kvaliteten i de ulike produksjonsprosessene. • Den ”eksterne” prosessen å samle inn data er spesielt viktig å måle siden den er helt avgjørende også for kvaliteten på sluttproduktet. • Etter elektronifiseringen av datafangsten de siste 10 – 15 år har vi fått nye datakilder som kan hjelpe oss til å måle denne prosessen. • Paradata kan sammen med teori og kvalitative metoder bidra til å kaste lys over spørsmål og svar prosessen i datafangst • Eytracker teknologi utnytter både tradisjonell kognitiv testing og paradata, sammen gir dette et sterkt måleinstrument for å avdekke målefeil og forbedre våre skjemaer i planleggingsprosessen. Nordisk Statistikermøde - København. Danmark 11-14 August 2010
Takk for oppmerksomheten! Nordisk Statistikermøde - København. Danmark 11-14 August 2010