Spørgeskemaer: Indikatorer, bortfald spørgsmålsformulering & skemakonstruktion

1. Spørgeskemaer: Indikatorer, bortfaldspørgsmålsformulering & skemakonstruktion Cross Media Communication Dan Pedersen, 2013

2. Spørgeskemaer • 3 typer: Enquete; Telefoninterview; Besøgs-interview • Statiske & dynamiske undersøgelser • Statiske: Enkeltstående, beskrivende • Dynamiske: regelmæssigt gentagne (evt. panel) • Opinionsundersøgelser & videnskabelige undersøgelser

3. Fire måder at arbejde med spørgeskemaer i vores sammenhæng.

4. Spørgeskemaet og den kvantitative metode • Formål: at vise korrelationer: Mønsteret af samvariationen på to eller flere målbare variable over mange cases. • Det favoriserer generaliserbarhed • Vil sige ”så meget som muligt” på baggrund af ”så lidt som muligt • Kvantitative forskere ofrer ”dybde viden” om hver enkelt case for at få et billede af det brede (generelle) mønster. Variable • Uafhængig variabel (årsager): det der forklarer variationen i den afhængige variable. • Afhængig variabel: (Effekter): Det man ønsker at forklare.

5. Mål for den kvantitative forskning: Identifikation af generelle mønstre og relationer i variationerne: • Sammenhæng mellem fænomen A og B (Alder og tv-forbrug) • Give vigtige ”spor” om årsagssammenhænge. • Sammenhænge kan dog også være forklaret af en tredje uidentificeret variabel. • Kvantitativ forskning bruger årsagssammenhænge synonymt med forklaring. • Samvariation identificeres. • Årsagssammenhænge kan udspringe af samvariation – hvis der kan opbygges en forklaring på baggrund af den årsagssammenhæng. Test af teori: • Test er forskellig fra brug: Skaber mening i et allerede indsamlet datamateriale. • Teoridannelsen er udgangspunktet for ideer (teorier og hypoteser). • Foretage forudsigelser: valgprognoser, trafiktællinger, seermålinger.

6. Spørgeskemaet – et instrument – Hvornår og hvorfor? • Der skal være interviewpersoner nok til, at det er umagen værd at tælle og fordele på de undersøgte variable • Hele populationer – eller stikprøver? • Alle måles på præcis samme måde • Svarvariable konverteres til talværdier • Hver enhed har for hver variabel kun én værdi. H&A S. 98

7. Population: • Undersøgelsespopulation: • Hvem omfatter undersøgelsen. • Der er en nøje sammenhæng mellem hvad man vælger at undersøge og hvem man vælger at undersøge. • Det mest almindelige er at populationen udgøres af • individer (populos), men også • Familier/husstande • Organisationer, skoler, stater osv. • Hændelser: registrerede selvmordsforsøg • De enheder der indsamles data fra kaldes analyseenhederne.

8. Population 2 Kategori Elementerne i kategorien Undersøgelsesenheder [cases] Udvalgsenheder Stikprøveenheder Bortfaldsenheder Analyseenheder • Undersøgelses population • Udvalgspopulation • Stikprøve • Bortfald • Analyseudvalg

9. Udvalgspopulation: • Udvalgsrammen • Får man udvalgt sin population fra den rigtige ramme? • Har sortseere f.eks. en mulighed for at være med i TV-meterpanelet? • Hvem er studerende? • Hvilke uddannelser (gymnasiet / folkeskolen /mesterlærer). • Hvor mange timers efteruddannelse/a-kasse kurser? • Et godt råd: Se hvordan man ’plejer’ at gøre. Det skaber ofte større sammenlignelighed eks. geografisk spredning af skoler. • Der kan være så store problemer med at etablere en tilfredsstillende udvalgspopulation, at man må ændre undersøgelsens teoretiske afgrænsning. • Ofte bruger man en udvalgsenhed, før man finder en analyseenhed. F.eks. ringes en husholdning op, og der spørges efter den første i husholdningen, der har fødselsdag.

10. Totaltælling og stikprøver • Totaltællinger: Alle i populationen er med i undersøgelsen • Stikprøver: 2 typer: • Repræsentative • Ikke repræsentative • Repræsentative stikprøver • Den udvalgte delmængde af enheder fra populationen udgør undersøgelsens stikprøve. • Man lader sig vejlede af en stikprøve (et miniaturebillede af populationen). • Personerne i stikprøven skal principielt være fordelt som i populationen. De udtrækkes tilfældigt, så der kommer skævheder, men de er tilfældige – ikke systematiske: • Tilfældig variation: Forskellen mellem faktisk og teoretisk fordeling. Netop tilfældig – ikke systematisk.

11. Udvælgelsesmetoder i repræsentative stikprøver • Simpel tilfældig udvælgelse: lodtrækning uden tilbagelækning – fx bankospil: alle analyseenheder har samme sandsynlighed for at blive valgt. • Systematisk udvælgelse: Efter fastlagt princip: hver 4. på en liste; lige husnumre etc. • Stratificeret udvælgelse: • Formål at sikre at alle undersøgelsens hypoteser (om del/undergrupper) kan testes på baggrund af et tilfredsstillende antal observationer. • Ofte foretages simpel tilfældig udvælgelse på hver ad de relevante grupper. • Man skeler til hvad man ved om grupperne og lader disse overvejelser indgå i udvælgelseskriterierne. • Klyngeudvælgelse: Typisk geografiske grupperinger /klynger, der gør det billigere at indsamle data: F.eks. kommuner, skoler osv.

12. Stikprøvens Størrelse: • Størrelsen skal tage udgangspunkt i formålet. • 4 forhold har stor betydning: • Den ønskede nedbrydning af resultaterne: jo flere grupper – jo større stikprøve (hver gruppe skal være på mindst 100). • Populationens homogenitet: Jo mere heterogen population – jo større stikprøve. • Kravet til resultaternes reliabilitet: stikprøveresultatet skal være mere end 95 % sandsynligt. Konklusioner skal drages på et signifikansniveau over 95 %. • Omkostningerne.

13. Ikke repræsentative stikprøver • Baseres på bevidst udvælgelse. Ofte tilsyneladende repræsentativ for populationen. • Kvoteudvælgelse: udvælgelsen sker på baggrund af at respondenterne opfylder prædefinerede kriterier. • Især i eksplorative undersøgelser. • Sneboldudvælgelse (snow ball sample) • Bekvemmelighedsudvælgelse • Selvudvælgelse (Ang, Radway)

14. Survey former & konsekvenser

15. Bortfald: Bortfaldet størst i enqueter – postomdelte spørgeskemaer – og noget mindre ved CATI interviews (telefon) • Objekt bortfald: personer mm. der ikke ønsker at medvirke • Nægtere • Ikke trufne • Indirekte nægtere – undskyldninger i stedet for afslag. • Enqueter – manglende returneringer. • Partielt bortfald: mangelfulde besvarelser • Hvis mange spørgsmål er ubesvarede, kan man overveje, at udelade spørgeskemaet – så bliver det i stedet objektbortfald. • Årsagerne til partielt bortfald vil ofte være spørgeskemaets udformning (formuleringer, emner, længde).

16. Bortfaldsanalyser: Hold øje med bortfaldet: • 2 problemer: bortfaldet størrelse og sammensætning. • Hvis der mangler mange besvarelser – hvad så? • Er bortfaldet tilfældigt eller systematisk? • Foretag sammenligninger • Afviger det på afgørende variabler fra populationen som helhed? • Hvad er afgørende variabler? • En tommelfingerregel for postomdelte spørgeskemaer er at en svarrate på: • Over 85% – Storartet • 70 -85% – Fint • 60 – 70% - Acceptabelt • 50 – 60% - Mindre acceptabelt • Under 50% - Ikke acceptabelt

17. Surveys på internettet • Især egnede til ”netdanmark” eller mere specifikke populationer (Facebook-brugere/sociale netværk). • Stikprøverne er ikke repræsentative, da netdanmark adskiller sig fra populationen af danskere som helhed mht. køn, alder, uddannelse, bopæl og interesser mm. • Den vigtigste problemstilling i forhold til netanalyser er selvmeldingen. Hvem er det der melder sig – og i hvilken grad influerer det på repræsentativiteten? • Til gengæld er det nemt: • Der findes flere firmaer, der tilbyder delvis gratis software for studerende. • Ikke alle problemstillinger kræver repræsentative samples.

18. Spørgsmål & svar i spørgeskemaer: Alle spørgeskemaers moder?

19. Udspekulerede alternativer • Den konsekvente • Den (selv)manipulerende

20. 5 Spørgsmålstyper med 3 dimensioner • Indholdsdimensionen • Faktuelle: Alder, køn, handlinger etc. • Kognitive (viden): Hvem, hvilke, hvor mange etc. • Holdnings: Hvor enig, tilfreds etc … • Evaluerings. Sammenligninger med før efter (ofte også holdningsspørgsmål). • Tidsdimensionen: fortid, nutid, fremtid • Svardimensionen: åbne eller lukkede spørgsmål

21. Videnskabelig sprogpraksis vs. hverdagssprog • Udgangspunkt: vi taler ”samme sprog” • ”oversætte” begreber til hverdagssprogligt indhold. • Kommunikationsopfattelse i spørgeskemaet: transmission: stimuli - respons • Får vi svar på det vi spørger om (validitet) • ”Vi får svar på det, folk tror vi spørger om”. (Chesterton, krimi-forfatter)

22. Svarkategorier • Dække ”svarudfaldsrummet” og være hinanden udesluttende. • Neutral kategori: Lige/ulige • Ved ikke kategorien • Kognitive spørgsmål vs. holdningsspørgsmål • Irrelevante spørgsmål • Logiske filtre • Effekt af svarrækkefølgen

23. Måleniveau og skalatyper • Nominalskalaer: afgør kvalitative egenskaber (fx køn eller uddannelse) • Ens eller forskellig: a=b og a≠ b • Ordinalskalaer: entydig rangordning af variabler (svar) • 1 fuldkommen enig; 2 Ret enig; 3 Ret uenig; 4 Fuldkommen uenig. • Ofte, af og til, Sjældent, aldrig • Intervalskalaer: rangorden og interval uden fast nulpkt. • Årlig indkomst i kr. Alder i leveår: _________ . • Ratioskalaer: rangorden og interval med fast nulpunkt • Alder: 10-19, 20-29 etc.

24. Mål og indikatorer • Mål er det, der umiddelbart kan sanses og afgøres, ved at spørge direkte til det. • Indikatorer er operationaliseringer af begreber • Bryd begrebet ned i en række relevante dimensioner – hvor hver dimension bliver et mål. • Stil spørgsmål til de enkelte dimensioner. • 2 svarmuligheder • Hvis alle dimensioner er lige vigtige, kan antallet af valg/positive tilkendegivelser tages til indtægt for hvordan man forholder sig til begrebet. • I tilfælde hvor alle dimensioner ikke er lige vigtigt, kan dimensionerne tildeles point efter vigtighed • Lykke; tillid – Hvad er dimensionerne?

25. Ords betydningsvidde og flertydighed • Semantisk felt: ordets ”intention” – betydningsindhold. • Flertydighed: ekstension – den empiriske reference der kan knyttes til ordet. • Spørgsmåls præcision: tomme pladser: flertydige ord kan finde deres betydning i kontekstens entydighed.

26. Not to do … • Tekniske, informationsbærende ord • Hvor ofte ser De reality-tv? • Dobbelte negationer • Er det ikke sådan, at man ikke kan afgøre …. • Lange spørgsmål: Bryd op i delspørgsmål • Værdiladede eller ubalancerede spørgsmål • Flere positive end negative kategorier/ladede ord • Retrospektive spørgsmål: Hukommelsen er usikker • Følsomme og belastende emner • Fiktive emner

27. Svagheder ved spørgeskemaer • Beror på selv-rapportering, der kan være unøjagtig. • Brugen af verbale måleenheder til af observerbare begivenheder, repræsenterer måske ikke helt, hvad der skete. • Giver kun grader af tilkendegivelser, og kan derfor ikke i sig selv gøre det ud for kausale forklaringer