9. Kvantitative metoder - spørgeskemaer

1. 9. Kvantitative metoder -spørgeskemaer

2. Opgave efter midtvejsevalueringen den 16/4 • Lav tilpasning efter jeres 1. midtvejsevaluering • Udkast til spørgeskema og hvad der skal undersøges med skemaet. • Saml jeres opgave indtil nu og send den til: paul@media4masses.dk og prm@itu.dk og jeres opponentgruppe Senest den weekenden 20-21 april.

3. Er noget objektivt? ” I virkeligheden er alle rådata kvalitative af natur. Nogle af disse data har vi valgt at kategorisere og tælle op i antal, symboliseret ved arabiske tegn, som vi kalder tal. Men det bliver de jo ikke mere objektive af” Ib Andersen i ”Den skinbarlige virkelighed”

4. Kvales syv stadier

5. At beskrive At generalisere Bredde Intervieweren – objektiv Eks. hvor mange ryger At forstå At illustrere tendenser Dybde Intervieweren - subjektiv Eks. hvorfor de ryger Kvantitativ vs kvalitativ

6. Et spørgsmål? • Hvilke af de to udsagn er mest i overensstemmelse med din holdning? • Tyrkiet bør blive medlem af EU en gang i fremtiden, hvis landet gennemfører de nødvendige politiske og økonomiske reformer • Tyrkiet bør aldrig optages I EU på grund af landets kulturelle og religiøse forhold.

7. Det ene eller det andet..? • Respondenter – primært i spørgeskemaer • Informanter – interview og fokusgrupper

8. Hvornår er spørgeskemaer det rigtige redskab? • Når man gerne vil indsamle mange besvarelser • Når man gerne vil arbejde med kvantificerbare data • Når man gerne vil kunne generalisere sin resultater fra undersøgelsen til en større population

9. Dataindsamling • Skal tilrettelægges, så vi får en repræsentativ stikprøve – i den virkelige verden • Overvej: Hvem er målgruppen for undersøgelsen? • Hvem er det, vi vil sige noget om? • Hvordan får jeg indsamlet en repræsentativ stikprøve af besvarelser fra denne målgruppe?

10. Undersøgelsens målgruppe • Vigtigt, at I er helt skarpe på, hvem det er, undersøgelsen skal sige noget om. • I skal have en helt præcist defineret målgruppe. • Ellers kan I ikke lave en repræsentativ stikprøve, og I kan ikke sige noget om noget som helst.

11. Metodiske overvejelser • Udvikling af spørgeskemaet, så det er validt - så det faktisk måler det, vi gerne vil måle. • Dataindsamlingen: Hvordan indsamler jeg data, så jeg får en repræsentativ stikprøve • Databehandling: Forholde sig til det indsamlede data. Er det i orden? Hvad kan jeg sige med det indsamlede data i hånden?

12. Udformning af et spørgeskema - målgruppen • Tænk over, hvem målgruppen er. • Det har blandt andet betydning for: • Det sprog, I kan bruge i skemaet. • Hvilke spørgsmål I meningsfyldt kan stille • Hvor mange spørgsmål, I kan tillade jer at stille

13. Udformning af et spørgeskema - længde Hvor langt må skemaet være? • Så kort som muligt • Hvad er ”need to know” og hvad er ”nice to know”. • Et kort skema og objektive spørgsmål øger svarprocenten • Afhænger af spørgsmålenes emne og undersøgelsens målgruppe • Som hovedregel bør det ikke tage mere end 15- 20 minutter at besvare. Herefter falder folk fra…på nettet er det kortere tid.

14. Udformning af et spørgeskema – gør det let! Sørg for at gøre det let at besvare det: • Skab et godt flow i spørgsmålene • Gør det let for respondenterne at overskue skemaet og strukturen i skemaet • F.eks. Ved at samle spørgsmålene i grupper efter emne, bruge de samme svarkategorier og indsætte tekst, der guider respondenten igennem skemaet • Folk springer fra, hvis det er for besværligt - ikke mindst på nettet

15. Udformning af et spørgeskema - rækkefølgen Rækkefølgen på spørgsmålene: • Vigtigt at tænke det godt igennem. • Et spørgsmål kan påvirke respondenternes svar på et andet spørgsmål. • Tænk derfor over, hvad respondenterne præsenteres for, hvornår.

16. Hvad gik galt? • I forbindelse med et kursus blev deltagerne bedt om at give svar på enten en hjemmeside eller et skema, der blev udleveret på kurset. Resultaterne viste, at de, der udfyldte det på internettet, svarede, at de var ”meget tilfredse” eller ”tilfredse” med kurset generelt. Men de, der svarede på papirskemaet, var ”meget utilfredse” eller ”utilfredse” med kurset generelt. Men i de efterfølgende svar var de meget positive over for kurset. • Det viste sig, at rækkefølgen af spørgsmålene i papirudgaven af spørgeskemaet var vendt om, så de startede med ”meget utilfreds”, ”utilfreds”, ”hverken eller”, ”tilfreds” eller ”meget tilfreds”. • Respondenterne havde ikke læst spørgsmålene grundigt, men var gået ud fra, at det mest positive var øverst.

17. Udformning af et spørgeskema – generelt til konkret Rækkefølgen på spørgsmålene: • Gå fra det overordnede/generelle til det mere konkrete. • F.eks. start med overordnet tilfredshed og spørg derefter til tilfredshed med konkrete elementer.

18. Udformning af et spørgeskema Rækkefølgen på spørgsmålene: • Start med de ”lette/ukontroversielle” spørgsmål. • Gem de mere svære spørgsmål. • Men start ikke med: alder, køn – hvis I ikke skal sorterer folk fra • Folk må heller ikke føle sig ”gået for nær” – så start ikke med at spørge til folks indkomst • Slut med de simple – alder, køn, etc.

19. Spørgsmålstyper: Åbne spørgsmål • Ingen prædefinerede svarmuligheder • F.eks. Hv-spørgsmål. • Respondenten får lov til at komme med sin umiddelbare og ”ustyrede” holdning. • Skal ikke presses ned i svar-kategorier. • Begræns brugen af det. • Data svære at behandle • Brug det som et supplement til de lukkede spørgsmål. ”Har du yderligere kommentarer”, ”Uddyb evt. din besvarelse her”. • Ellers overvej kvalitative interviews i stedet.

20. Spørgsmålstyper: lukkede spørgsmål • Prædefinerede svarmuligheder • Respondenten kan kun vælge mellem bestemte svarmuligheder. • Man tvinger respondenten • Giver andre muligheder i databehandlingen • Derfor meget vigtigt, at svarmulighederne er dækkende.

21. Spørgsmålstyper: Halvåbne spørgsmål Prædefinerede svarmuligheder og en åben svarmulighed De respondenter, der ikke føler sig dækkede de prædefinerede svarmuligheder, kan notere et svar i den åbne. Er ofte en god løsning

22. Spørgsmålsformuleringer • Det er vigtigt for undersøgelsens validitet, at vi spørger rigtigt. • Som man spørger, får man svar. • Hvis vi spørger forkert, måler vi ikke det, vi gerne vil måle.

23. Udformning af et spørgeskema - adfærd Er det særligt validt at måle folks adfærd ved at spørge til den? Holdninger ><adfærd. Folk ser altid DR2 og stemmer aldrig DF

24. Udformning af et spørgeskema – hypotetiske ? Ikke hypotetiske spørgsmål. ”Hvad ville du gøre, hvis…”? Alle ville altid gerne gøre en masse godt for miljøet, børnefamilierne og hinanden, hvis de bare havde mere tid og flere penge... Igen, hvor validt et mål er det?

25. Udformning af et spørgeskema – en fri frokost? Hvad giver det mening at spørge folk om? ”Bør der efter din mening bruges flere penge på at forberede den offentlige service?” Det er aldrig en gratis frokost…

26. Udformning af et spørgeskema – følsomme emner Hvad giver det mening at spørge folk om? Tænk over følsomme emner. Hvordan kan jeg spørge, så folk svarer ærligt?

27. Spørgsmålsformuleringer • Eksempler på dårlige spørgsmål og en forklaring på, hvorfor de ikke fungerer. • Gør ikke de samme fejl!

28. Eksempel 1 • Er du enig eller uenig i følgende udsagn? Efterspørgslen efter energi vil i de kommende år blive så stor, at det er en god idé at indføre atomkraft i Danmark, da A-kraftværkerne nu er meget sikre. • Helt uenig • Uenig • Hverken enig eller uenig • Enig • Helt Enig • Ved ikke/Vil ikke svare

29. Kun én dimension i ét spørgsmål • Spørgsmål må kun have én dimension. I det spørgsmål er der 3 dimensioner. • Der må kun være ét udsagn i hvert spørgsmål. • Ellers ved man ikke, hvad folk svarer på. • Spørgsmålet er ledende: Lægger ord i munden på folk

30. Eksempel 2 • Det diskuteres for øjeblikket, hvordan vi får råd til fremtidens velfærd. En af mulighederne er at forebygge ulykker, sygdomme og nedslidning, hvilket måske kan spare det offentlige for mange milliarder kroner. Bruger vi penge nok på forebyggelse? • Ja • Nej • Ved ikke/Vil ikke svare

31. Spørgsmål må ikke være ledende • Den spørgsmålstekst er ledende • Man kan næsten ikke svare nej • Det er meget vigtigt, at spørgsmålene er formuleret så neutralt som muligt. • Undgå ladede ord • Tænk nøje over de ord, I bruger! • Ellers påvirker vi respondenterne til at svare noget bestemt

32. Eksempel 3 • Er du enig eller uenig i følgende udsagn? Der er behov for grundlæggende reformer af det danske velfærdssamfund. • Helt uenig • Uenig • Hverken enig eller uenig • Enig • Helt Enig • Ved ikke/Vil ikke svare

33. Klart sprog! • Det er uklart, hvad respondenterne erklærer sig enige eller uenige i • Hvad er ”grundlæggende reformer”? • Spørgsmålsformuleringer og svarmuligheder må ikke kunne misforstås • Ellers er respondenterne ikke sikre på, hvad de svarer på… • Og fortolkningen af svarene bliver svær.

34. Klart sprog! • I skal bruge ord, der ikke kan misforstås • Formuleringerne skal være korte og præcise • Skriv i øjenhøjde med respondenterne • Lange spørgsmål er forvirrende og svære at svare på • Undgå fagudtryk og indforståede begreber ”community” eller ”lurkers” • Undgå ord som f.eks. ”forfordele”.

35. Eksempel 4 Er du enig eller uenig i følgende udsagn? De stramme regler for asyl og familiesammenføring bør fastholdes. Kræfterne bør fremover bruges på bedre integration. • Helt uenig • Uenig • Hverken enig eller uenig • Enig • Helt enig • Ved ikke/Vil ikke svare

36. Igen flere udsagn i ét spørgsmål • Der er to udsagn i det samme spørgsmål. • Man kan sagtens være enig i det ene og uenig i det andet. • Hvilket af dem svarer folk så på? • Det er svært for folk at svare på og svært at fortolke bagefter. • Jeg ville også undgå ordet ”stramme”.

37. Eksempel 5 • Sæt kryds ved de udsagn, du mener passer på Kanal Y (Sæt gerne flere kryds) • Kanal Y er vigtig for mig • Jeg vil nødig undvære kanalen • Min partner eller andre i husstanden vil nødig undvære kanalen

38. Dækkende svarmuligheder • Hvad med dem, der ikke bryder sig om kanal Y? • De har ingen svarmuligheder • Svarmulighederne skal være dækkende • Alle skal kunne finde en svarmulighed, som passer på dem. • Ellers tvinger man folk til at svare noget, der måske ikke reelt dækker deres holdninger

39. Dækkende svarmuligheder • Skal folk have mulighed for at svare ”Ved ikke”? • Folk skal have mulighed for ”ikke at have en holdning” eller være uafklarede • Der skal være en god grund til at tvinge folk til at tage stilling. • F.eks. Ved baggrundsspørgsmål som køn, alder ol.

40. Symmetriske svarskalaer • Eksempelvis den såkaldte: Lickert-skala • 5 – punktsskala med neutral midterkategori • Helt enig, enig, hverken enig eller uenig, Helt uenig. • Meget tilfreds, tilfreds, hverken tilfreds eller utilfreds, utilfreds, meget utilfreds. • Osv.

41. Mere om svarmuligheder • Sørg for, at de er tilstrækkeligt findelte og præcise • Vi vil jo gerne have så meget information som muligt. • Man kan altid slå svarkategorier sammen bagefter, men man kan ikke gå den anden vej. • Spørg f.eks. til partivalg i stedet for blok. • Dog må spørgsmålet heller ikke blive for langt og uoverskueligt • Generelt max 7 svarmuligheder

42. Generelt om svarmuligheder • De skal opleves som relevante og dækkende • Betydningen skal være klar, og det skal være let for respondenten at placere sig selv • Spørgsmålet skal være let for respondenten at overskue • Skal være gensidigt udelukkende • Husk også at overveje, om det kan være relevant at lade respondenterne vælge flere svarmuligheder

43. Metodefejl • http://ekstrabladet.dk/nationen/article1410368.ece En lektor går amok… • http://metelmann.wordpress.com/2010/09/16/nar-journalister-skriver-til-overskriften/

44. Spørgeskemaer på nettet • Her er en oversigt over steder, hvor man oprette webbaserede spørgeskemaer. Nogle af stederne er der dog begrænsninger på hvor man mange besvarelser, der kan indtastes. Desuden kan det være at de forlanger betaling for større undersøgelser. • http://www.defgo.dk/contact/students.html • http://www.trictrac.com/ • http://www.onlineinterview.dk/index.html • www.surveymonkey.com • www.questback.dk • http://my.intrateam.dk/tags/sp-rgeskemaer • www.surveyxact.dk • www.eplugs.net/plugs/.Home/W3/ThePlugsEplugs <http://www.eplugs.net/plugs/.Home/W3/ThePlugsEplugs> • www.inquisite.com • www.zite3.dk • docs.google.com • www.limesurvey.org • www.enalyzer.dk • http://www.questionpro.com/akira/showEntry.do?utm_source=QuestionPro&utm_medium=surveyref&utm_content=freetrial28&siteRef=367241 Jeg har hørt meget godt om Enalyzer og Surveymonkey. Googledocs skulle også være godt til mindre avancerede spørgeskemaer. Husk at tjekke om de skal have penge for nogle af oplysningerne kan hentes hos dem eller hvis det er over en hvis grænse af respondenter.