Konsekvenser af forskellige skalatyper

1. Konsekvenser af forskellige skalatyper Svarskalaer, Skalalængde og Skalamærker Jacob Bjældager og Nis Vilhelm Benn

2. Baggrund • Websurvey-eksperiment – vi har blandt andet undersøgt konsekvenserne af alternative skalatyper • Metodeudviklingsprojekt i samarbejde mellem analyseinstituttet Userneeds og konsulentvirksomheden Strategos • Data indsamlet blandt 1.043 respondenter i Userneeds’ Danmarkspanel i november 2008 • Analyser gennemført af Strategos

3. Eksperimentets formål • Metodeudvikling generelt i forhold til Userneeds’ dataindsamling • Metodeudvikling specifikt i forhold til Userneeds’ Danmarkspanel • Metodeudvikling specifikt i forhold til Strategos’ undersøgelser af strategi-implementering, trivsel og sygefravær

4. Databeskrivelse • 1.043 voksne lønmodtagere på alle niveauer fra Userneeds ”Danmarkspanel” • Websurvey – cirka 50 spørgsmål • Dataindsamling: 7.-12. november 2008 • Svarandel: 65 % • Demografisk vægtet ift. arbejdsstyrken (med faktor 0,12 – 6,89) • Datakvalitet:71 personer fjernet – halvdelen pga. kort svartid og halvdelen pga. datakvalitet (ringe variation indenfor skærmbilleder og utroværdige svar)

5. Resultaterne af 3 eksperimenter • Konsekvenserne af alternative svarskalaer • Meget uenig - Meget enig / Grad af enighed • Konsekvenserne af alternative skalalængder • 7 / 5 svarmuligheder • Lige / ulige antal svarmuligheder • Konsekvenserne skalamærker på to fempunkts-skalaer • Slet ikke - I meget høj grad • Meget utilfreds - Meget tilfreds

6. Grads-skala eller enighedsskala? • Det er meget almindeligt at benytte skalaerne: • Slet ikke – I meget høj grad (gradskala) • Meget uenig – Meget enig (enighedsskala) • Vi vil gerne vide, hvilke konsekvenser det har for svarfordelinger at bytte dem ud med hinanden.

7. Grads-skala eller enighedsskala? • Består af 9 deleksperimenter

8. Grads-skala eller enighedsskala? • Alle 9 spørgsmål er stillet med 7 svarkategorier, men på to forskellige skalaer • Slet ikke – I meget høj grad • Meget uenig – Meget enig • Spørgsmålene er stillet i to blokke med tilfældig trækning til, om man fik den ene eller anden skala i hver blok. • Laveste N = 374.

9. Grads-skala eller enighedsskala? • Der er meget variation i spørgsmålene

10. Grads-skala eller enighedsskala? • Og her knap så meget

11. Grads-skala eller enighedsskala? • For 6 af de 9 eksperimenter – det første og de fem sidste – har en gennemsnitlig forskel på gennemsnittet i eksperimenterne på 0. • For de øvrige 3 – nummer 2-4 – er forskellene i gennemsnit meget store. Enighedsskalaen giver gennemsnitligt 14 point mere i gennemsnit. • De tre spørgsmål er muligvis sværere at svare på. Et er omvendt, et andet svært at forstå og et tredje kræver decideret kendskab til strategien. • En mulig konklusion: Hvis folk har svært ved at svare – er det sværere at erklære sig uenig.

12. Alternative skalalængder • Her udfører vi to overordnede eksperimenter • Forskellen på 7 og 5 svarkategorier • Forskellen hvad der sker, hvis man går fra 7 til 6 eller 8 svarkategorier (eller fra et ulige til et lige antal)

13. Alternative skalalængder – 7 eller 5? • Består af 6 deleksperimenter • 3 med skalaen Meget utilfreds – Meget tilfreds

14. Alternative skalalængder – 7 eller 5? • Består af 6 deleksperimenter • De 3 øvrige med skalaen Slet ikke – I meget høj grad

15. Alternative skalalængder – 7 eller 5? • Generelt højere gennemsnit på 5-skala end på 7-skala (omregnet til 0-100 skala). • 7% færre i laveste ’halvdel’ af skalaen og 7% flere i midterste kategori på 5-skala end på 7-skala – i gennemsnit • Andelen i øverste ’halvdel’ af skalaen er uændret – i gennemsnit

16. Alternative skalalængder – Midterkategori? • Består af 2 x 2 deleksperimenter • Alle 4 med skalaen Helt uenig – Helt enig

17. Alternative skalalængder – Midterkategori? • I 3 af 4 tilfælde lavere gennemsnit på skala uden midterkategori end på skala med midterkategori • På spørgsmålet ”Jeg føler mig motiveret i mit arbejde” er stigningen lige stor på i nederste og øverste ’halvdel’ af skalaen, når neutralt svar umuliggøres • På spørgsmålet ”Jeg ser altid frem til at gå på arbejde” er stigningen meget større i den laveste end i den højeste ’halvdel’ af skalaen, når neutralt svar umuliggøres

18. Alternative skalamærkninger • Betydende… • At vi ser på forskellen på at have skalamærker kun i de yderste kategorier og på alle kategorier på 5-punktsskalaer. • Interessant fordi… • ’Likert’-inspirerede spørgsmål har benævnelse på alle kategorier • Og det burde være overflødigt, hvis folks diskrete svar på 5-punktsskalaen afspejler en ’rigtig’ underliggende fordeling. • Denne type spørgsmål er meget hyppigt anvendt i forskning såvel som af analyseinstitutter

19. Alternative skalamærkninger • Består af 6 deleksperimenter • De 3 her med skalaen slet ikke – i meget høj grad

20. Alternative skalamærkninger • Skalaen for de tre deleksperimenter er • Slet ikke / I ringe grad / I nogen grad / I høj grad / I meget høj grad

21. Alternative skalamærkninger • Gennemsnitligt resultat af de tre deleksperimenter • Det har ingen indflydelse på gennemsnittet • Men skalaen bliver komprimeret, når der er forklaringer på alle kategorier • Og – hvor skalaen komprimeres mest – er der 17%-point flere af respondenterne i midterkategorien, når der er ord på alle svarkategorier. • I et af de andre eksperimenter dette tal kun 2% - og komprimeringen kommer af, at folk er rykket lidt væk fra enderne.

22. Alternative skalamærkninger • Består af 6 deleksperimenter • De 3 her med en tilfredshedsskala

23. Alternative skalamærkninger • Skalaen for de tre deleksperimenter er • Meget utilfreds / Utilfreds / Hverken tilfreds eller utilfreds / Tilfreds / Meget utilfreds • Det er en stigning i gennemsnit på mellem 10 og 15%.

24. Alternative skalamærkninger

25. Alternative skalamærkninger • Det er nærliggende at tænke… • At Likert-lignende tilfredshedsskalaer slet ikke fungerer efter hensigten eller / og • At tilfredshedsskalaer er binære, hvis man eksplicit gør folk opmærksomme på, om at det rent faktisk er en tilfredshedsskala eller / og • At Likert-lignende tilfredshedsskalaer ikke egner sig til regression fordi man dropper en del variation og kompromitterer normalfordelingsantagelsen

26. 3 takeaways • Fokusér ikke bare på spørgsmålsformuleringer – skalavalg har også betydning • Sammenligning/benchmarking på tværs af surveys er risikabelt, fordi surveys er et følsomt måleinstrument • Undlad at bruge ikke-validerede Likert-lignende skalaer til forskningsformål