Gæði mælinga

1. Gæði mælinga Stefán Hrafn Jónsson 27-2-2014

2. http://www.youtube.com/watch?v=pVeTexc4YgE

3. Mælingar • Ferlið að setja tölur eða texta á einingar í úrvinnslu (t.d. einstaklinga) þannig að það endurspegli t.d. magn, styrk, umfang hugtaks. • Dæmi: Hversu góð/góður/gott var • kvikmyndin (4 ½ stjarna af 5 mögulegum), • veitingastaðurinn (vondur matur en fín þjónusta) • stefnumótið (algerlega mislukkað).

4. Lykilhugtök í mati á gæðum mælinga • Áreiðanleikimælinga • Hversustórhlutidreifingar á mæligildiertilkominvegnadreifingar í raungildi • Hversunákvæmmælinginer • Réttmætimælinga • Hvort og hversuvelviðmælumþaðsemviðviljum/ætlumaðmæla. • Aðviðséumekkiaðmælaeitthvaðannað en þaðsemviðætlumaðmæla

5. Lykilhugtök • Líkan/módel (e. model) • Mælingamódel • Dulin breyta (e. latent variable) • Raungildi (sanngildi, e. true score) • Mæligildi (e. observed score) • Villa mælinga • Ókerfisbundin villa • Minnkar áreiðanleika og réttmæti • Kerfisbundin villa • Minnkar réttmæti

6. Samsettar mælingar • Sumar mælingar eru samsettar úr atriðum (spurningum) sem eiga sameiginlega orsök • Henta til þáttagreiningar og til að reikna Chronbacksalpha • Sumar mælingar eru samsettar úr atriðum (spurningum) sem eiga ekki sameiginlega orsök (t.d. áföll) henta ekki til þáttagreiningar

7. Dulin breyta og atriði • Hugmyndinaðbakisambandinu á millihugtaka, duldrabreyta og mælingaermjögmikilvæg • Byggir á classical measurement theory semmunnýtastmjögvelsíðar. • Sígildamælingakenningin • Grundvallarhugmynderaðdulinbreytahafiáhrif á hvernigfólksvararspurningum (atriði). • Efbreytahefuráhrif á atriðimágeraráðfyrirfylgniþar á milli.

8. Mælingalíkan fyrir scale/index með sameiginlega orsök Dulin breyta Greind D sp1 sp3 sp2 e1 e2 e3 SP1 SP2 og SP3 eru þá þrjú atriði á greindarprófi.

9. Ókerfisbundin villa • Þegar villan er óútskýranleg með öðrum mældum eða ómældum breytum er hún sögð ókerfisbundin • Ókerfisbundin skekkja er ýmist + eða – Dæmi: • Persóna A er nákvæmlega 65kg. • A fer á sömu vigt, 50 sinnum og sér að mælingarnar flökta frá 64,2 til 65,8kg. • Villan er ókerfisbundin +/- 0,8kg • Ef A fer á vigtina 50 sinnum með bakpoka, fullan af skólabókum og fartölvu, sýnir vigtin 74,2 til 75,8kg • Þá hefur bæst við kerfisbundin villa +10kg sem má að fullu skýra með þyngd skólatöskunnar. Auk þess er ókerfisbundna villan uppá +/- 0,8kg enn til staðar.

10. Ókerfisbundin villa (skekkja) • Dæmi um ókerfisbundna villu (flökt í mælitæki) • Vog sem er með skekkju. Stundum mælir vogin +1 gramm, stundum -1 gramm, stundum eitthvað þar á milli. Svo lítil skekkja skiptir ekki máli þegar þyngd fólks er mæld en getur skipt verulegu máli í efnafræðirannsóknum • Námundun á næsta heila tug, hundruð eða eins og algengt er um verð á bílum, næsta 100.000kr

12. Kerfisbundin skekkja eða villa • Þegar villan er útskýranleg (stærð og stefna) með öðrum mældum eða ómældum breytum er hún sögð kerfisbundin • Oft þarf að sætta sig við skekkju, þá er best að skekkjan sé sem minnst. • Bakpokinn á fyrri glæru er skýrt dæmi um kerfisbundna skekkju. Bakpokinn bætti alltaf við +10kg kerfisbundinni skekkju við mælinguna hjá þessum einstakling. • Næsti nemandi gæti verið með 8kg bakpoka og sá þriðji með 12kg bakpoka.

14. Erum við að mæla það sem við viljum mæla eða eitthvað annað? Dulin breyta Lestrarkunnátta Dulin breyta Viðhorf T=true score 0,52 0,85 0,85 0,52 X1 Viðhorf Atriði 1 X2 Viðhorf Atriði 2 0,01 0,01 e1 e2 Ókerfisbundin villa atriði 1 Ókerfisbundin Villa atriði 2

15. Skekkjur og gæði mælinga • Ókerfisbundin villa minnkar: • Áreiðanleika mælinga og • Réttmæti mælinga Kerfisbundin villa minnkar réttmæti mælinga

16. Mælingamódel Dulin breyta D Mæld breyta e1

17. Mælingamódel Dulin breyta e1 Mæld breyta X = T + E Observed score True score Error MæligildiSanngildiVilla Mæld breyta Dulin breyta Latent variable

18. Tilraun var framkvæmd 27.2.2014 • 20 nemandi fær úthlutuðum launum að geðþótta kennara • Meðallaun eru 300 þús • Nemendur bæta við (eða draga frá) handahófskenndri villu (A) við launin og gefa kennara upp „mæld laun“

19. Teiknum upp mælingalíkan fyrir laun

20. Dreifni σ2 = Dreifni = Staðalfrávik*Staðalfrávik σ2 =Variance = (Std.dev)2 Takið eftir að dreifni er mæld fyrri marga einstaklinga. Við erum ekki ennþá komin með margar mælingar (atriði) á sömu duldu breytunni.

21. Sígilda mælingakenninginÁreiðanleiki X = T + E Með nokkrum forsendum fæst: σ2X = σ2T+ σ2E σ2measure = σ2true+ σ2error σ2total = σ2true+ σ2error Allar þrjár formúlurnar hér að ofan segja það sama σ2 = variance, dreifni

22. Áreiðanleiki Skilgreinum áreiðanleika mælinga: • rxx = áreiðanleiki mælinga (reliability) • rxx = σ2true / (σ2true + σ2error) = σ2true / σ2total • rxx = σ2true = σ2true (σ2true + σ2error) σ2total

23. Áreiðanleiki er sá hluti heildadreifni (total variance) sem er tilkominn vegna dreifni á sanngildi (raungildi) • Ef σ2true = 100 • Og σ2error = 20 • Þáer σ2total=120 • rxx = 100/120 = 0,83 • Áreiðanleiki er frá 0 til 1,0 Því hærri því betri

24. Mælingamódel Dulin breyta D 0,7 0,7 sp1 sp3 sp2 0,49 e1 e2 e3 Ef fylgnin á milli sp1 og sp2 er 0,49 og við gefum okkur það að fylgnin á milli D og Sp1 sé jöfn fylgninni á milli D og sp2 þá er fylgnin á milli D og sp1 0,7

25. Fylgnifylki Hversu margar duldar breytur eru líklegar til að skýra fylgnina á milli þessa atriða?

26. Fylgni á milli atriða Þáttagreining byggir fylgnitölum á milli atriða og finnur á svipaðan hátt og áður (0,7*0,7=0,49), fylgni á milli þátta og atriða sp4 sp5 sp1 sp2 sp3 0,74 -0,01 0,5 0,6 0,00 0,6 0,6 0,02 0,6 0,02 Takið eftir fylgni milli sp5 og annarra atriða

27. Mælingalíkan Dulin breyta D2 Dulin breyta D1 -0,03 0,006 0,99 0,8 0,8 0,9 0,9 sp4 sp5 sp1 sp2 sp3 0,74 0,5 0,6 0,6 0,6 0,6 Villuþáttum (e1 til e5) sleppt til að einfalda framsetningu líkansins

28. Þáttur (e. Factor, Component) Dulin breyta (e. Latent variable) Vídd Mælingalíkan Dulin breyta D2 Dulin breyta D1 Þáttahleðsla 0,99 0,8 0,8 0,9 0,9 sp4 sp5 sp1 sp2 sp3 Atriði (e. item) e1 e2 e4 e5 e3