Reliabilita škály

1. Semináře ke kurzu Analytické metody výzkumu Jindřich Krejčí Reliabilita škály

2. Měření reliability a validity - literatura • Ferjenčík J. 2000. Úvod do metodologie psychologického výzkumu. Praha: Portál. (kap. 16) • Soukup, P. 2006. „Čím větší, tím lepší“. Socioweb 2006/7: 11-12. http://www.socioweb.cz/ • Kreidl, M. 2004. „Přehled základních přístupů k empirickému hodnocení kvality měření v sociálních vědách“. Pp.87-96 in Kvalita výzkumů volebních preferencí, ed. by J. Krejčí. Praha: Sociologický ústav AV ČR. • Řehák, J. 1998. „Kvalita dat I. Klasický model měření reliability a jeho praktický aplikační výzkum“ Sociologický časopis 34: 51-60. • Řehák, J. 1998. „Kvalita dat II. Přístupy ohodnocování výzkumných instrumentů založené na modelování kovariančních struktur“. Sociologický časopis 34: 195-204. • Řehák, J., I. Bártová, J. Hamanová. 1998. „Kvalita dat III. Empirické výsledky měření reliability pro vybrané míry a stupnice“. Sociologický časopis 34: 363-372. • Jeřábek, Disman,...

3. Koncept validity a reliability • psychometrie, 60. léta, Lord a Novick, Campbel a Stanley... • viz Jeřábek, Disman...; validita - koncept, reliabilita - nástroj • validita = schopnost měřit koncept, který chceme měřit • reliabilita = přesnost, konzistentnost měření • reliabilita je jednou z podmínek validity • chyby měření (instrument... škály)

4. Měření validity • obsahová validita: úplnost významové domény jevu v koncepci a postupu měření • kriteriální (empirická) validita: soulad s již existujícím kritériem (např. volební prognóza a výsledek voleb) • souběžná (concurrent), prediktivní • konstruktová (teoretická) validita: soulad vztahů očekávaných v teorii a mezi naměřenými hodnotami indikátorů • konvergentní, diskriminační (korelace, faktorová analýza) • modelování - MIMIC, • kovarianční - zachycení reliability i validity pomocí opakovaní měření modelů (RMM, MTMM) • externí validita: přesahuje sadu měřených proměnných

5. Měření reliability • paralelní měření: dvě nebo více měření stejného konceptu • různými otázkami • v různých podmínkách • opakování v čase • testování nástroje (účast v minulých volbách) • u hodnot a postojů problém časové vzdálenosti - blízkost kvůli možné změně postoje, vzdálenost • alternativní formy jedné otázky (zařazení nevím, střední kategorie, použití karet, alternativní formulace atp.) • více pozorovatelů, jeden postup • hodnocení mezipoložkové reliability: crobachovo alfa, split-half

6. Reliabilita škály • konstrukce výzkumného nástroje: korelace mezi nástrojem a realitou (pravdivým měřením), protože realitu neznáme: • test vnitřní konzistence škály (internal consistency) • split-half • test-retest • paralelní měření (inter-rater r.) • kalibrace - zvyšování reliability pomocí zvyšování homogenity • triangulace - zvyšování reliability pomocí redukce systematické chyby (chyby metody) - např. vícenásobné měření • SPSS: analýza vícepoložkový aditivních škál - hledání nejvhodnější škály z dané množiny položek • Cronbachovo alfa • Split-half • Guttman (alternativní split-half) • Parallel • Strict parallel

7. Reliabilita škály v SPSS • ANALYZE - SCALE - RELIABILITY ANALYSIS ... • hodnoty - odpovědi na otázky/položky škály • reliabilita: pozorovaná hodnota = pravdivá hodnota + chyba; (chyba = systematický chyba + náhodná chyba); čím menší chyba, tím lepší škála • jak škála diskriminuje? jak položky zapadají do škály? • celková hodnota testu pro škálu • relace hodnoty každé položky a celkové hodnoty • relace hodnot položek • jednotlivé položky - deskriptivní statistiky: hodnoty, průměry, standardní odchylky, vztahy mezi položkami • vztahy mezi položkami a celkovým skóre škály: Item - Total Statistics

8. Cronbachovo alfa (1) • míra vnitřní konzistence škály (měříci jednu dimenzi) • průměrná korelace položek v rámci jedné škály, jestliže položky standardizovány (st.dev. = 1) nebo průměrná kovariance, když nejsou standardizovány • interpretace jako korelace (hodnoty (nežádoucí -1 až) 0 až 1): • mezi testovanou škálou a jinými možnými škálami měřícími stejnou věc sestavitelnými z hypotetické množiny položek • mezi pozorovaným skóre (skóre obdrženým v testu) a pravdivým skóre (skóre za všech možných položek) • 0, tzn.žádná shoda => pouze chybová položka; 1, tzn. úplná schoda=> pouze pravdivá hodnota • Cut-off criteria - běžná konvence: 0,6 použitelná, 0,7 adekvátní, 0,8 dobrá

9. Cronbachovo alfa (2) • negativní hodnoty (mezipoložkové korelace) - nekonzistentní kódování nebo více různých dimenzí • hodnota závislá na početu položek: čím větší počet, tím větší reliabilita (obvyklý cíl: přiměřeně položek!, vysoká reliabilita) • alpha if deleted: dopad jednotlivých položek na reliabilitu škály - odebrání položky z testu a sledování změny • item - total: korelace položky s celkovou škálou - malá (<0,3/nevýznamná) => asi vyhodit • R2: R2 položky predikované ze všech ostatních položek škály; čím větší, tím víc položka přispívá ke konzistenci škály (malé hodnoty - uvažovat o vyhození) • KR20: koeficient alfa pro dichotomické položky (Kuder-Richardson) • standardizované alfa pro položky (Spearman-Brown Coef., ne S-B split half): míra nepodobnosti rozptylu mezi položkami • Raykovo rho: alternativní míra reliability • Spearmanovo rho: alternativní míra spočítaná na základě pořadí (ordinální data)

10. Split Half • podstata: rozdělit škálu na dvě části a posouzení ekvivalence (korelací) mezi jednotlivými částmi • SPSS: rozdělí test na dvě části podle pořadí, pokud lichý počet, první část je delší • Cronbachovo alfa pro bě části & korelace mezi oběma částmi • equal-length Spearman-Brown koef.: • korelace mezi oběma částmi testu - odhad celkového koeficientu reliability • equal/ unequal-length • nevýhoda 1: závisí jak jsou rozděleny položky do částí (náhodně) • nevýhoda 2: vyžaduje podobný rozptyl v obou částech testu • nevýhoda 3: hledání problematické položky (nevíme, v které půlce) • nepléct se Spearman-Brown standardizovaným alfa koef. • Guttman split-half koef. • modifikace S-B koef. - nevyžaduje shodu rozptylů • Guttman split-half test: • šest koeficientů • doporučeno experimentovat pro dosažení rozdělení na dvě části s nejvyšší reliabilitou: nejlepší rozdělení to, kde jsou nejvíce zkorelované položky v obou částech

11. Test - retest: • stabilita v čase, stejný test ve dvo časových bodech • klasický - Spearman-Brown split-half • Inter-rater • měření homogenity hodnocení různých hodnotitelů • stejný test na stejné objekty, různí hodnotitelé • Cohen’s Kappa: pokud jen dva různí hodnotitelé • ICC (intraclass correlations): pro dva a více

12. Další předpoklady • aditivita:každá položka by měla mít lineární vztah k celkovému skóre - Tukey’s test of aditivity • nezávislost pozorování • nezkorelované chyby • konzistentní kódování • podobná obtížnost odpovídání na položky