Chyby měření v datech ze sociálně-vědních výběrových šetření

1. Český sociálněvědní datový archiv Sociologického ústavu AV ČR, v.v.i. Jilská 1, 110 00 Praha 1, Česká republika; http://archiv.soc.cas.cz Chyby měření v datech ze sociálně-vědních výběrových šetření Mgr. Johana Chylíková Český sociálněvědní datový archiv, Sociologický ústav AV ČR, v.v.i

2. O čem bude přednáška: • Problém vůbec něco změřit – chyby nevyhnutelné • Konceptualizace chyb měření – teoretický rámec pro systematický popis chyb měření • Jaké máme možnosti chyby zjistit? Metody, techniky a analytické přístupy k identifikaci chyb • Omluva za mix Aj/Čj

3. Obsah přednášky: • Výzkum prostřednictvím výběrového šetření: Teorie – koncepty – dotazník • Validita • Reliabilita • Konceptualizace chyb (Groves): - Bias - Variance • TotalSurveyError(Groves) • Techniky k měření chyby – Empiricalestimationofsurveymeasurementerror - Kriteriální validita - Laboratorní výzkum a experimenty - Randomized assignmentofmeasurementprocedures to sample persons – split ballot (bias), interviewers (variance) • Repeatedmeasurementofthesame person – test-retest, MTMM • SQP – SurveyQualityPrediction 2.0

4. Konceptualizace a operacionalizace • Pořadí operací při tvoření měřícího nástroje: koncept - (konstrukt) – indikátor – operacionalizace – proměnné – otázka • Koncept – popis a vymezení zkoumaného jevu • Concepts by intuition: judgements, feelings, evaluations, norms and behaviors, physicalstates (age, gender, income, job) • Concepts by postulation(constructs): ethnocentrism, racism, authoritarianism, integration, anomie,oftencomposedofconcepts-by-intuition • Operacionalizace, Indikátory

5. Chyba měření je vždy • V procesu měření „koncept –(v) - indikátor- (r) - měření“ • vznikají nepřesnosti – chyby validity a reliability. Pozorovaná hodnota nikdy není 100 procent informace, kterou předpokládáme z konceptu. • “Central to measurementerroristhe idea thatthereis no perfectrelationshipbetweentheobserved response and theunderlyingunobservedvariablethatserves to generatethe response” (Bohrnstedt, 1983: 70)

6. Truevalueofvariable (T) vsmeasuredvariable (X) Pro studium chyb měření je zásadní rozlišovat mezi: • proměnnou, kterou chceme měřit (thevariablewewant to measure (T)) • a pozorovanou proměnnou (theobservedvariable (X) i.e. themeasureforthisvariable) Factual vs. Attitudinalquestions Truevalueexists – errorisdeviation X-T • Onlypossiblefor ‘factualquestions’ (realistictruescores) “bias” conceptoftenonlyusedforthissituation In case ofattitudes (subjectivestates): “truevalueis not known” (platonictruescores) => methodeffect (differences in methodlead to differences in observedscores) Onecanonlyassessindirectly validity in contextofmeasurement model in which relations betweenobservedindicators and underlyinglatentvariable (orconstruct) are specified

7. Validita a reliabilita • Validita "Validitou se rozumí přesnost toho, co ve skutečnosti měříme vzhledem k tomu, co chceme měřit." Řehák 1998 „koncept –(v) - indikátor- (r) - měření“ • Reliabilita "Reliabilitou měření se rozumí přesnost měření té vlastnosti, kterou ve skutečnosti měříme. Reliabilita charakterizuje přesnost měření konstruktu pomocí jeho konkrétní operacionalizace. Reliabilita je proto pojmem technickým, validita substantivním." Řehák 1998

8. Validita a reliabilita

9. Klasická teorie měření Y = T + E, resp. Var (Y) = Var (T) + Var (E), kde Y je naměřená hodnota na stupnici operacionalizovaného konstruktu a T skutečná hodnota vlastnosti, kterou ve skutečnosti měříme (konstrukt). E reprezentuje chybu měření. Základní předpoklady : vlastnosti náhodné chyby • chyba E není závislá na hodnotě T, tj. r(E,T) = 0 • chyba E neobsahuje systematické vychýlení, tj. střední hodnota E je rovna nule, E(E) = 0, což je logický požadavek na chybu, která se chová náhodně. • při různých měřeních jsou chyby nekorelované.

10. Klasická teorie měření Reliabilitu můžeme vyjádřit jako poměr rozptylů skutečné hodnoty konstruktu a naměřené hodnoty rel(Y/T) = var (T) / var (Y) , r(Y1,Y2) = var T / var (Y), • Pro reliabilitu je podstatné, aby byl rozptyl E (viz Y = T + E )co nejmenší. Čím větší náhodná chyba, tím nižší reliabilita. Pro reliabilní měření je nutné eliminovat náhodnou chybu. Z výše uvedeného vychází metoda měření reliability test-retest, která předpokládá, že T se v průběhu času mezi prvním a druhým měřením nezmění.

11. Náhodné X systematické chyby • Klasická teorie měření nepředpokládá vliv dalších, nenáhodných chyb – je neúplná. Classical model forrandomerrors t → y ← e Themeasurement model withrandom (e) and systematic (u) errors. f → t → y ← e ↑ u

12. Sourcesof (systematic) measurementerror: • response scales (differentscalepoints) • wordingofitems - orderof response categories • contextofquestion • response styles (acquiscence, satysficing) • Social desirability in cross-nationresearch: • Natural languagedifferences • Unjustifieddifferences in thetranslations • Differences in interpretationofthequestions in differentcountries

13. TotalSurveyError V sociálně-vědní metodologii, zaměřené na výběrová šetření, existují dva základní přístupy k zajištění kvality dat: • Redukovat chybu měření – důsledný trénink tazatelů, testování dotazníků, snahy o zvýšení návratnosti atd. • Změřit chybu měření – vlivy všech subjektů designu odhadnout • Nejlepší řešení – kombinace obou přístupů • Nutnost vyčerpávajícím způsobem popsat všechny zdroje chyb měření – koncept TSE – Mean Square Error

14. Mean Square Error Teoretický koncept – nelze realizovat, tyto chyby existují ve skutečnosti, ale nelze je zjistit na 100 procent. Bias– fixedpropertyofthe design, objeví se v každé implementaci daného designu. Variance – exclusiveforeachimplementationof a design, specifické pro konkrétní výzkum

15. Bias, variance • Biasisthe type oferrorwhichaffectsthestatistic in allimplementationsofsurvey design, in thatsenseitisa constanterror (e.g. allpossiblesurveysusingthesame design mightoverestimatethemeanyearsofeducation per person in thepopulation). • A variableerror, measured by thevarianceof a statistic, arisesbecauseachivedvaluesdifferovertheunits (e.g. sampledpersons, interviewersused, questionsasked) that are sourcesoftheerror. Theconceptofvariableerrorsinherentlyrequiresthepossibilityofrepeatingthesurvey, withchangesofunits in thereplication (e.g. different sample persons, differentinterviewers). Iftherewere no possibilityof such replication, thedistinctionbetweenvariableerrors and biasesdoes not exist.

16. Bias, variance Variableerrors and biases are thereforeconnected; biasisthe part oferrorcommon to allimplementationof a survey design, and variableerroristhe part thatisspecific to each trial. • Variableerror – překlad do ČJ – ne „chyba proměnné“, ale „proměnlivá chyba“. Chyby validity – problém při deskripci populace, četnosti/hodnoty jsou níž/výš než jsou ve skutečnosti, over-report, under-report Chyby reliability – problém při modelování vztahů. Chyby rozptylu „zneviditelňují“ vztahy mezi proměnnými, nízká reliabilita snižuje korelace (viz tabulka v Řehák 1998). Vzhledem k tomu, že většina modelování ve statistice je založena na kovariancích/korelacích, způsobuje nízká reliabilita velice závažný problém.

17. Chyby chybějícího pozorování Chyby chybějícího pozorování (errorsof non-observation) vznikají v důsledku toho, že některé jednotky nebyly zařazeny do výzkumu. • chyba pokrytí - některé sociální skupiny jsou již předem vyloučeny z výzkumu, protože je není možné kontaktovat pro dotazování. Význam této chyby se zvětšuje, pokud se nezahrnuté jednotky zásadním způsobem liší od jednotek zahrnutých do výzkumu. • chyba výpadků návratnosti (non-response error): unit non-response, item non-response, Význam chyby se zvětšuje, pokud se nezahrnuté jednotky zásadním způsobem liší od jednotek zahrnutých do výzkumu. • výběrová chyba – statistická chyba, hodnoty získané ze vzorku se liší od hodnot v celé populaci.

18. Chyby pozorování • Chyby pozorováníjsou odchylkami od reálné hodnoty, které vznikají při samotném kontaktu tazatele (dotazníku) s respondentem. • Measurementerrors Zdrojem chyb: • tazatel - ovlivnění respondenta (vědomé/nevědomé), fyzický vzhled, charakteristiky • respondent - porozumění, paměť, SD • dotazník - kontext, znění otázek • mód sběru dat - rozdílné podmínky výzkumu

19. Techniky k měření chyby Techniky k měření chyby – Empiricalestimationofsurveymeasurementerror • Kriteriální validita • Laboratorní výzkum a experimenty • Randomized assignmentofmeasurementprocedures to sample persons – split ballot (bias), interviewers (variance) • Repeatedmeasurementofthesame person – test-retest, MTMM

20. Modelsforassessing reliability and validity reliability: • test-retest • simplex model (threerepetitions) • congeneric model (multipleindicators) + validity (measurement validity) • MTMM model

21. Laboratorní experimenty • kvalitativní metodologický výzkum, psychologický přístup • rozhovory tazatele s respondentem v laboratorním prostředí, nahrávány, natáčeny, detailně rozebírány • „thinkalouds“ • Výzkum - jak probíhá komunikace za různých podmínek – př. bez osobního kontaktu (F2F vsTelephonesurvey), - znění otázek, - porovnání formulací jednotlivých otázek, - vliv sociální desirability, vliv modu sběru dat (SAQ) • výstup: jak respondenti rozumí otázkám, odhalení chyb v dotazníku. Zpravidla se testují konkrétní měřící nástroje (dotazníky), obecné poznatky se zpravidla neformulují. • Jsou vhodné pro identifikaci příčin chyb měření • Tyto techniky nejsou schopny odhadovat chybu měření • Problém: nereálné podmínky. V laboratoři se dají podmínky kontrolovat, v realitě ne. • Bogus pipeline, randomized response – vysoce experimentální techniky, etický problém, neužívány

22. Kriteriální validita • Recordcheck study – výstupy šetření jsou porovnávány s oficiálními údaji – kriminalita: počet nahlášených trestných činů, zdraví: počet návštěv lékaře, volby: účast ve volbách, volba strany. • USA: kontrola jednotlivých respondentů; předpokládá neanonymní výzkum a svolení k získání dodatečných informací od úřadů, nemocnic atd. • Př. náhodný výběr z policejní databáze, pro každou oběť trestného činu informace o trestných činech. Oběť trestného činu vypovídá na otázky o trestných činech. Porovnání výpovědi s informacemi ze záznamů.

23. Kriteriální validita • Recordcheck study = validizačnístudie – jejich užití není běžné. Jejich výsledky slouží k tomu, aby ukázaly, jak velké diskrepance mohou nastat ve výzkumu určitého fenoménu. Rozhodně není možné užívat takové postupy k validizacivšech výzkumů jako standardní součást výzkumu. Provedení validizačních studií je časově, organizačně a finančně náročné. • Většinou bývají takto zkoumána citlivá témata – kriminalita, zdraví, intimní záležitosti člověka, volební chování, příjmy, tj. témata, o kterých respondenti vypovídají s velkou chybou. • Volební chování – nelze porovnávat skutečné výsledky voleb s výzkumy volebního chování před volbami, ke kterým chceme validizovat, možno porovnat pouze výpovědi o účasti v již proběhlých volbách. • Problémy: nelzeměřit over-reporting. Záznamy nejsou úplné, ani ony neposkytují plnou informaci.

24. Randomized assignmentofmeasurementprocedures to sample persons • 1. interviewers (variance) • Šetření – pravděpodobnostní výběr – pravděpodobnostní přiřazení tazatelů – vznikají skupiny respondentů, kteří byly tázání stejným tazatelem/kou. Uvnitř skupin se hledají korelace hodnot proměnných – correlated response variance • Pokud hodnoty uvnitř skupiny vysoce korelují, je patrný rozdílný vliv tazatelů na respondenty – interviewer variance – konkrétní (použití tazatelé) ovlivňují hodnoty proměnných – odchylka

25. Randomized assignmentofmeasurementprocedures to sample persons • split ballots Dotazníky: bias důsledkem použití otázky, formulace otázky • split sample, dvě odlišné verze otázky Do youthinkthe US shouldforbid public speeches in favor uf communism? Y: 39,3% Do youthinkthe US shouldallow public speeches in favorofcommunisms: N: 56,3% Nezjišťuje ale chybu měření, zjistí se jenom rozdíl, rovněž měření vlivu kontextu, pro postojové otázky • Tazetelé: Může se použít rovněž pro studium chyb měření spojených s tazatelem – tazatelé mají rozdílné instrukce jak se chovat – rozdíl (rigidnější x flexibilnější komunikace)

26. split ballots Response: yij = Xi + Mij + εij yij.... response obtainedforthe i-th person usingthe j-thmethodorform Xi …. Truevalueofthecharactericforthe i-th person Mij … effect on the response ofthe i-th person ofusingthe j-thmethod εij … deviationforthe i-th person fromtheaverageeffectofthe j-thmethod.

27. Repeatedmeasurementofthesamepersons Test retest • Měření jedné otázky (indikátoru, položky) dvakrát na tom samém respondentovi. • Měří reliabilitu. • Viz klasická teorie měření (Lord, Novick 1968) rel (Y/X) = r2(Y,X) = r(Yi1, Yi2) Jiná notace: rel (X/T) = r2(X,T) = r(X,X') (T – truescore, X, X´ změřené hodnoty

28. Test-retest Yi1 = Xi + εi1 Yi2 = Xi + εi2 Yi1 = obtained responseforthe i-th person attime 1 Yi2 = obtained responseforthe i-th person attime 2 Xi= truevalueoftheitemforthe i-th person εi1 = response deviationfromtruevalueforthe i-th person attime 1 εi2 = response deviationfromtruevalueforthe i-th person attime 2

29. Test-retest Předpoklady: E (εi1) = E (εi2) = 0 • Measurementofthe 2nd trial isanexactreplicateofthat on thefirst trial • Underlyingcharacteriticthatisbeingmeasured has not changedbetweenfirst and second trial forthe person beingmeasured. • Errors are uncorrelatedovertrialsCov (εi1, εi2)= 0 (….. but memory) • E (Yi1 - Yi2)2 = E (εi1 - εi2)2 - implyiesthatthesquareddifferenceofobservationscanyieldestimatesoferror variance

30. Multitraitmultimethodapproach • Jeden koncept je měřen třemi indikátory (items), • Pro každý indikátor jsou použity tři metody měření. • Jeden respondent odpoví na 9 otázek. • Na každou ze tří položek respondent odpoví třikrát za použití vždy jiné metody. • Výstup: matice kovariancí • Odhad reliability i validity • Structuralequation modeling

31. MTMM Concept: Satisfaction Traits: • On thewhole, howsatisfied are youwiththepresentstateofeconomy in Britain? • Nowthinkaboutthenationalgovernment. Howsatisfied are youwiththewayitisdoingitsjob? • And on thewhole, howsatisfied are youwiththewaydemocracyworks in Britain? Methods: • (1)Very satisfied, (2) fairlysatisfied, (3) fairlydissatisfied, (4) very dissatisfied • Very dissatisfied 0 1 2 3 4 5 6 7 8 9 10 Very satisfied • (1) Not atallsatisfied, (2) satisfied, (3) rathersatisfied, (4) very satisfied

32. MTMM matrix forthreetraits and threemethods

33. MTMM • In theclassical MTMM matrix, anobservedscoreyijislineardecomposedintothreeunobservedcomponents: • yij = viFi+ mjMj+ eij* • yij: a measureofithtrait by jthmethod • Fi: theithtrait • Mj: jthmethodfactor • eij: random (residual) error • Theslopeparametervicanbeconsideredthe validity coefficients, and theslopeparametermjisthe invalidity coefficients, Thisformulationmakes explicit thatsomeofthereliable variance isactually invalid sinceitisinduced by themeasurement instrument (orscale) used (Alwin, 1997, p. 328).

34. MTMM • Odhad chyby měření (koeficientu variability a reliability) vychází z modelu vztahů mezi latentními a manifestními proměnnými • Direct effects, indirecteffects, spurious relations, joint effects • Matice korelací (kovariancí) • Pro stanovení vztahů v 3x3 MTMM modelu nutných 9 měření (as many correlations as unknownparameters) • Degreesoffreedom, residuals

35. Effects: direct, indirect, spurious, joint • X Y • X Z Y Z Z W X Y X Y

36. MTMM diagram

37. SQP – SurveyQualityPrediction 2.0 • Založeno na MTMM experimentech šetření EuropeanSocialSurvey • Poskytuje informace o validitě a reliabilitě otázek z šetření • Umožňuje získat odhad reliability a validity pro vámi vytvořenou otázky • Funguje už i v češtině • http://www.sqp.nl/

38. Použitá literatura: • Groves, Robert M. 1989. SurveyErrors and SurveyCosts.Hoboken: John Wiley & Sons. • Řehák, Jan. 1998. „Kvalita dat I.: Klasický model měření reliability a jeho praktický aplikační význam“. Sociologický časopis 34 (1): 51-60. On-line: • http://sreview.soc.cas.cz/uploads/bb7535f9eabc9ba0d15b984a5e16a11dd2ebcc0f_244_051REHAK.pdf • Saris, W. E., Gallhofer, I. N. 2007. Design, evaluation, and analysisofquestionnairesforsurveyresearch. Hoboken: John Wiley & Sons. • Tourangeau, R., L.J. Rips, K. Rasinski. 2000. The Psychology ofSurvey Response • Trusinová, R. 2012. „SurveyQualityPrediction 2.0 – program pro zjišťování kvality otázek v dotazníku“. Data a výzkum – SDA Info6(2012/1): 94-100. On-line: http://dav.soc.cas.cz/uploads/b4c6f2fc9cf504dad34f90c7e62c74e391731a73_DaV12_1_p94_100.pdf

39. Děkuji za pozornost • Johana.chylikova@gmail.com