(poslední aktualizace 16/5/2011 )

1. UK FHS Historická sociologie, Řízení a supervize (LS 2011) Design kvantitativního výzkumu Dodatek „k dotazníkům“:Operacionalizace, reliabilita, validita, design a typy otázek, praktické ukázky (poslední aktualizace 16/5/2011) Jiří Šafr jiri.safr(at)seznam.cz

2. Obsah • Operacionalizace znaků, hypotézy a model vztahů • Typy otázek v dotazníku dle designu odpovědí • Reliabilita a Validita v dotazníku • Příklad „Výchovné styly v rodině původu“: konceptualizace a operacionalizace, ověření dimenzionality • Příklad z výuky KMVP na KŘS, FHS (modelový „omnibusový výzkum“) KMVP - 4. dodatek

3. Operacionalizace znaků, hypotézy a model vztahů

4. Operacionalizace (připomenutí) • Operační definice nevysvětluje jev (od toho je nominální definice), ale dává návod, jak při měření poznáme, kdy jev nastal. → kdy přiřadíme znaku určitou hodnotu • V operační definici je koncept vyjádřen popisem operací, kterými bude měřen [Disman 1993: 79] • Výběr měřitelných indikátorů dle teorie, cíle a kontextu výzkumu → riziko redukce informací KMVP - 4. dodatek

5. Operacionalizace – více indikátorů Závislá proměnná může být měřena pomocí několika dílčích proměnných • Pokud máme více indikátorů zkoumaného jevu (závislé proměnné) a přitom z nich není vytvořen jeden komprehensivní indikátor (např. součtový index), pak musíme mít pro každý dílčí indikátor zvláštní pracovní hypotézy. KMVP - 4. dodatek

6. Operacionální hypotézy & model vztahů • Při přípravě pracovních hypotéz je třeba zahrnout do sady hypotéz, také ty hypotézy o proměnných, které by mohly zkreslit naší interpretaci vztahy mezi sledovanými proměnnými. → riziko nepravé korelace • Tedy hypotézy o všech proměnných, které mohou mít významný vliv na závisle proměnnou a jsou při tom také asociovány s nezávisle proměnnou. [Disman 1993: 85] • Pokud to neuděláme při vstupní přípravě výzkumu, tak v nasbíraných datech už zpětně intervenující vlivy nenaměříme! Proto si vždy připravte: → model vztahů ve kterém zohledníte možné hlavní intervenující (zprostředkující či propojovací) vlivy KMVP - 4. dodatek

7. Příčinné působení (kauzalita) • Příčinný model je teoretická hypotéza o tom, jak změna proměnné X způsobuje změnu proměnné Y. • Ale do vztahu X a Y může vstupovat i třetí proměnná a to jako buď jako: • Mediátor - třetí proměnná, která propojuje příčinu s následkem,a • Moderátor - třetí proměnná, která modifikuje příčinné působeni. [Hendl 2010] → Model vztahů KMVP - 4. dodatek

8. K čemu je operacionalizace • Formulace pracovních hypotéz je testem, zda je výzkum vůbec možný. • Pracovní hypotézy jsou důležitým nástrojem pro optimalizaci redukce informací. • Výzkum začínáme modelem vztahu + konceptualizací, pracovními hypotézami a operacionalizací znaků a ne formulací otázek do dotazníku. Jinak hrozí, že budeme mít spousty krásných otázek, ale teprve v analýze zjistíme, že pro řadu z nich nemáme použití a přitom nám možná jedna jediná bude chybět k zodpovězení naší výzkumné otázky. [Disman 1993: 85-86] KMVP - 4. dodatek

9. Typy uzavřených otázek v dotazníku dle designu odpovědí

10. Přímé otázky Přímé otázky vedou buď k informacím (o chování, stavu jevu) nebo hodnocení (názory, postoje), mají různý design odpovědí: • Nominální (navzájem neuspořádatelné) kategorie, kdy platí, že vybrat lze pouze jednu (např. Ve kterém kraji bydlíte?: Středočeský, Jihočeský, Praha, …) (nejjednodušší varianta) nebo zvláštním případem jsou • Vícenásobné výběry odpovědí - mutiple-choice (např. Vyberte ze seznamu 3 hodnoty, které jsou pro Vás v práci důležité.) → vyžadují specielní analýzu • Seřazení všech položek -ranking, max. do šesti položek (vector questionnaire) • Dichotomickéodpovědi (např.muž / žena; ano / ne) nebo • Škálované odpovědi (posuzovací škály)- škála vyjadřující intenzitu postoje (Ordered response scale či „Likert-type„) (např.1. Rozhodně souhlasím; 2. Spíše souhlasím, …) nebo intenzitu určitého chování (např. Jak často čtete noviny? → 1. Denně; 2. Nejméně několikrát za týden; 3. Nejméně jednou za týden; ….), jejich zvláštním případem jsou pak • Bipolární výroky -respondent se rozhoduje mezi dvěma krajními póly • Baterie otázek či maticové otázky(item response battery)-spojení několika otázek se stejnými škálovanými/dichotomickými odpověďmi → v pozadí má být operacionální koncept, často z nich pak tvoříme sub-dimenze pomocí např. součtových indexů. KMVP - 4. dodatek

11. Nepřímé otázky Nepřímé otázky používáme nejčastěji pro zjištění citlivých záležitostí/názorů. Neptáme se přímo na názor respondenta ale zdánlivě na názory někoho jiného. • projekční otázky • projekční otázky s ilustrací • test nedokončených vět • Anekdotické otázky (příběh a volba řešení) Samotný design otázek souvisí s operacionalizací znaku! KMVP - 4. dodatek

12. Škálované odpovědi (Ordered response scale) "Likert-type" scale → předpokládáme ordinalitu kategorií (tu jetřeba nejprve v pilotáži ověřit!) Proměnná:Ekonomický kapitál (příjmová situace) v rodině původu • S penězi stěží vycházeli, před výplatou již mnoho nezbývalo, ani na jídlo, ani na provoz domácnosti. • Při běžných výdajích vycházeli docela dobře, ale již nákup oblečení nám působil obtíže. • Vycházeli jsme dobře, rodiče leccos uspořili, pouze při nákupu zboží dlouhodobé spotřeby (např. lednička) si museli půjčit či déle spořit. • Nákup zboží dlouhodobé spotřeby nečinil velké problémy, nové auto či nákladnější dovolenou jsme si však nemohli dovolit. • Ani velmi nákladné nákupy v podstatě nepřevyšovaly možnosti naší rodiny. • Neví (kódováno bude např. jako 9) Jak Vaši rodiče vycházeli v době, kdy vám bylo 14 let se svými příjmy?TAZ: Pokud se respondent nemůže rozhodnout mezi dvěma kategoriemi, zařaďte ho do nižší. TAZ: PŘEDLOŽTE KARTU KMVP - 4. dodatek

13. „Baterie otázek“ – složené otázky Jak moc by dále uvedené skutečnosti ovlivnily Vaše rozhodování při volbě způsobu zabezpečení potřebné péče? • skupina dílčích otázek uvedená společnou otázkou/ textem; stejné varianty odpovědí • často je v pozadí jedna či více dimenzí určitého konceptu (z odpovědí pak vznikne škála či dílčí škály) KMVP - 4. dodatek Zdroj: [Pracovní materiály k metodice „zjišťování potřeb uživatelů sociálních služeb včetně metodiky uživatelských výzkumů (zkoumání vedená uživateli)“]

14. Baterie otázek s výběrem pořadí Kdybyste měl/a vy sám/sama problém s drogou, koho byste vyhledal/a, aby pomohl, dal radu,ap.? Seřaďte podle důležitosti! Zdroj: [Pracovní materiály k metodice „zjišťování potřeb uživatelů sociálních služeb včetně metodiky uživatelských výzkumů (zkoumání vedená uživateli)“] • Získáme u každého jednoznačné pořadí položek. Lze seřadit také nechat seřadit jen několik položek (např. tři). • Lze provádět maximálně u šesti položek. Ty musíme seřadit náhodně. • Předchozí variantu s Likertovskými škálami u každé položky (vůbec ne – rozhodně ano) lze následně doplnit o výběr nejdůležitější položky. V předchozím příkladě by za baterií náledovala otázka:A která z uvedených skutečností by ovlivnila Vaše rozhodování při volbě způsobu zabezpečení potřebné péče nejvíce? Vyberte jednu nejdůležitější. KMVP - 4. dodatek

15. Projektivní – nepřímé otázky • Často skrývají pravý důvod, proč se ptáme. • Pro choulostivé, intimních problémy, o nichž se lidé neradi vyjadřují. • Tam kde předpokládáme, že by respondent odpovídal ať už záměrně nebo povědomě, nepravdivě. • Ve formulaci se neptáme přímo na názor respondenta, ale na identifikaci s výpovědí o něčem či někom jiném, s čím se podvědomě ztotožní (fiktivní osoba, skupina, lidé obecně). • Příklad: místo „Co soudíte o vrchní sestře?“ →„Co si ostatní zaměstnanci na vašem oddělení myslí o vrchní sestře?“ • Varianta s obrázky - bublinový test → pozor, riziko vlivu individuálních charakteristik kresby KMVP - 4. dodatek

16. Projektivní otázka – příklad: „postoj k penězům & životní úroveň domácnosti“zdroj: [Rodina 89] KMVP - 4. dodatek

17. Životní úroveň domácnosti (ČSR 1984):otázka s likertovským typem kategorií zdroj: [TSS 1984] Když se zamyslíte nad současnou životní úrovní své rodiny, co byste o ní mohl/a říci? Vyberte jen jednu z následujících možností: 1 „žijeme od výplaty k výplatě, před výplatou již mnoho nezbývá ani na jídlo ani na provoz domácnosti 2. „při běžných výdajích obvykle vyjdeme docela dobře , ale již nakup ošacení nám působí obtíže a musíme si vypůjčit nebo vyčerpat úspory“ 3. „s platem vyjdeme docela dobře, můžeme i leccos uspořil, při nákupu zboží dlouhodobé spotřeby však musíme využít půjčky“ 4. „nákup zboží dlouhodobé spotřeby nám většinou nečiní problémy, ale auto nebo nákladnější dovolenou si ještě dlouho nebudeme moci dovolit“ 5. „v současné době můžeme uvažovat i o poměrně nákladných nákupech“ 6. „ani stavba rodinného domku vpodstatě nepřevyšuje možnosti naší rodiny“. KMVP - 4. dodatek

18. Životní úroveň domácnosti: četnosti a rekód na 5 kat. KMVP - 4. dodatek

19. Životní úroveň: validita Likertovské škály Vybavenost (index)Příjem domácnosti r = 0,38 r = 0,28 Česká republika 1984 (18-70 let) KMVP - 4. dodatek

20. Bipolární výroky Který ze dvou popisů na předložené kartě podle Vás lépe vystihuje vztahy mezi lidmi ve vašem týmu?Zvolte číslo na stupnici, jejíž krajní póly vyjadřují následující výroky. • Pozor na: • Kontinuum – výroky se musí vylučovat • Nesmí existovat jiné dimenze (možnosti) • Vždy by měla být k dispozici střední hodnota (lichá škála) KMVP - 4. dodatek

21. Bipolární výroky – v baterii otázek KMVP - 4. dodatek [z výzkumu Aktér 2001, FF UK]

22. Některé příklady nevhodných otázek • Nejasné vymezení posuzovaného období „v poslední době“ → „poslední čtyři týdny“„v uplynulém roce“ → „v posledních 12 měsících“ • Formulace se dvojím záporem KMVP - 4. dodatek

23. Reliabilita a Validita v dotazníku • Abychom získali reliabilní (a díky tomu i alespoň potenciálně validní) míry, měli bychom se subjektů ptát na věci, jež jsou jim relevantní, na něž lze očekávat, že znají odpověď, a naše otázky by měly být zcela srozumitelné, aby byly opakovaně interpretovány stejným způsobem. [Babbie 2001: 141] • Standardy dobrých otázek dotazníkového šetření: význam určité otázky a typ odpovědi, jenž bude vyhovovat jejím cílům, by měly být všemi dotazovanými osobami chápány konzistentně a že respondenti by měli být schopni a ochotni provést úkoly požadované pro zodpovězení otázek. [Fowler 1995: 104] [Traxlerová,Rabušic. 2008] KMVP - 4. dodatek

24. Příklad operacionalizace Výchovné styly rodičů

25. Operacionalizace - Výchovné styly rodičů • Výchovné styly budou operacionalizovány pomocí sady výroků vztahující se k retrospektivnímu ohodnocení situace v rodině, kdy respondent dospíval • Sledujeme 3 dimenze výchovných stylů (viz dále) • Každá dimenze bude pokryta několika položkami - výroky KMVP - 4. dodatek

26. Reliabilita a Validita: příklad Výchovné styly v rodině původu → teorie Typologie výchovných stylů D. Baumrindové [1978]. Tři základní přístupy k výchově. 1. Autoritářský (authoritarian): typické je přísné prosazování poslušnosti a nižší míra verbální komunikace. Na jedné straně se ve vztahu k dítěti projevuje ochranářstvím, na straně druhé rodiče neváhají při vzniku konfliktu uplatňovat tresty. 2. Opřený o autoritu (authoritative): vysoká míra komunikace, neustálé vysvětlování jednání a racionalita při řešení problémů. Rodiče se snaží dětem být vzorem a oporou. Chtějí, aby dítě požadavků m dobře rozumělo a vědělo, čemu slouží a proč platí. 3. Volný/pasivní (permissive), projevuje se maximální volnost, požadavky a omezování jsou minimální, trestání je eliminováno. Rodiče nejsou aktivním ovlivňovatelem utvářejícím budoucí jednání dítěte. Předpokládají, že dítě nakonec přijde k rozumu, a samo musí vědět, co chce. Třetí přístup není jednoznačně koherentní, rozlišit je třeba volnost ve smyslu shovívavosti a vysoké míry pochopení a defacto rezignovanost a zanedbávání (pasivita). Druhé zmíněné pojetí výchovy je příznačné pro přístup k dětem „volně plovoucí zátky“, tedy styl výchovy, který rezignuje na motivaci potomků k aktivnímu přestupu k životu (zejména ve vztahu ke škole), nekladou se velké nároky na dítě, kdy děti jsou v podstatě ponechány samy sobě, rodiče jim příliš nezprostředkovávají kulturní svět a školní látku. Očekávají, že děti si poradí samy [Katrňák 2004]. KMVP - 4. dodatek

27. Baterie otázek na výchovné styly rodičů. Zdroj: [Distinkce a hodnoty 2008] Když si vzpomenete na své dětství, jak moc se na Vaši rodinu hodí následující charakteristiky? Výchozí operacionalizace Stylu (zde verze pro Potomka): 1.Opřený o autoritu, 2.Autoritářský (pevná ruka), 3.Volný/pasivní • a) Rodiče dbali na to, abych měl/a dobrý prospěch ve škole. • b) O rozhodnutích rodičů se nediskutovalo, muselo se poslouchat • c) Když po mně rodiče něco chtěli, vysvětlili mi proč • d) Rodiče si se mnou hodně povídali • e) Rodiče na mě kladli velké nároky • f) Rodičům bylo jedno, co dělám • g) Rodiče si našli čas na hru a vymýšlení nových zajímavých věcí • h) Rodiče se mi snažili porozumět • i) Rodiče používali při mé výchově fyzické tresty.* • j) Rodiče velmi dbali na dodržování pořádku • k) Rodiče mě podporovali za každé situace • l) Rodiče chtěli vědět, jak, kde a s kým trávím svůj volný čas (R) • m) Rodiče mě nechávali plánovat si věci podle svého * • n) Často jsem musel/a pomáhat v domácnosti KMVP - 4. dodatek 1. Určitě ano 2. Spíše ano 3. Spíše ne 4. Určitě ne 9. Neví

28. KMVP - 4. dodatek

29. Výchovné styly: popisné statistiky(validní N, min/max, průměr směrodatná odchylka) Nejvíce respondentů neodpovědělo → Rozumí otázce? Není stigmatizující? Je vůbec relevantní? …? KMVP - 4. dodatek Na všechny otázky v baterii odpovědělo 76 % (N listwise 925; z N celkové 1221)

30. Výchovné styly: ověření dimenzí dle teorie v PCA (faktorová analýza), všech 13 původních položek Nejednoznačné přiřazení položek:Tresty a Dobrý prospěch. KMVP - 4. dodatek

31. Výchovné styly: ověření dimenzí dle teorie v PCA, odladěné řešení pro 11 položek • Poučení z chyb: • Styl opřený o autoritu je zbytečně předimenzovaný (4 položky, vysoké CA) • Styl Autoritářský není příliš koherentní, Fyzické tresty do něj nepatří • Styl Volný/permisivní je poddimenzován (jen 2 položky, později přidána 1 s otočenou škálou) • Ptáme-li se na něco jen těžce uchopitelného a sociálně nedesirabilního (jako zde „nevýchova“ ve Volném stylu) → předem uvažujeme více položek; věnujeme zvýšenou pozornost operacionalizaci Autoritářský Cronbachovo Alfa jen 0,56 ! Volný/pasivní Cronbachovo Alfa jen 0,59 ! Opřený o autoritu Cronbachovo Alfa 0,84 KMVP - 4. dodatek

32. Poučení & postup operacionalizace(vícedimenzionálních indikátorů v položkových bateriích) • Při konstrukci dotazníku nepodceňujte operacionalizaci! • Identifikujte dimenze určitého konceptu na základě teorie. • Pro každou dimenzi připravte 1. kroku max. indikátorů. • Používejte pozitivní i negativní výroky. • Napište si indikátory na kartičky a diskutujte s kolegy (případně použijte nejprve škálovací/seřazovací techniky). • Soustřeďte se na nejednoznačné uchopitelné dimenze (v našem příkladu Volný styl výchovy) → u nich volte více položek; zkoušejte v pilotáži různé varianty operacionalizace. • Proveďte pilotáž. Ověřte homogenitu/dimenzionalitu (např. PCA, MDS, HIC, CFA) a položkovou reliabilitu (Cronbachovo Alpha). • Homogenita/Dimenzionalita: Empiricky (explorativně) identifikované dimenze v datech by měly odpovídat dimenzím v teorii. • Položková reliabilita: Cronbach Alpha > 0,7; ale přes 0,9 již ukazuje na to, že máme v dotazníku nadbytečné položky (a otravujeme tak respondenty). • Podle toho upravte počet a znění otázek profinální verzi dotazníku. • Po finálním sběru dat nejprve opět ověřte 1. počet platných odpovědí a 2. dimenzionalitu a reliabilitu (body 7 a 8). KMVP - 4. dodatek

33. Příklady KMVP, ZS 2009

34. Modelový omnibusový „mini výzkum“ • Populace: studenti KŘSO FHS, 1. ročník • Základní soubor: přítomní studenti na KMVP v pátek 6/11/09 9-11hod. → pouze na něj lze zobecňovat závěry výzkumu! • Dotazování celého souboru (nebude proveden výběr) • Omnibus s tématy: 1a: Práce domů? 1b. Motivace ke studiu 2. Antikoncepce 3. Studium a zaměstnání KMVP - 4. dodatek

35. Téma 1: Motivace ke studiu • RQ: Ovlivňuje motivace studentů úspěšné zakončení studia? → nelze testovat, neznáme (zatím) „úspěšné zakončení“ • RQ: Ovlivňuje motivace studentů studijní výsledky (SV)? • Obec.Hyp.: Motivace nemá vliv na studijní výsledky na BC studiu. → nelze protože nelze měřit motivaci do minulosti! • nebo Na SV má vliv charakter motivace. • Prac. Hyp.: Na SV má větší vliv osobní než pracovní motivace. • Operacionalizace: • Studijní výsledky na BC: 1. známka ze závěr. zkoušky (na diplomu) a diplomky 2. ukončení v řádném termínu, 3. délka studia. • Počet bodů u příjimaček na KŘSO FHS • Důvod studia (Proč studuje aby) ve dvou dimenzích. KMVP - 4. dodatek

36. Téma 2: Antikoncepce • RQ: Jaký druh antikoncepce požívají studentky KRSO 1. roč.? • Hyp.: • Více než 60% užívá perorální HAK. • → K čemu to zjišťovat? Banální hypotéza. → nová: • Nejčastěji používaným prostředkem antikoncepce je peorální HAK. • S rostoucím věkem se snižuje počet žen s HAK. • Operacionalizace: • Věk, jaké používá antik. prostředky v současnosti (lze i dlouhodobě), Proč-důvody: léčebné/další KMVP - 4. dodatek

37. Téma 3: Studium a zaměstnání • RQ: Umožňují zaměstnavatelé studium zaměstnancům? • RQ: Za jakých podmínek umožňuje zaměst. studium (ZS)? Obecná Hyp.: většině zaměstnaných studentů ZSumožňuje • Obec.Hyp.: Studium je prezenčně možné u ZS na základě kvalifikační dohody. • Hyp.: u ZS převažuje studium na základě kvalifikační dohody. • Operacionalizace: • ZS = 1. ano/ne 2. kategorie + filtr • Kvalifikační dohoda: součást baterie ot. za jakých podmínek dochází na přednášky a zkoušky (ve vztahu se zaměstnavatelem: KD, dovolená, RD, osobní volno,......) KMVP - 4. dodatek

38. Sociodemografické identifikace (Background vars) • Pohlaví (?) • Věk • Obor studia • Bydliště • Oblast práce (zdravotnictví / sociální služby) • … KMVP - 4. dodatek

39. Příklad: dvě varianty otázky na zaměstnání Jste zaměstnaný/á? • A / N FILTR: Pokud ano, jak? • Plný úvazek • Částečný úvazek • OSVČ Jak jste zaměstnán/a? • Nejsemzaměstnán/a • Plný úvazek • Částečný úvazek • OSVČ KMVP - 4. dodatek

40. Nezapomeňte! Získaná data jsou pouze odpověďmi na otázky (získané v konkrétní situaci dotazování). KMVP - 4. dodatek

41. Literatura • Babbie, E. 1995. The Practice of social Research. 7th Edition. Belmont: Wadsworth. • Disman, M. 1993. Jak se vyrábí sociologická znalost. Praha: Karolinum. • Hendl, J. 2010. Analýza působení mediátorových a moderátorových proměnných. Informační bulletin České statistické společnosti. 21(1): 1-15. • Pracovní materiály k metodice „zjišťování potřeb uživatelů sociálních služeb včetně metodiky uživatelských výzkumů (zkoumání vedená uživateli)“. <http://www.mpsv.cz/files/clanky/4173/prac_materialy_5.pdf> • Schaeffer, K., S. Presser. 2003. The Science of Asking Questions.Annual Review of Sociology 29: 65-88. • Traxlerová, M., L. Rabušic. 2008. Jak měřit bezmocnost: předběžné výsledky. Data a výzkum SDA info. 2(1): 7-29. • Vinopal, J. 2009. Situace standardizovaného dotazování z hlediska kognitivních přístupů. Sociologický časopis/Czech Sociological Review. 45(2): 397-420. KMVP - 4. dodatek