Validita a reliabilita

1. Validita a reliabilita

2. Podmienky na získanie hodnotných dát v teréne • Teoretické oboznámenie sa s výskumným nástrojom a zacvičenie • Správne použitie výskumných nástrojov • Korektné vyhodnotenie dát • Kontakt so skúmanými osobami

3. Validita • je schopnosť výskumného nástroja zisťovať to, čo bolo zamýšľané zisťovať. • je vlastne vzťah výskumného nástroja k teórii, na základe ktorej bol výskumný nástroj vyvinutý. • je to vyjadrenie o platnosti tohto nástroja. • je kontextovo viazaná.

4. Obsahová validita • vyjadruje mieru, do akej sa obsah výskumného nástroja kryje s obsahom meranej oblasti. • má svojou podstatou kvalitatívny charakter.

5. Kritériová validita Vyjadruje mieru zhody medzi výsledkami výskumného nástroja a výsledkami iných meraní uskutočnených s použitím známych, overených nástrojov. • súbežná validita – vyjadruje sa mierou zhody výsledkov podľa jedného výskumného nástroja a výsledkami iného (overeného) výskumného nástroja tých istých subjektov v tom istom čase. Stupeň zhody sa obyčajne zisťuje korelačným koeficientom. • predikčná validita – vyjadruje mieru zhody budúcich výsledkov v zvolenom kritériu. Porovnanie výsledkov v merných nástrojoch sa uskutočňuje s časovým odstupom.

6. Konštruktová validita • Vyjadruje mieru zhody výsledkov v posudzovanom výskumnom nástroji s pedagogicko-psychologickou teóriou (konštruktom), ktorá vysvetľuje podstatu pozorovaného fenoménu. • Konštrukt je abstraktný pedagogický respektíve psychologický pojem – vedomosť, schopnosť, tvorivosť atď.

7. Zisťovanie konštruktovej validity • Hodnotenie výskumného nástroja expertmi. • Porovnanie výsledkov daného nástroja s podobným nástrojom, o ktorom je overené, že zisťuje daný konštrukt. • Tretí spôsob – pomocou štatistickej metódy zvanej faktorová analýza.

8. Interná validita • je vlastnosť výskumného nástroja a realizácie výskumu vrátane spracovania jeho výsledkov a ich interpretácie. • je primárna.

9. Externá validita Externá validita súvisí s mierou, v akej môžeme uplatniť výskumný nástroj, spôsob realizácie, spracovania a vyhodnotenia výsledkov v inej situácii, čase, podmienkach. Externá validita môže vzniknúť iba za podmienky existencie internej validity. • Efekt Johna Henryho • Hawthornský efekt • Pygmalion effect / Observer-expectancy effect

10. Efekt Johna Henryho – súťaživosť subjektov kontrolnej skupiny, ktorí pod vplyvom informácie, že sú členmi kontrolnej skupiny majú snahu dosiahnuť lepšie výsledky ako experimentálna skupina. – výsledky kontrolnej skupiny prekrývajú účinnosť nezávislej premennej.

11. Hawthornský efekt – reakcia skúmaných osôb nie na experimentálnu manipuláciu s premennými, ale na skutočnosť, že sú skúmané. Termín bol zavedený v roku 1950. Henry A. Landsberger po tom čo preskúmal staršie experimenty z rokov 1924 – 1932 v Hawthorne Works (Western Electric factory outside Chicago) o vplyve osvetlenia na a pracovný výkon. Výsledky zistené v experimentálnej skupine podliehajú dominantne vnútornej motivácii subjektov k lepším výsledkom, ktorá vyplýva z vedomia, že sú súčasťou daného výskumného šetrenia.

12. Pygmalion effect • ... alebo Rosenthaleffect – odkazuje na jav, pri ktorom sa subjekty výskumu prezentujú tým lepšie, čím väčšie nároky (očakávania) sú na nich kladené. • učiteľ ako premenná ! • správanie učiteľa a IQ detí • hodnotenie učiteľa žiakmi

13. Observer-expectancy effect • Je efekt, pri ktorom výskumník môže spôsobiť neúmyselné ovplyvnenie účastníkov experimentu. • Očakávania výskumníka môžu ovplyvniť realitu.

14. Validita kvalitatívneho výskumu sa zabezpečuje dlhodobosťou výskumu, bezprostredným kontaktom s pozorovaným fenoménom, detailným opisom každej maličkosti. Validitu možno v kvalitatívnom výskume podporiť: • súbežným použitím viacerých metód zberu údajov – vychádza sa z premisy, že každá metóda lepšie uchopí iný aspekt pozorovaného fenoménu, čo prispeje k jeho lepšiemu pochopeniu a interpretácii. Získané výsledky sa vzájomne porovnávajú a konfrontujú, • súbežným pozorovaním viacerými výskumníkmi. Podstata použitia a výsledkov je podobná prvému postupu, • súčasným využitím viacerých teoretických prístupov. Pri validnom interpretovaní výsledkov kvalitatívneho výskumu sa často odporúča päť spôsobov kritického uvažovania o kvalitatívnych dátach, ktorého cieľom sú validnejšie zistenia: • princíp vyvrátiteľnosti, • metóda systematického pozorovania, • úplné spracovanie dát, • analýza deviantných prípadov, • využitie vhodných tabuliek.

15. Reliabilita Charakterizuje presnosť, konzistentnosť merania. Vyjadruje teda spoľahlivosť merania.

16. Existujú tri základné faktory, ktoré ovplyvňujú reliabilitu: • Rozsah výskumného nástroja (počet položiek) • Homogenita výskumného nástroja • Obťažnosť úloh výskumného nástroja

17. Existuje niekoľko spôsobov zisťovania reliability: • Opakovanie administrácie výskumného nástroja • Rozpolovanie výskumného nástroja • Odhad vnútornej konzistencie výskumného nástroja

18. (A) Opakovanie administrácie výskumného nástroja • test – retest • pri opakovaní administrácie sa postupuje tak, že sa ten istý výskumný nástroj zadáva dvakrát tým istým ľuďom s časovým odstupom. Potom sa vypočíta miera zhody medzi výsledkami prvého a druhého administrovania.

19. (B) Rozpolovanie výskumného nástroja • ak je výskumný nástroj dostatočne homogénny, stačí test administrovať jedenkrát. Pri výpočte sa test rozdelí na dve polovice. Jednu polovicu tvoria výsledky párnych položiek a druhú výsledky nepárnych položiek. • osobitne sa vypočíta skóre pre párne a pre nepárne položky. Výsledky nepárnych a párnych položiek sa skorelujú. • výsledok však nie je realistický – korekčný vzorec Spearmana a Browna:

20. (C) Odhad vnútornej konzistencie výskumného nástroja

21. Reliabilita pri metóde pozorovania • metóda posúdenia dvomi nezávislými hodnotiteľmi (inter-rater reliability). • vypočíta sa stupeň zhody (obyčajne v %)

22. Vzťah medzi validitou a reliabilitou • Dobrý výskumný nástroj musí mať dostatočnú validitu i dostatočnú reliabilitu. Ak je validita nízka, je zrejmé, že výskumný nástroj zisťuje niečo iné, než to, čo výskumník chcel zisťovať. V tom prípade ani vysoká reliabilita (ak je vôbec v takomto prípade možná) nie je zárukou získania dobrých dát. Podobne, ak je reliabilita veľmi nízka, vysoká validita nezachraňuje hodnotu daného nástroja. Pre výskumníka je preto jediná cesta – hľadať (alebo skonštruovať) výskumné nástroje, ktoré sú dostatočne validné i dostatočne reliabilné.

23. Reliabilita v kvalitatívnych výskumoch • V kontexte kvalitatívnych výskumov reliabilita dominantne hovorí o stupni zhody, s akým rôzni pozorovatelia alebo ten istý pozorovateľ v rôznych situáciách zaradia pozorované prípady do tej istej kategórie. Inak povedané chápu a interpretujú ich zhodne. • Pre kvalitatívny výskum napríklad platí, že jeho precízna štrukturácia je ohraničená. Mnohokrát sa merajú atypické, v istom zmysle unikátne, premenlivé fenomény, čo prirodzene dosť obmedzuje replikovateľnosť, čo je základný predpoklad reliability. • Povinnosťou výskumníka je preto v kvalitatívnych výskumoch predovšetkým, aby zdokladoval svoj postup a preukázal, že použité kategórie aplikoval správne.