1 / 231

MERNI INSTRUMENTI U KINEZIOLOGIJI, NJIHOVA KONSTRUKCIJA I EVALUACIJA

Prof. dr Stanislav Fajgelj stanef@eunet.yu www.cpijm.org.yu/stanef.htm. Stanislav Fajgelj. April 2006.. 3. LITERATURA. Fajgelj, S. (2005). Psihometrija ? Metod i teorija psiholo?kog merenja, II dopunjeno izdanje, Beograd: Centar za primenjenu psihologiju.Bukvic, A. (1996): Nacela izrade psiholo?kih

rolf
Download Presentation

MERNI INSTRUMENTI U KINEZIOLOGIJI, NJIHOVA KONSTRUKCIJA I EVALUACIJA

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

    1. MERNI INSTRUMENTI U KINEZIOLOGIJI, NJIHOVA KONSTRUKCIJA I EVALUACIJA

    2. Prof. dr Stanislav Fajgelj stanef@eunet.yu www.cpijm.org.yu/stanef.htm

    3. Stanislav Fajgelj April 2006. 3 LITERATURA Fajgelj, S. (2005). Psihometrija – Metod i teorija psihološkog merenja, II dopunjeno izdanje, Beograd: Centar za primenjenu psihologiju. Bukvic, A. (1996): Nacela izrade psiholoških testova (III izdanje), Zavod za udžbenike i nastavna sredstva, Beograd. Nunnally, J.C., Bernstein, I.H. (1994). Psychometric theory – III Edition, McGraw-Hill Series in Psychology, New York. American Educational Research Association – AERA (1999). Standards for educational and psychological testing, Washington: autor. Momirovic, K., Wolf, B., Popovic, B. (1999). Uvod u teoriju merenja, I. Metrijske karakteristike kompozitnih mernih instrumenata, 2. izdanje, Priština: Fakultet za fizicku kulturu. Hambleton, R.K., Swaminathan, H., Rogers, J.H. (1991). Fundamentals of Item Response Theory, SAGE Publications, Newbury Park – CA.

    4. Stanislav Fajgelj April 2006. 4

    5. Stanislav Fajgelj April 2006. 5 Konstrukcija mernih instrumenata i njihova evaluacija Prvi merni instrumenti su merili svojstva objekata koja su dostupna culima: dužina, masa, zapremina, vreme. . . Problemi konstrukcije i evaluacije takvih mernih instrumenata svode se na: standardizaciju odredivanje apsolutne nule i jedinice merenja koja rešava i problem standardizacije

    6. Stanislav Fajgelj April 2006. 6 Konstrukcija mernih instrumenata i njihova evaluacija Po Medunarodnom sistemu mera (SI), donesenom u Parizu 1960. godine, elementarne jedinice su: metar (dužina), kilogram (masa), sekunda (vreme), amper (elektricna struja), kelvin (temperatura), kandel (jacina svetlosti), a ponegde i radijan (ugao) Sve ostale mere se mogu izvesti iz ovih Prema tome, spisak osnovnih mera neživog sveta je vrlo kratak

    7. Stanislav Fajgelj April 2006. 7 Konstrukcija mernih instrumenata i njihova evaluacija Merenje u prirodnim i tehnickim naukama nailazi na probleme kada meri atribute koji nisu dostupni culima Pravo rešenje za takve probleme su fizicki zakoni koji dovode u egzaktnu vezu dva ili više atributa Na osnovu takvih zakona možemo meriti jacinu elektricne struje ili jacinu magnetskog polja

    8. Stanislav Fajgelj April 2006. 8 Konstrukcija mernih instrumenata i njihova evaluacija Umesto fizickih zakona, koristi se i “blaža” varijanta povezanosti atributa – empirijska Na osnovu nje merimo temperaturu, vazdušni pritisak, vreme itd. Ali... vazdušni pritisak zavisi od temperature, temperatura od nadmorske visine itd... Dakle, i fizicko merenje ima problem validnosti i pouzdanosti

    9. Stanislav Fajgelj April 2006. 9 Konstrukcija mernih instrumenata i njihova evaluacija Problem merenja u antropološkim i društvenim naukama je što nema osnovnih jedinica mera, što nema fizickih zakona ni tacnih empirijskih povezanosti atributa. . . Zbog toga je konstrukcija i evaluacija mernih instrumenata jedan od osnovnih zadataka tih nauka

    10. Stanislav Fajgelj April 2006. 10 Evaluacija mernih instrumenata Pod evaluacijom mernih instrumenata podrazumevamo Odredivanje njihovih mernih svojstava Ocenjivanje korisnosti, pogodnosti i primenljivosti

    11. Stanislav Fajgelj April 2006. 11 Odredivanje mernih svojstava Ne postoji univerzalna definicija mernog svojstva Ne postoji opšte prihvaceni spisak mernih svojstava Ne postoji opšte prihvacena podela mernih svojstava

    12. Stanislav Fajgelj April 2006. 12 Odredivanje mernih svojstava Izbor i ocenjivanje mernih svojstava zavisi od: naucne discipline, predmeta merenja, vrste instrumenta itd., ali pre svega od modela merenja

    13. Stanislav Fajgelj April 2006. 13

    14. MERNI INSTRUMENTI U NAUKAMA O PONAŠANJU

    15. Stanislav Fajgelj April 2006. 15 Testovi i merenje Testovi su merni instrumenti U naukama o ponašanju merenje ima važnu ulogu u: Prakticnoj primeni nauke Razvoju naucnih konstrukata i nauke u celini Proveri naucnih hipoteza Komunikaciji znanja Evaluaciji znanja. . .

    16. Stanislav Fajgelj April 2006. 16 Testovi i merenje Kako razlikujemo testove od metra ili štoperice? Testovima evidentiramo, snimamo manifestno ponašanje ispitanika: Pokrete Mišljenja, stavove Rešavanje zadataka. . . Sa ciljem da utvrdimo prisustvo ili stepen prisustva skrivenih osobina koje izazivaju to ponašanje

    17. Stanislav Fajgelj April 2006. 17 Vrste testova Postoje brojne mogucnosti za podelu testova Na primer, po opštem izgledu ili medijumu: Testovi tipa papira i olovke, štampani testovi Testovi izvodenja, test-aparati, motoricki testovi

    18. Stanislav Fajgelj April 2006. 18 Vrste testova Štampani testovi Psihološki testovi Upitnici Skale (stavova npr.) Skale procene. . . Ne moraju biti na papiru, nego na racunaru ili nekom drugom medijumu U psihologiji se koriste sve ove vrste testova, ukljucujuci i testove izvodenja, pa se cesto svi oni nazivaju testovima

    19. Stanislav Fajgelj April 2006. 19 Vrste testova Tipicne vrste štampanih testova su: Verbalni, koji se sastoje od tekstualnih stavki u obliku pitanja, tvrdnji, zadataka, nedovršenih recenica. . . Neverbalni, koji imaju stavke grafickog, ikonickog ili likovnog karaktera, ili koji nemaju vidljive stavke Numericki testovi mogu spadati i u jednu i u drugu grupu

    20. Stanislav Fajgelj April 2006. 20 Definicije testa Važne komponente svih definicija Standardizovanost, kao važna komponenta objektivnosti Testovi sadrže proverene draži na koje ispitanici reaguju Uzima se uzorak ponašanja iz domena osobine Ispitanici se porede na osnovu rezultata

    21. Stanislav Fajgelj April 2006. 21 Testiranje i ocenjivanje Testiranje je: administriranje, ocenjivanje i tumacenje psiholoških testova Ocenjivanje je prikupljanje podataka razlicitim metodama, njihova analiza, tumacenje i objedinjavanje nalaza

    22. Stanislav Fajgelj April 2006. 22 Vrste psiholoških testova Testovi sposobnosti – testovi licnosti Verbalni testovi – neverbalni testovi Štampani testovi – testovi izvodenja Strukturirani testovi – nestrukturirani testovi Testovi sa slobodnim odgovorima – testovi sa predloženim odgovorima Grupni testovi – individualni testovi Klinicki testovi – neklinicki testovi Testovi brzine – testovi snage Racunarski podržani i adaptivni testovi

    23. Stanislav Fajgelj April 2006. 23 Testovi sposobnosti Od ispitanika se traži maksimalna aktivnost, a rezultate ocenjuje neko drugi Sposobnosti su kapaciteti da se izvede neko ponašanje: senzomotorne, perceptivne, pažnja, inteligencija Kognitivni testovi Ajtemi se nazivaju zadacima Testovi podobnosti, testovi postignuca i neuropsihološki testovi

    24. Stanislav Fajgelj April 2006. 24 Primeri kognitivnih ajtema _____ je prema šeširu kao kuca prema _____ 1. odelo A. prozor 2. glava B. vrt 3. civiluk C. krov 4. rupa D. dimnjak JIRE : KIRE = FORA : KORE KORA LIRE GORA GIRE pots stop avum muva acvo ________ Sto puta meri, a jednom seci. a) Pre nego što nešto uciniš, dobro promisli b) Ko hita, vrat lomi c) Rec se meri, a ne broji.

    25. Stanislav Fajgelj April 2006. 25 Guilfordov ajtem za divergentnu produkciju Navedite što više mogucnosti upotrebe navedenog predmeta (šta sve možete uciniti sa ciglom). Za rešavanje imate 2 minuta. CIGLA moze poslužiti za:

    26. Stanislav Fajgelj April 2006. 26 Testovi licnosti Od ispitanika se traži tipicna aktivnost i on sam sebe ocenjuje Osobine (crte) se definišu kao dispozicije Konativni testovi Upitnici, inventari ili skale Ajtemi se nazivaju pitanjima

    27. Stanislav Fajgelj April 2006. 27 Racunarski podržani i adaptivni testovi RBT i KAT U adaptivnim testovima se zadaju ajtemi koji su prilagodeni ispitaniku

    28. Stanislav Fajgelj April 2006. 28 Delovi testa Stavka, ajtem, cestica. . . Paketi ili testleti Podtestovi i podskale Uputstvo, primer i vežba Baterije testova

    29. Stanislav Fajgelj April 2006. 29 Stavka, ajtem, cestica. . . Osnovni deo svakog testa Dilema: ono što ispitanik vidi, ili ono što psiholog ocenjuje Kod strukturisanih, objektivnih, štampanih testova... stavka je pojedinacno pitanje ili zadatak

    30. Stanislav Fajgelj April 2006. 30 Paketi ili testleti Grupa ajtema koji se odnose na isti sadržaj, ili koji predstavljaju celinu, ili koje ispitanik može da reši sledeci definisani put Namena im je u povecanju pouzdanosti ili u alternativnim formama (KAT) Tautologije nisu dobar nacin

    31. Stanislav Fajgelj April 2006. 31 Podtestovi ili podskale Mere razlicite osobine Mere razlicite facete, faktore ili nivoe iste osobine Imaju stavke razlicitog formata Zasebno se skoruju

    32. Stanislav Fajgelj April 2006. 32 Uputstvo, primer i vežba Odštampani su na samom testu (prirucniku) i administrator ih cita takve kakvi jesu Oni su delovi testa jer mogu dramaticno da uticu na odgovore Standardno uputstvo i uvodno uputstvo Testovi sposobnosti obicno imaju primer i vežbu

    33. Stanislav Fajgelj April 2006. 33 Baterije testova Omnibus testovi Nekada konstruktori sami prave složene testove koje nazivaju baterijom Važnija je situacija kada psiholog kombinuje više testova za odredenu namenu Takvoj bateriji nisu odredena merna svojstva Problem formiranja kompozitnog skora Prirodan nacin da se homogenim testovima meri širi repertoar osobina

    34. Stanislav Fajgelj April 2006. 34 Vrste stavki i format stavki Format ocenjivanja Binarni Ordinalni Nominalni Stepenovano ocenjivanje Format prezentiranja

    35. Stanislav Fajgelj April 2006. 35 Stavke dihotomnog formata Sastoje se od stabla i ponudena dva odgovora Liste oznacavanja ili kontrolne liste Stavke sa prisilnim izborom Skale sa prisilnim izborom Stavke sa alternativnim izborom

    36. Stanislav Fajgelj April 2006. 36 Pitanja sa višestrukim izborom – PVI Ocenjuju se nominalno (nekognitivna) ili binarno (kognitivna) Sastoje se iz stabla i tri ili više alternativa U binarno ocenjivanim PVI jedna od alternativa je najtacniji odgovor Ostale alternative su distraktori

    37. Stanislav Fajgelj April 2006. 37 PVI – pitanje broja alternativa Ako nema pogadanja dovoljne su tri U praksi, dovoljne su cetiri Istraživanja pokazuju da PVI obicno sadrže jedan do dva dobra distraktora, a ostali su obicno nulti distraktori Ne mora biti isti broj kod svih pitanja

    38. Stanislav Fajgelj April 2006. 38 Kako pisati dobra PVI Timski rad Ako je jedna alternativa najtacnija, to znaci da ostale nisu besmislene Besmisleni, providni, gramaticki pogrešni itd. distraktori cine citavo PVI lošim Dobri distraktori cine PVI dobrim Atraktor je alternativa koja je posebno privlacna ispitanicima sa poluznanjem

    39. Stanislav Fajgelj April 2006. 39 Stavke sa uredenim kategorijama Stavke sa ordinalnim kategorijama Alternative su poredane po nekom kriterijumu Skale procene Likertove skale Binomni pokušaji, brojanje tacnih odgovora u nekom zadatku. . . Ali ne i: stavke sa stepenovanim ocenjivanjem koje predstavljaju nacin ocenjivanja

    40. Stanislav Fajgelj April 2006. 40 Skale procene Politomne stavke sa uredenim kategorijama Procenjuje se neko svojstvo ili ponašanje drugih ljudi za koje postoji teorijski okvir da se tretira kao kvantitativno

    41. Stanislav Fajgelj April 2006. 41 Skale procene Skalu cini stavka koja ima stablo i skalu odgovora Skalu odgovora cini skup alternativa koji može biti: semanticki, numericki ili graficki Da bi skala odgovora postala skala merenja moraju postojati teorijski i empirijski dokazi

    42. Stanislav Fajgelj April 2006. 42 Standardni problemi procenjivanja Popustljivost – strogost – velikodušnost Ekstremnost – greška centralne tendencije Halo efekt Procenjivacko usmerenje Oportunizam Nestabilnost

    43. Stanislav Fajgelj April 2006. 43 Pravila dobre skale procene Skala, posebno skala odgovora mora biti takva da za sve ucesnike ima isto znacenje Da bude multiajtemska BARS Bipolarne skale, skale sa prisilnim izborom. . .

    44. Stanislav Fajgelj April 2006. 44 Stavke sa konstruisanim odgovorima Stavke sa otvorenim ili slobodnim odgovorima Podrazumevaju se kognitivne stavke Postoji stablo (eksplicitno ili implicitno) i mesto za upisivanje odgovora

    45. Stanislav Fajgelj April 2006. 45 Ajtemi sa kompletiranjem Primer: Ova stavka naziva se ajtem sa _________ Linija može biti na pocetku ili sredini recenice Lako se ocenjuju

    46. Stanislav Fajgelj April 2006. 46 Ajtemi sa kratkim odgovorima Sastoji se od pitanja koje zahteva kratak odgovor: Strucni izraz Frazu Recenicu Pasus Dužina linije sugeriše koliko dug odgovor se ocekuje

    47. Stanislav Fajgelj April 2006. 47 Esejska pitanja Ajtemi sa proširenim odgovorom Što je odgovor duži: Teže ga je objektivno oceniti Nepogodniji je za velike grupe Dužina zavisi i od namene, predmeta merenja, osobina ispitanika Dovoljno je pola strane do jedne strane Najbolje je ako se zahteva komparacija, ocena i licno mišljenje ispitanika o nekoj kontroverzi, problemu. . .

    48. Stanislav Fajgelj April 2006. 48 PVI ili PKO PVI se teško prave a lako ocenjuju PKO se lako prave a teško ocenjuju PVI nisu pogodna za kompleksne veštine, divergentno mišljenje i stvaralaštvo PKO mogu da imaju vrlo nisku pouzdanost, ne mogu da pokriju svo gradivo, ne mogu na velikim grupama...

    49. Stanislav Fajgelj April 2006. 49 Ocenjivanje pomocu dosijea Dosijei su zbirka ili uzorak radova prikupljenih tokom vremena Bliski su metodi prakticnih zadataka Pravila za formiranje dosija moraju da budu jasna i precizna Kriterijumi ocenjivanja dosijea moraju biti definisani unapred, jasno i precizno

    50. Stanislav Fajgelj April 2006. 50 Banke ajtema Banka ajtema je strukturisani skup ajtema cija su merna svojstva poznata Banka ajtema je namenjena da se iz nje izvlace alternativne forme testova sa poznatim mernim svojstvima Banke ajtema su danas implementirane na racunarima Banka ajtema može biti jednodimenzionalna ili višedimenzionalna

    51. Stanislav Fajgelj April 2006. 51 Banke ajtema Kalibracija banke ajtema 100 do više stotina ajtema, u zavisnosti od kvaliteta ajtema, namene banke, predmeta merenja itd. Najjednostavniji nacin biranja ajtema iz banke je na osnovu težine ajtema Danas se najcešce koristi funkcija informativnosti

    52. Stanislav Fajgelj April 2006. 52 Racunarsko adaptivno testiranje KAT Svakom ispitaniku se zadaju ajtemi cija je težina prilagodena nivou osobine kod tog ispitanika Svaki ispitanik dobija “svoj test” Procedura startovanja Procedura selekcije ajtema Kriterijumi zaustavljanja

    53. Stanislav Fajgelj April 2006. 53 KAT sa binarnim ajtemima

    54. Stanislav Fajgelj April 2006. 54 Racunarski zasnovano testiranje RBT Tu spadaju i banke ajtema i KAT Pomoc u zadavanju testova Pomoc u skorovanju i interpretaciji, ekspertski sistemi Automatsko generisanje ajtema

    55. Stanislav Fajgelj April 2006. 55 Testovi orijentisani na norme i na kriterijum Testovi orijentisani na norme se tumace tako što se skor poredi sa normom, tj. sa drugim ispitanicima Testovi orijentisani na kriterijum se interpretiraju tako što se utvrduje da li je ispitanik dostigao neki kriterijum: naucio celo gradivo ovladao nekom veštinom u stanju da obavlja neki posao, završi školu...

    56. SKALE I SKALIRANJE

    57. Stanislav Fajgelj April 2006. 57 Semanticki diferencijal Osgood ga je konstruisao sa otkrivanje konotativnog znacenja pojmova Utvrdio je da postoji tri osnovne dimenzije konotativnih znacenja: Evaluacija ili ocena Potencija ili snaga Aktivnost

    58. Stanislav Fajgelj April 2006. 58 Semanticki diferencijal uglast | | | | | | zaobljen slab | | | | | | jak rapav | | | | | | gladak aktivan | | | | | | pasivan mali | | | | | | veliki hladan | | | | | | topao dobar | | | | | | rdav napet | | | | | | opušten mokar | | | | | | suv svež | | | | | | ustajao

    59. Stanislav Fajgelj April 2006. 59 MERENJE STAVOVA Stavovi su steceni, nauceni Tri komponente stava: kognitivna, afektivna i konativna Stavovi imaju referentni objekt Stavovi imaju valencu: pozitivnu ili negativnu Stavovi imaju intenzitet

    60. Stanislav Fajgelj April 2006. 60 MERENJE STAVOVA Stavovi se najcešce mere skalama stavova. Skalom stava meri se valenca i intenzitet stava, odnosno njegova afektivna komponenta. Skale stavova objedinjavaju teorijski pristup stavu, tehnologiju konstrukcije i nacin dodeljivanja brojeva.

    61. Stanislav Fajgelj April 2006. 61 OSNOVNE SKALE STAVOVA Skala socijalne distance – Bogardusova Guttmanova skala – skalogramska analiza Thurstoneova skala – diferencijalna Likertova skala – sumaciona

    62. Stanislav Fajgelj April 2006. 62 BOGARDUSOVA SKALA SOCIJALNE DISTANCE 1) pristao bih da posete moju zemlju 2) pristao bih da žive u mojoj zemlji 3) pristao bih da radim sa njima 4) pristao bih da budu moje komšije 5) pristao bih da budu u mom klubu 6) pristao bih na brak sa njima.

    63. Stanislav Fajgelj April 2006. 63 GUTTMANOVA SKALA a) Jeste li viši od 1,90m da ne b) Jeste li viši od 1,80m da ne c) Jeste li viši od 1,70m da ne d) Jeste li viši od 1,60m da ne

    64. Stanislav Fajgelj April 2006. 64 GUTTMANOV SKALOGRAM Ajtem Ajtem Ajtem Ajtem Ispitanik a b c d 11 X X X X 6 X X X X 15 X X X 21 X X X 14 X X X 19 X X 1 X X 9 X 18 X X 11 . . . Sa „X” je oznacen tacan odgovor.

    65. Stanislav Fajgelj April 2006. 65 THURSTONEOVA SKALA - Smrtna kazna je pogrešna, ali je neophodna u našoj nesavršenoj civilizaciji - Svaki kriminalac treba biti pogubljen - Smrtna kazna nikad nije bila efikasna u sprecavanju kriminala - Ne verujem u smrtnu kaznu ni pod kakvim okolnostima - Smrtna kazna daje kriminalcu ono što on zaslužuje

    66. Stanislav Fajgelj April 2006. 66 THURSTONEOVA SKALA Stavke se prikupljaju iz razlicitih izvora (eksperti, mediji, zainteresovane osobe...) Formulišu se u obliku tvrdnji koje imaju opšti format: {objekat stava} {relacija} {vrednost, atribut}

    67. Stanislav Fajgelj April 2006. 67 Thurstoneova skala Nakon toga procenjivaci razvrstavaju tvrdnje u 11 kategorija. Tvrdnje koje sadrže najpozitivniji stav u 11. kategoriju Tvrdnje koje sadrže najnegativniji stav u 1. kategoriju Neutralne tvrdnje u 6. kategoriju

    68. Stanislav Fajgelj April 2006. 68 THURSTONEOVA SKALA Nakon razvrstavanja, za svaku stavku imamo njenu srednju težinu (medijanu) Od zadržanih stavki se formira skala Po teoriji, svaki ispitanik ce zaokružiti jednu stavku (najviše tri), koja odgovara njegovom stavu prema smrtnoj kazni Težina zaokružene stavke je mera ispitanikovog stava

    69. Stanislav Fajgelj April 2006. 69 LIKERTOVA SKALA Smatram da crkvena služba umiruje i inspiriše Uopšte se ne slažem 1 Ne slažem se 2 Neodlucan sam 3 Slažem se 4 Potpuno se slažem 5

    70. Stanislav Fajgelj April 2006. 70 LIKERTOVA SKALA Svaka stavka reprezentuje citav kontinuum stava Nema etape procenjivaca Ispitanici zaokružuju alternativu koja odražava njihov stav Mera ispitanikovog stava dobija se sabiranjem zaokruženih odgovora

    71. Stanislav Fajgelj April 2006. 71 Likertova skala Skup alternativa može imati tri glavna oblika: Slaganje Ocenjivanje Frekvencija i kolicina Kvantifikacija alternativa Unipolarno Bipolarno

    72. Stanislav Fajgelj April 2006. 72 Likertova skala Važno je razlikovati skalu odgovora od merne skale Da bi zaokruženi odgovori 1, 2, 3,... postali mera stava potrebna je dobra teorija i empirijska provera

    73. Stanislav Fajgelj April 2006. 73 Likertova skala Problem konstrukcije neutralnih tvrdnji Nije dobro: “crkva je divna, grozna ustanova” Sa tvrdnjom: “smrtna kazna je nužna, ali bih voleo da nije” se slažu oni sa srednjim stavom, ali se ne zna ko se sa njom ne slaže Problem negativno formulisanih tvrdnji Inverzija stabala Inverzija alternativa

    74. Stanislav Fajgelj April 2006. 74 Likertova skala Problem registrovanja ekstremnih stavova Ispitanici sa ekstremnim stavom se nece slagati sa blažim tvrdnjama Problem srednje kategorije, “ne znam”, “ne želim da odgovorim” i “drugo”

    75. Stanislav Fajgelj April 2006. 75

    76. Stanislav Fajgelj April 2006. 76 Model merenja Model merenja je matematicki ili statisticki model koji numericki kombinuje nezavisne varijable s ciljem da se predvidi zavisna varijabla Nezavisne varijable su obicno latentne osobine, koje su skrivene – konstrukti Zavisna varijabla je po pravilu odgovor, odnosno ponašanje jedinke, odnosno skor

    77. Stanislav Fajgelj April 2006. 77 Model merenja Dve osnovne grupe mernih modela u psihometriji su: Klasicna teorija testa, ili klasicni merni model, ili model pravog skora – KTT Teorija ajtemskog odgovora ili teorija latentne crte – TAO

    78. Stanislav Fajgelj April 2006. 78 Klasicna teorija testa Z = T + E ? MODEL S2 = EtE = diag TtE = 0 ZtE = (T + E) tE = S2 P = ZtT = Zt(Z–E) = ZtZ – ZtE = R – S2 C = TtT = (Z–E)t(Z–E) = = ZtZ – EtZ – ZtE + EtE = R – S2 R = ZtZ = (T+E)t(T+E) = C + S2

    79. Stanislav Fajgelj April 2006. 79 Nedostaci KTT Uvek je tacna Platonski pravi skorovi Razlicit nacin koncipiranja; test-retest. . . Nekoreliranost grešaka Meduzavisnost mera osobine od uzorka Lak test je težak “lošim” ispitanicima. . . Preplitanje definicija mernih svojstava

    80. Stanislav Fajgelj April 2006. 80 Nedostaci KTT Da bi se otklonili, stvoren je niz pomocnih modela, pre svih: Model paralelnih indikatora Model uzorkovanja iz domena

    81. Stanislav Fajgelj April 2006. 81 Modeli paralelnih indikatora Paralelni indikatori Tj = Tk sj2 = sk2 iste varijanse sjk = slk iste kovarijanse rjk = rtt = st2 / s2 Pouzdanost nekog indikatora jednaka je njegovoj korelaciji sa nekim drugim, njemu paralelnim indikatorom

    82. Stanislav Fajgelj April 2006. 82 Modeli paralelnih indikatora Definisani su i drugi tipovi paralelnih indikatora: Tau ekvivalentni indikatori, koji imaju jednake prave skorove, razlicite varijanse i iste kovarijanse Za ocenjivanje pouzdanosti testa najcešce se koristi upravo model t-ekvivalentnih indikatora Kongenericki indikatori, koji imaju razlicite prave skorove, varijanse i kovarijanse Jedini zahtev je da indikatori imaju samo jedan zajednicki izvor (predmet merenja)

    83. Stanislav Fajgelj April 2006. 83 Model uzorkovanja iz domena Druga populacija i drugi uzorak Domen crte cine sva ponašanja koja izaziva, na koja utice ili koja moduliše ta crta Test obuhvata jedan uzorak tih ponašanja Pravi skor je onaj koji bi ispitanik dobio kad bi bio ispitan svim ajtemima iz domena

    84. Stanislav Fajgelj April 2006. 84 Model uzorkovanja iz domena Za ajteme: r1. = r2. = ... = rj. = rjk rjk je prosecna korelacija u matrici rj(1...m) = rjT = sqrt(rjk) = sqrt(rj.) m?8 Za testove rj. = rjk = rjT2 rjT je korelacija j-tog testa sa pravim skorom

    85. Stanislav Fajgelj April 2006. 85 Teorija generalizabilnosti Univerzum merenja cine sva moguca merenja koja su jednako prihvatljiva onome ko ih primenjuje Skor univerzuma – prosek ili zbir svih merenja Skor univerzuma = pravi skor Ako je pojedinacan skor blizak skoru univerzuma, on je generalizabilan

    86. Stanislav Fajgelj April 2006. 86 Univerzum i facete Univerzum cine facete: Ajtemi Procenjivaci Vremena Situacije . . . Facete su izvori varijanse koji mogu da ometaju odlucivanje, na primer, razliciti kriterijumi procenjivaca Generalizabilnost-pouzdanost se iskazuje intraklasnim koeficijentima korelacije, a oni se izracunavaju iz tabele ANOVA

    87. Stanislav Fajgelj April 2006. 87 Guttmanova imaž teorija U univerzumu: imaž je onaj deo varijable koji se može predvideti iz ostalih varijabli – R2 – koeficijent determinacije Antiimaž je 1 – R2 U uzorku-testu: parcijalni imaž parcijalni antiimaž = specifitet + greška

    88. Stanislav Fajgelj April 2006. 88 Guttmanov model merenja Kljucna matrica je: V2 = diag(R–1)–1 Ona sadrži parcijalne antiimaže varijabli: greške se mogu egzaktno izracunati Medutim, u Guttmanovom modelu greške mogu biti korelirane

    89. Stanislav Fajgelj April 2006. 89 Faktorski model merenja Nastao kao model podataka, a ne model merenja Prava varijansa se definiše kao varijansa koju objašnjavaju zadržani faktori U terminima FA to je komunalitet – h2 Neobjašnjena varijansa se naziva unikvitetom (u2) i sadrži specifitet (s2) + grešku (e2) h2 + (s2 + e2) = 1

    90. Stanislav Fajgelj April 2006. 90 Osnove teorije ajtemskog odgovora – TAO Item Response Theory – IRT Osnovne karakteristike: Skaliranje Modeliranje Statisticki pristup dodeljivanju numerala Specificna objektivnost – invarijantnost poretka

    91. Stanislav Fajgelj April 2006. 91 Ocena osobine i težine po KTT

    92. Stanislav Fajgelj April 2006. 92 Problemi

    93. Stanislav Fajgelj April 2006. 93 Ocena osobine i težine u TAO dajtema = ln[pkolone / (1 – pkolone)] ?ispitanika = ln[preda / (1 – preda)]

    94. Stanislav Fajgelj April 2006. 94 Ocena osobine i težine u TAO

    95. Stanislav Fajgelj April 2006. 95 Verovatnoca odgovora po TAO

    96. Stanislav Fajgelj April 2006. 96 Verovatnoca odgovora po TAO

    97. Stanislav Fajgelj April 2006. 97 Rešenje prvog problema - misfit

    98. Stanislav Fajgelj April 2006. 98 Rešenje drugog problema-misfit

    99. Stanislav Fajgelj April 2006. 99 Osnovne pretpostavke Jednodimenzionalnost Svi ajtemi moraju imati zajednicko jezgro Lokalna nezavisnost Korelacija izmedu ajtema mora biti nulta ako se osobina drži konstantnom

    100. Stanislav Fajgelj April 2006. 100 Fitovanje modela Modelski pristup merenju se ocituje u tome što se sistematski proverava da li podaci odgovoraju modelu (ili obrnuto) Uporeduju se modelske predikcije (verovatnoce odgovora) i dobijeni podaci - vidi rešenja prvog i drugog problema

    101. Stanislav Fajgelj April 2006. 101 Karakteristicna kriva ajtema – KKS

    102. Stanislav Fajgelj April 2006. 102 3PL TAO model za dihotomne ajteme ? je parametar ispitanika – nivo osobine d, a i c su parametri ajtema: Težine Diskriminativnosti Pogadanja

    103. Stanislav Fajgelj April 2006. 103 Raschov model Najpoznatiji model, 1PL

    104. Stanislav Fajgelj April 2006. 104 Raschov model Najbliži ideji modela merenja – slican psihofizickim modelima Najbliži konceptu invarijantnosti poretka, odnosno specificnoj objektivnosti Najbliži Thurstoneovoj definiciji dobrog merenja

    105. Stanislav Fajgelj April 2006. 105 Ostali TAO modeli 1P, 2P i 3P modeli Logisticki i normalni Za dihotomne i polihotomne ajteme Za nominalne (PVI) i ordinalne ajteme Višedimenzionalni i neparametrijski Tendencija je da se za svaki format ajtema izgrade posebni modeli

    106. Stanislav Fajgelj April 2006. 106 KTT – TAO KTT U žargonu, merna svojstva se predstavljaju statisticima Razdvojeni su pouzdanost i valjanost Nema provere fitovanja TAO Merna svojstva se predstavljaju parametrima Pouzdanost i valjanost se razmatraju u kontekstu objektivnosti Pouzdanost i valjanost su donekle zamenjeni analizom fitovanja

    107. Osnovna merna svojstva

    108. Stanislav Fajgelj April 2006. 108 Osnovna merna svojstva Stavki Testova Po KTT – koeficijenti ili statistici Po TAO – parametri

    109. Stanislav Fajgelj April 2006. 109 “Težina” stavke – KTT Kod binarnih stavki – proporcija pozitivnih odgovora – p vrednost U opštem slucaju: aritmeticka sredina ajtemskih skorova Za binarne var. M=p Za polihotomne var. umesto M mogu se koristiti Mdn ili Mod

    110. Stanislav Fajgelj April 2006. 110 Težina stavke ili testa – KTT Težina kao lokacija na kontinuumu osobine

    111. Stanislav Fajgelj April 2006. 111 “Težina” stavke – KTT Protivrecnost: veci p ili M – manja težina “Težina” nije dobar naziv za stavke koje ne mere sposobnosti Alternativni nazivi: indeks težine, popularnost, indeks lakoce, p-vrednost. . .

    112. Stanislav Fajgelj April 2006. 112 Težina stavke – KTT Težina je jedan od dva osnovna kriterijuma za izbor stavki u test Biraju se stavke razlicitih težina, ali tako da im prosecna težina bude p = 0,50 Izbegavaju se ekstremno lake i ekstremno teške stavke (npr. 0,10 i 0,90)

    113. Stanislav Fajgelj April 2006. 113 Težina testa – KTT Prosecna težina stavki u testu ili: aritmeticka sredina ukupnog skora Zavisi od težine stavki

    114. Stanislav Fajgelj April 2006. 114 Diskriminativnost stavke – KTT Svojstvo stavke da razlikuje ispitanike sa niskom i visokom osobinom Alternativni naziv osetljivost (da se razlikuju ispitanici sa razlicitim nivoom osobine)

    115. Stanislav Fajgelj April 2006. 115 Diskriminativnost stavke – KTT Klasicni pokazatelj: diskriminativna moc (DP), tj. indeks diskriminativne moci, tj. indeks diskriminativnosti ajtema DP = (G – D)/n, pri cemu je G frekvencija pozitivnih odgovora u grupi sa najvišim ukupnim skorom. . . DP se krece u rasponu od –1 do +1

    116. Stanislav Fajgelj April 2006. 116 Diskriminativnost stavke – KTT Danas se kao pokazatelj diskriminativnosti koristi korelacija stavke sa ukupnim skorom, tj. korelacija ajtem—total Najcešce se koriste r ili njegova modifikacija rpbis, ili rbis Faktorsko opterecenje, takode Korelacija sa spoljašnjim standardom, takode

    117. Stanislav Fajgelj April 2006. 117 Diskriminativnost stavke – KTT Korekcija ajtem-total korelacije uklanjanjem tog ajtema iz ukupnog skora Diskriminativnost je povezana sa težinom: vrlo laki i vrlo teški ajtemi ne mogu imati visoku ajtem-total korelaciju (osim sa rbis)

    118. Stanislav Fajgelj April 2006. 118 Diskriminativnost stavke – KTT Visoko diskriminativne stavke su redundantne (testleti) Nisko diskriminativne stavke su beskorisne Stavke sa visokim razlikama u diskriminativnosti se “seku” – Lordov paradoks

    119. Stanislav Fajgelj April 2006. 119 Diskriminativnost stavke – KTT Biraju se ajtemi cije su diskriminativnosti u opsegu umerenih koeficijenata – npr. 0,30 do 0,80. Ako se kao koeficijent koristi r i ako se koristi korekcija, minimalna prihvatljiva vrednost je 0,30 Medutim, postoje mišljenja da su prihvatljivi i niži, ali i viši koeficijenti

    120. Stanislav Fajgelj April 2006. 120 Diskriminativnost testa – KTT Nije teorijski i prakticno cvrsto utemeljena Zavisi od: dužine testa, grešaka merenja, distribucije skorova i namene testa (normativni ili kriterijumski) Distribucija skorova testa zavisi od ajtemskih težina i njihovih interkorelacija

    121. Stanislav Fajgelj April 2006. 121 Homogenost testa Alternativni naziv: jednodimenzionalnost Svojstvo testa: Da se cela njegova prava varijansa može objasniti delovanjem samo jedne osobine, ili Da svi njegovi ajtemi imaju samo jedan zajednicki predmet merenja – zajednicko jezgro

    122. Stanislav Fajgelj April 2006. 122 Homogenost stavke Može se definisati kao ucešce zajednickog predmeta merenja u njenoj varijansi Ne koristi se cesto kao merno svojstvo

    123. Stanislav Fajgelj April 2006. 123 Homogenost testa Tautologije i “semanticka homogenost” nisu homogenost Potpuna homogenost nije moguca (“psihometrijska dogma” i drugi razlozi) Medutim, homogenost dramaticno olakšava evaluaciju testa Multidimenzionalnost, potrebna za dobro ocenjivanje, postiže se korišcenjem baterije jednodimenzionalnih testova

    124. Stanislav Fajgelj April 2006. 124 Homogenost i prosecna korelacija Savršeno homogen test je skup paralelnih indikatora cije su greške nulte – intekorelacije su jedinicne Savršeno heterogen test je skup paralelnih indikatora ciji su pravi skorovi nulti – interkorelacije su nulte Dakle, na ocenu homogenosti po KTT uticu greške merenja – a to nije poželjno Zato prosecna interajtemska korelacija nije dobra mera homogenosti

    125. Stanislav Fajgelj April 2006. 125 Homogenost kroz faktorski model Test je homogen ako fituje jednofaktorski model Test je homogen ako u njegovoj pravoj (ili ukupnoj) varijansi ubedljivo najviše ucestvuje prvi faktor – glavna komponenta

    126. Stanislav Fajgelj April 2006. 126 Ocenjivanje homogenosti u KTT Faktorska analiza je optimalna alatka za analizu dimenzionalnosti testa Ako ima više faktora slicne dužine: Ako su korelirani, moguca je hijerarhijska faktorska analiza Mogu da predstavljaju facete iste osobine Koeficijenti homogenosti se obicno zasnivaju na odnosu varijanse prvog faktora prema ukupnoj varijansi

    127. Stanislav Fajgelj April 2006. 127 Pogadanje Samo u oblasti kognitivnog testiranja Klasicna definicija podrazumeva “slepo pogadanje”, odnosno jednake verovatnoce biranja alternativa Abbottova formula: Tt = T – [P / (k – 1)] Korekcija nema efekta kada je korelacija T i P jedinicna, tj. kada ispitanik pokuša da reši sve zadatke

    128. Stanislav Fajgelj April 2006. 128 Pogadanje U stvarnosti, pogadanje nije slepo Teže da pogadaju loši ispitanici na teškim ajtemima Ispitanici koriste testovnu mudrost i ne pogadaju na slepo Postoje testovna anksioznost i nepažljivost koje mogu delovati u razlicitim uslovima primene testa

    129. Stanislav Fajgelj April 2006. 129 Umanjivanje efekta pogadanja Klasicna preporuka je da se: a) ispitanicima dadne instrukcija protiv pogadanja i b) da se primeni Abbottova formula Suprotno, postoji i preporuka da se od ispitanika traži da pokušaju da reše svaki zadatak

    130. Stanislav Fajgelj April 2006. 130 Umanjivanje efekta pogadanja Danas se preporucuje sledece: Koristiti PVI Pažljivo formulisati distraktore Koristiti PKO sa dopunjavanjem Dati dobro uputstvo, obezbediti pravilnu atmosferu. . . Ako se daje instrukcija protiv pogadanja (ili suprotna), mora biti jasna i precizna Test mora biti prilagoden uzorku – ne pretežak (ali ni prelak) Primeniti 3P TAO model

    131. POUZDANOST - RELIJABILNOST

    132. Stanislav Fajgelj April 2006. 132 Pouzdanost i valjanost

    133. Stanislav Fajgelj April 2006. 133 Tipovi pouzdanosti Po nacinu ocenjivanja (izracunavanja): Pouzdanost interne konzistencije Pouzdanost testa i retesta Pouzdanost alternativnih formi Pouzdanost slaganja (pr)ocenjivaca

    134. Stanislav Fajgelj April 2006. 134 Tipovi pouzdanosti Po nacinu ocenjivanja (izracunavanja): Pouzdanost interne konzistencije Pouzdanost testa i retesta Pouzdanost alternativnih formi Pouzdanost slaganja (pr)ocenjivaca

    135. Stanislav Fajgelj April 2006. 135 Definicije pouzdanosti testa U zavisnosti od toga kako se ocenjuje – izracunava: Interna konzistencija: stepen konzistencije ajtema Test – retest: stepen stabilnosti tokom vremena Alternativne forme: stepen ekvivalencije formi Slaganje procenjivaca – stepen slaganja - objektivnost

    136. Stanislav Fajgelj April 2006. 136 Psihometrijski i statisticki Pouzdanost je mera odsustva grešaka merenja Opšte formule za racunanje pouzdanosti:

    137. Stanislav Fajgelj April 2006. 137 Svojstvo testa ili podataka? Iako se može definisati i za ajteme, u praksi se koristi prvenstveno kao merno svojstvo testa Neki testovi jesu manje, a neki više pouzdani, ali: pouzdanost se uvek odnosi na podatke iz kojih je izracunata

    138. Stanislav Fajgelj April 2006. 138 Pouzdanost interne konzistencije Izracunava se iz varijansi i kovarijansi stavki “Unutrašnja” je, nisu potrebni nikakvi dodatni podaci Pošto se izracunava samo iz svojstava stavki testa, nekada se nazivala “metodom analize stavki”

    139. Stanislav Fajgelj April 2006. 139 Koeficijent alfa Alfu je prvi predložio Guttman, ali se danas naziva po Cronbachu Zasniva se na pretpostavkama: minimalno tau-ekvivalentni skup ajtema, aditivnost pravih skorova, normalna distribucija skorova

    140. Stanislav Fajgelj April 2006. 140 Koeficijent alfa Alfa je dobra ocena pouzdanosti testa ukoliko njegovi ajtemi predstavljaju skup tau-ekivalentnih indikatora Treba obratiti pažnju da u izrazu ne figurišu kovarijanse ili korelacije Danas je to najcešce korišcen pokazatelj pouzdanosti

    141. Stanislav Fajgelj April 2006. 141 Spearman-Brownov koeficijent Koeficijent koji se zasniva na podeli testa na m delova Inicijalno je izveden za podelu na dva dela i poznat je kao split-half koeficijent Pretpostavka: paralelni skup ajtema U tom slucaju svi ajtemi koreliraju r

    142. Stanislav Fajgelj April 2006. 142 Proricanje pomocu S-B koeficijenta k = m2 / m1 m2 = nova dužina testa, m1 = stara dužina testa rmm = nova ili potrebna pouzdanost

    143. Stanislav Fajgelj April 2006. 143 Kuder-Richardsonova formula 20 Jednak je alfi, prilagodenoj binarnim ajtemima i rucnom racunanju

    144. Stanislav Fajgelj April 2006. 144 Pouzdanost testa i retesta rtt = rvreme1,vreme2 Baziran je na modelu paralelnih indikatora, prema kome je pouzdanost indikatora jednaka korelaciji sa njemu paralelnim indikatorom Isti ispitanici se testiraju istim testom nakon izvesnog vremena Zato se naziva i koeficijentom stabilnosti

    145. Stanislav Fajgelj April 2006. 145 Problem odredivanja vremenskog razmaka Ako je prekratak, deluju efekti redosleda, kao npr. memorija i vežba, ali i zamor Ako je predug, osobina se može promeniti Uvek mogu postojati mortalitet i senzitizacija Okvirno za psihološke testove: do 6 meseci kod dece i starih, do godinu dana kod odraslih

    146. Stanislav Fajgelj April 2006. 146 Kada i zašto je pogodan Kod testova brzine Kod svih merenja u kojima stavke nisu jasno definisane: Projektivni testovi Ocenjivanje procenjivaca, npr. u analizi sadržaja itd. Posredno, odreduje se stabilnost konstrukta

    147. Stanislav Fajgelj April 2006. 147 Pouzdanost alternativnih formi Alternativne forme su verzije testa koje su napravljene da budu jednake u pogledu onoga šta mere i kako mere Alternativne forme su jednake ukoliko predstavljaju paralelne indikatore U tom slucaju: Korelacija izmedu alternativnih formi ima status koeficijenta pouzdanosti za obe forme

    148. Stanislav Fajgelj April 2006. 148 Pouzdanost alternativnih formi Alternativne forme se zadaju istim ispitanicima sa kratkim razmakom (npr. do dve nedelje) Ova pouzdanost ima status koeficijenta ekvivalentnosti Pouzdanost ce biti korektna ukoliko su forme minimalno kongenericne

    149. Stanislav Fajgelj April 2006. 149 Pouzdanost “izmedu ocenjivaca” Predstavlja je korelacija razlicitih ocenjivaca Istovremeno, naziva se objektivnošcu ili reproducibilnošcu merenja Problem izbora koeficijenta: r nije dobar dobri su intraklasni koefic. korelacije, Cohenov kappa...

    150. Stanislav Fajgelj April 2006. 150 Pouzdanost u G teoriji

    151. Stanislav Fajgelj April 2006. 151 Pouzdanost u G teoriji

    152. Stanislav Fajgelj April 2006. 152 Pouzdanost u G teoriji

    153. Stanislav Fajgelj April 2006. 153 Koeficijenti generalizabilnosti Koriste se intraklasni koeficijenti korelacije Jedan od jednostavnih i uobicajenih je: Relativno odlucivanje, nema gneždenja faceta, slucajna faceta ICC(3,k) je jednak alfi, ICC(2,.) je za apsolutno odlucivanje, a ICC(1,.) za ugneždeni nacrt

    154. Stanislav Fajgelj April 2006. 154 Koeficijenti generalizabilnosti Izracunavaju se u zavisnosti od vrste univerzuma, tipa faceta, tipa odluka itd. Mogu se interpretirati kao kvadrirana korelacija dobijenih skorova i skorova na univerzumu ? koeficijenti se koriste u D studiji da bi se ocenilo koje merenje je najpouzdanije, najgeneralizabilnije, na koje se možemo najviše osloniti

    155. Stanislav Fajgelj April 2006. 155 Pouzdanost u Guttmanovom i faktorskom modelu merenja Po pravilu, kao procene varijanse greške, prave varijanse ili ukupne varijanse uzimaju se: Svojstvene vrednosti faktora Imaž varijanse Antiimaž varijanse. . . I uvrštavaju u formule za alfu, S-B. . .

    156. Stanislav Fajgelj April 2006. 156 Standardna greška merenja – SGM sgm = sj (1 – rjT2)1/2 = sj (1 – rtt)1/2 Raspršenje dobijenih oko pravih skorova Ocena pravog skora sa M=0 i s2=rtt: zT* = zjrtt1/2 Interval poverenja: T* ± zcsgm (simetrican oko pravog skora)

    157. Stanislav Fajgelj April 2006. 157 Standardna greška merenja Po osnovnoj KTT, SGM je jednaka za sve skorove U stvarnosti, nije jednaka za sve skorove Po novijoj KTT, distribucija ekstremnih pravih skorova je veoma asimetricna Zato je SGM najveca kod srednjih skorova, a najmanja kod ekstremnih

    158. Stanislav Fajgelj April 2006. 158 Indeks pouzdanosti rjT je indeks pouzdanosti, korelacija dobijenog i pravog skora Iako je slican faktorskom opterecenju, koeficijentu diskriminativnosti ili koeficijentu validnosti, ne može se izjednaciti

    159. Stanislav Fajgelj April 2006. 159 Fisherova informativnost Slobodno: varijansa dovoljnog skora osobine ? SGM nije aditivna jer se iskazuje u jedinicama merenja I(?) = 1 / SGM2 SGM = 1 / I(?)1/2 I(?) je aditivna, reciprocna je (kvadratu) SGM i osnovni je pokazatelj preciznosti (pouzdanosti) merenja u TAO

    160. Stanislav Fajgelj April 2006. 160 SGM i I(?) u TAO SGM je u 1PL modelima, za binarni ajtem jednaka SG proporcije: sgij = {1 / [pij(1 – pij)]}1/2 Ona je najmanja kada je pij = 0,5 Ajtem ce imati pij = 0,5 kada je uparen sa ispitanikovom ? sgij se mogu sabrati za sve ajteme i ispitanike kada se prethodno pretvore u I(?)

    161. Stanislav Fajgelj April 2006. 161 SGM i I(?) u TAO Kada se ajtemske SGM saberu za citav test, dobije se sledeca slika

    162. Stanislav Fajgelj April 2006. 162 SGM i I(?) u TAO

    163. Stanislav Fajgelj April 2006. 163 SGM i I(?) u TAO Po TAO, merenje je najpreciznije, najpouzdanije u zoni umerenih skorova, a najmanje precizno u zoni ekstremnih skorova

    164. Stanislav Fajgelj April 2006. 164 Prihvatljive vrednosti rtt Obicno: S–B = a = faktorski = Guttmanov Razlike su utoliko vece što skup ajtema više odstupa od modeliranog (paralelnog ili tau-ekvivalentnog) Takode: ICC(3,.) = ICC(2,.) = ICC(1,.)

    165. Stanislav Fajgelj April 2006. 165 Prihvatljive vrednosti rtt Pouzdanost interne konzistencije je obicno viša od alternativnih formi Pouzdanost alternativnih formi je cesto viša od testa i retesta Ako je razlika veca od 0,20: ili forme nisu kongenericne, ili konstrukt nije trajan, ili uslovi zadavanja testa nisu bili isti...

    166. Stanislav Fajgelj April 2006. 166 Prihvatljive vrednosti rtt Za internu konzistenciju donja granica alfe je 0,70 To odgovara tumacenju da test ima 70% prave varijanse, da dva paralelna indikatora dele 50% varijanse, da je separacioni odnos 1,5 itd. Iznad 0,83 se smatra visokom, a iznad 0,90 vrlo visokom Ipak, sve zavisi od namene merenja, vrste testa, uzorka-populacije, tipa konstrukta itd.

    167. Stanislav Fajgelj April 2006. 167 Prihvatljive vrednosti rtt Kad god je moguce, treba uzeti u obzir informativnost, SGM i intervale poverenja Uvek treba imati u vidu da nemaju svi skorovi istu SGM U tom smislu prednost ima TAO jer egzaktno izracunava SGM za svaki skor

    168. Stanislav Fajgelj April 2006. 168 Nova pravila merenja TAO nas uci da nemaju svi skorovi jednaku SGM Takode, kraci testovi mogu biti pouzdaniji ako su upareni sa ispitanicima, tj. prilagodeni njihovom nivou osobine. . .

    169. Stanislav Fajgelj April 2006. 169 Korekcija za atenuaciju Po KTT samo pravi skorovi mogu da koreliraju Dakle, varijable koreliraju onoliko koliko su pouzdane r-koeficijenti se mogu korigovati vrednostima rtt da bi se ocenilo koliko koreliraju pravi skorovi, tj. kolika bi se korelacija dobila kada ne bi bilo grešaka merenja

    170. VALJANOST - VALIDNOST

    171. Stanislav Fajgelj April 2006. 171 Valjanost U formalnoj teoriji merenja – svojstvo merne skale da verno odražava stepen prisustva osobine koja se meri U praksi – veoma razudeno, kompleksno i razlicito definisano svojstvo testa U TAO – obuhvacena je objektivnošcu merenja

    172. Stanislav Fajgelj April 2006. 172 Tri aspekta, vida ili znacenja validnosti Sadržinska validnost Da li test sadrži reprezentativan uzorak ponašanja iz domena koji se meri Kriterijumska validnost Da li je test koreliran sa nekom eksternom varijablom - kriterijumom Konstruktivna validnost Da li test meri onu osobinu za koju je namenjen

    173. Stanislav Fajgelj April 2006. 173 Valjanost – uvodne napomene Šta se prihvata kao definicija crte: domen, kriterijum ili konstrukt U “Standardima...” AERA i APA definišu valjanost kao “stepen u kome podaci i teorija potkrepljuju interpretaciju testnih skorova” Tipovi validnosti su samo razliciti izvori podataka Test mora biti valjan na sva tri nacina Implicitno, merena osobina je ono što može da poveže sve nacine odredivanja valjanosti

    174. Stanislav Fajgelj April 2006. 174 Konstruktivna valjanost Odgovara na pitanje: ŠTA TEST MERI? U istorijskom smislu – najmlada je Osim u evaluaciji testova igra važnu ulogu u proveri i stvaranju naucnih teorija i konstrukata Alternativni nazivi: hipoteticka, simptomatska, faktorska, interna. . . Univerzalna je, može da se ocenjuje na svim vrstama testova, u svim primenama

    175. Stanislav Fajgelj April 2006. 175 Istorijat konstruktivne valjanosti Ona je “najmlada” zato što je bihejviorizam odbijao uvodenje konstrukata, mentalistickih pojmova i znacenja stavki I danas postoji funkcionalisticki pristup psihometriji po kome je skor testa zbir ajtemskih odgovora koji treba da obavi neki posao – a ne da izmeri crtu

    176. Stanislav Fajgelj April 2006. 176 Šta su konstrukti Razvojem bihejviorizma nastao je pojam hipotetickog konstrukta (MacCorquodale i Meehl) To je osobina, svojstvo, stanje, “zakljuceni entitet” – npr. znanje Hipoteticki konstrukt “se ne vidi” i korespondira sa današnjim pojmom latentne varijable

    177. Stanislav Fajgelj April 2006. 177 Ocenjivanje konstruktivne valjanosti Ne postoje jedinstveni postupci za njeno ocenjivanje Najpoznatija tehnika je do danas ostala faktorska analiza Medutim, to nije dovoljno i stvoreni su razliciti postupci u cilju bolje operacionalizacije kriterijumske validacije Pre svega: nomološka mreža i konvergentna i diskriminativna valjanost

    178. Stanislav Fajgelj April 2006. 178 Problemi konstruktivne validacije Osnovni problem je što se paralelno sa proverom valjanosti testa vrši i provera konstrukta Problemi definicije konstrukta: latentna ili emergentna varijabla, osobina ili stanje, osobina ili sindrom. . . Problemi provere konstrukta: homogenost, diskriminativnost, fiziološki korelati. . .

    179. Stanislav Fajgelj April 2006. 179 Nomološka mreža Invencija Cronbacha i Meehla koja je trebala da olakša kako konstruktivnu validaciju, tako i proveru konstrukta Nomološka mreža se “prede” oko jednog osnovnog konstrukta Nomološka mreža je sistem koji povezuje konstrukte i podatke, a na osnovu “zakona”, tacnije predikcija, relacija i korelacija Što mreža sadrži više konstrukata, podataka i njihovih veza, smatra se da bolje dokazuje osnovni konstrukt

    180. Stanislav Fajgelj April 2006. 180 Klasicne metode za utvrdivanje konstruktivne valjanosti Korelacija sa drugim varijablama Razlike izmedu grupa, npr. niskih i visokih Studija interne strukture testa Studija promena izmedu administracija testa Studija procesa Faktorska analiza

    181. Stanislav Fajgelj April 2006. 181 Kriterijumska valjanost Odgovara na pitanje: DA LI TEST MOŽE DA ZAMENI MERENJE NEKE AKTIVNOSTI—OSOBINE? Ta aktivnost ili osobina se naziva kriterijumom Dakle, kao da se kriterijum uzima kao predmet merenja testa Alternativni nazivi: pragmatska, prakticna, empirijska, statisticka. . .

    182. Stanislav Fajgelj April 2006. 182 Vremenski odnos testa i kriterijuma Kriterijum je u buducnosti – prediktivna ili prognosticka valjanost Kriterijum je u sadašnjosti – konkurentna, simultana ili dijagnosticka valjanost Kriterijum je u prošlosti – postdiktivna valjanost

    183. Stanislav Fajgelj April 2006. 183 Šta je kriterijum Kriterijum je varijabla koja se mora meriti Za to merenje važe isti principi kao i za svako drugo merenje: pouzdanost, validnost, diskriminativnost, težina. . . Obicno se kriterijum definiše kao emergentna varijabla – uspešnost u sportu, stanje zdravlja itd.

    184. Stanislav Fajgelj April 2006. 184 Vrste kriterijuma Razlicite mogucnosti podele: s obzirom na vreme – buduci, sadašnji i prošli s obzirom na oblast – uspešnost, sklonost povredama po bliskosti i neposrednosti – ultimativni, posredni i neposredni po specificnosti – opšti i specificni teorijski i stvarni po metrijskim karakteristikama

    185. Stanislav Fajgelj April 2006. 185 Merenje kriterijuma Operacionalizacija obicno zahteva Redukciju Prelaz sa teorijskog na stvarni Prelaz sa neposrednog na posredni Cilj je da se kriterijumske varijable mogu izmeriti što pouzdanije, valjanije i jednostavnije

    186. Stanislav Fajgelj April 2006. 186 Problemi merenja kriterijuma Pouzdanija mera – test, validira se manje pouzdanom merom – procenom Cirkularnost ili kontaminacija – testovi se koriste i za merenje kriterijuma Kriterijum je pogrešno operacionalizovan: nije potpun, ili nije relevantan

    187. Stanislav Fajgelj April 2006. 187 Osnovni nacrti kriterijumske validacije Longitudinalni Primimo sve i pratimo uspešnost Istovremeni, konkurentni ili simultani poredimo uspešne i neuspešne radnike Na osnovu uspeha u obuci Unakrsna validacija sa drugim testovima, ispitanicima, aktivnostima...

    188. Stanislav Fajgelj April 2006. 188 Koeficijenti validnosti Postojanje koeficijenta validnosti cini ovaj tip validnosti jedinstvenim Koeficijent validnosti je mera asocijacije testa i kriterijuma Izbor koeficijenta zavisi od broja i prirode testnih i kriterijumskih varijabli U multivarijatnom slucaju – redukcija dimenzionalnosti

    189. Stanislav Fajgelj April 2006. 189 Faktori koji uticu na visinu koeficijenta validnosti Pouzdanost testa i kriterijuma – korekcija za atenuaciju Restrikcija opsega Moderatorske i medijatorske varijable Dužina testa (uticaj na pouzdanost) Oblik distribucije i priroda veze. . .

    190. Stanislav Fajgelj April 2006. 190 Selekcija i klasifikacija kao psihometrijski problem U prvom koraku treba formirati što detaljniji opis delatnosti za koju se bira – ZVSO (znanja, veštine, sposobnosti, osobine licnosti) Na osnovu toga se može vršiti selekcija, profesionalna orijentacija i klasifikacija

    191. Stanislav Fajgelj April 2006. 191 Selekcioni dijagrami

    192. Stanislav Fajgelj April 2006. 192 Dijagrami selekcije a – pogrešno odbaceni b – pravilno primljeni c – pravilno odbaceni d – pogrešno primljeni Bazna stopa - težina posla - proporcija uspešnih bez selekcije: (a + b)/n Strogost selekcije: (b + d)/n Stopa promašaja: (a + d)/n

    193. Stanislav Fajgelj April 2006. 193 Dijagrami selekcije Selekcioni kolicnik: broj mesta / broj prijavljenih Na uspešnost selekcije uticu koeficijent validnosti, selekcioni kolicnik i bazna stopa Na njih psiholog ne može uticati Psiholog može uticati na strogost selekcije - Xc

    194. Stanislav Fajgelj April 2006. 194 Korisnost selekcije Važna je prediktivna ili finansijska korisnost koja je neposredna, ali i posredna, ona koja se tice motivacije... Korisnost u celini zavisi od validnosti, selekcionog kolicnika i 4 proporcije

    195. Stanislav Fajgelj April 2006. 195 Inkrementalna validnost Informacija koju test dodaje vec postojecim informacijama Sa gledišta regresije, prediktivniji ce biti oni testovi koji ne koreliraju sa ostalima Treba ukljuciti onaj test koji ima najvecu semiparcijalnu korelaciju sa kriterijumom (najveci porast R)

    196. Stanislav Fajgelj April 2006. 196 Sadržinska valjanost Odgovara na pitanje: DA LI SU STAVKE U TESTU REPREZENTATIVAN UZORAK STAVKI IZ DOMENA CRTE KOJA SE MERI? Alternativni nazivi su: logicka, intrinsicka (kolidira sa konstruktivnom) ili cirkularna, pa i relevantnost ili reprezentativnost testa Pojavna ili prividna valjanost su slicne, ali u drugom kontekstu

    197. Stanislav Fajgelj April 2006. 197 Sadržinska validnost Univerzum se prihvata kao predmet merenja testa Sadržinska validnost se odreduje: Deduktivno (u principu) Tokom konstrukcije testa i pre njegove primene Sadržinska validnost je osnovni zahtev koji se postavlja pred testove postignuca

    198. Stanislav Fajgelj April 2006. 198 Konstrukcija sadržinski validnog testa postignuca Definicija domena-univerzuma Nastavne celine - deskriptori Kriticna znanja Mentalni procesi, kompetencije. . . Populacija testa ajtemima

    199. Stanislav Fajgelj April 2006. 199 Konstrukcija sadržinski validnog testa postignuca Treba težiti da svaki deskriptor bude pokriven vlastitim malim testom (stavke razlicite težine) Celine trebaju biti pokrivene ajtemima balansirano Timovi koji pišu stavke moraju biti ujednaceni, obuceni i moraju imati dobra uputstva PVI - PKO, testleti. . .

    200. Stanislav Fajgelj April 2006. 200 Kvantifikacija sadržinske validnosti Vrlo teško – iz prakticnih i teorijskih razloga Prakticni razlozi – nakon što prikupimo podatke, po pravilu je kasno Moguci izlaz: pilot testiranje Teorijski razlozi – sadržinska validnost ne podrazumeva homogenost Frekvencijska analiza i procenjivanje kvaliteta ajtema

    201. Stanislav Fajgelj April 2006. 201 Pojavna i prividna valjanost Engl. face validity se tretira i prevodi na razlicite nacine U smislu: pojavna, ocigledna ili valjanost na izgled, predstavlja ocenu strucnjaka da li test izgleda kao da meri ono što treba da meri U smislu: prividna valjanost, oznacava ono što laici, posebno ispitanici misle da test meri

    202. Stanislav Fajgelj April 2006. 202 Ugrožavanje validnosti Strategije odgovaranja kao osobine licnosti – generalizabilne na druge situacije Odgovaracka pristrasnost – situaciono specificna, nije generalizabilna Odgovaracki stilovi – generalizabilni Slucajne greške – nisu generalizabilne

    203. Stanislav Fajgelj April 2006. 203 Ugrožavanje validnosti od strane ispitanika Socijalno poželjno odgovaranje Izbegavanje ili preferencija ekstremnih odgovora Nepažljivost, zbunjenost, neodlucnost Pogadanje, uspavanost, brzanje Testovna mudrost, prepisivanje

    204. Stanislav Fajgelj April 2006. 204 Ugrožavanje validnosti od strane instrumenta Pozitivne i negativne formulacije Položaj stavke u testu, ajtemski kontekst Diferencijalno funkcionisanje

    205. Stanislav Fajgelj April 2006. 205 Ugrožavanje validnosti od strane uslova primene Hawthorne efekat Efekat zamora Efekat transfera

    206. Stanislav Fajgelj April 2006. 206 Ajtemski kontekst Okolni, posebno prethodni ajtemi uticu na odgovaranje Najcešce se dešava ako su stavke nejasne ili dvosmislene, pa ispitanik protumaci njihovo znacenje na osnovu okolnih ajtema

    207. Stanislav Fajgelj April 2006. 207 Halo efekt – efekt oreola Tendencija da procenjivac sudi o postignucu na nezavisnim dimenzijama na osnovu opšteg utiska o kandidatu Tendencija da ocena kandidata na jednoj osobini utice na ocenu na drugoj osobini Nesposobnost da se razlikuju konceptualno razliciti i nezavisni aspekti ponašanja

    208. Stanislav Fajgelj April 2006. 208 Socijalna poželjnost Najcešca odgovaracka strategija Vrlo prisutna i vrlo teško otklonjiva Teško je razdvojiti od crta: lažne moralnosti, anksioznosti, krutosti, konformizma, autoritarnosti. . . U selekciji se može tretirati kao adaptiranost i može povecavati prediktivnu validnost

    209. Stanislav Fajgelj April 2006. 209

    210. SKOROVANJE TESTA - OCENJIVANJE OSOBINE

    211. Stanislav Fajgelj April 2006. 211 Ukupni – sumacioni skor Dobija se sabiranjem ajtemskih odgovora (ili prebrojavanjem, ako su dihotomni) Može biti ponderisan Smislen je samo ako je test jednodimenzionalan (ali postoji problem složenih osobina) Ukupni skorovi pripadaju minimalno ordinalnom nivou merenja

    212. Stanislav Fajgelj April 2006. 212 Ocenjivanje osobine u TAO Složeni matematicki postupci, iterativni, bazirani na ML, Bayesovoj teoremi... Iskazuje se u logitima ili z-skorovima, dakle na istoj skali kao i težina ajtema TAO mere mogu biti jednake ukupnom skoru (u 1P modelima), ali ne moraju (u 2P i 3P modelima) Izvorno su intervalne i specificno objektivne

    213. Stanislav Fajgelj April 2006. 213 Skorovanje nejednakih testova Kompozitni skorovi i profili Prvi korak mora biti jednacenje testova Drugi korak je formiranje obicnog ili ponderisanog kompozita Ako testovi imaju isti predmet merenja, samo razlicit format, zadatak je lakši Ako testovi nemaju isti predmet merenja, kompozitni skor ima smisla samo u okviru neke prakticne namene

    214. Stanislav Fajgelj April 2006. 214 Ponderisanje Jednake težine Nejednake težine Optimalno Neoptimalno, obicno apriorno Autoponderisanje – veci doprinos imaju sabirci koji imaju vecu varijansu Optimalno ponderisanje: regresiono, kanonicko, diskriminaciono, faktorsko...

    215. Stanislav Fajgelj April 2006. 215 Profili Što su indikatori više korelirani, to ima više osnova za kompozitni skor, a manje za profil Individualni i grupni kontekst – tip Profili sadrže tri osnovne informacije: nivo, raspršenje i oblik Analiza profila se koristi za ocenjivanje slicnosti profila: korelacija, ICC, Euklidova distanca itd.

    216. JEDNACENJE TESTOVA

    217. Stanislav Fajgelj April 2006. 217 Jednacenje testova Ako testovi mere istu stvar – cilj je formiranje ekvivalentnih skorova Ako testovi mere razlicite stvari – cilj je formiranje komparabilnih skorova Nastojimo da postignemo da skorovi sa jednog testa mogu da posluže umesto skorova sa drugog testa To se može postici samo sa manjim ili vecim uspehom – nikad potpuno

    218. Stanislav Fajgelj April 2006. 218 Nacrti jednacenja Nacrt sa jednom grupom – oba testa se zadaju istoj grupi Nacrt sa ekvivalentnim grupama – grupe se izjednace Nacrti sa neekvivalentnim grupama – nacrti sa zajednickim jezgrom ili sidrom Zajednicki ajtemi Zajednicki ispitanici Spiraljenje

    219. Stanislav Fajgelj April 2006. 219 Transformacije za jednacenje Linearno jednacenje L(Y) = (sy / sx)X + My – (sy / sx)Mx Ekvipercentilno jednacenje Jednacenje u TAO Jednacenje pravih skorova Jednacenje dobijenih skorova

    220. Stanislav Fajgelj April 2006. 220

    221. KONSTRUKCIJA TESTA

    222. Stanislav Fajgelj April 2006. 222 Konstrukcija testa Konstrukcija testa je kolektivni poduhvat Nema jednog nacina, pristupa i recepta za konstrukciju testa Svaki revidirani, prevedeni, skraceni... test treba tretirati kao nov test

    223. Stanislav Fajgelj April 2006. 223 Glavne faze konstrukcije testa Priprema i plan Definicija varijable Operacionalizacija varijable Izbor vrste i formata testa i stavki Pisanje stavki Pisanje uputstva, primera i vežbi Probna (pilot) testiranja

    224. Stanislav Fajgelj April 2006. 224 Faze konstrukcije testa Primena na konstrukcionom uzorku Ajtem analiza Konacan izbor stavki Primena na normativnom uzorku Odredivanje mernih svojstava Izrada normi Pisanje prirucnika Revizije testa

    225. Stanislav Fajgelj April 2006. 225 Definicija varijable Definicija predmeta merenja Na osnovu teorije i iz teorije se izvode predikcije—ponašanja, induktivni nacin Prikupljaju se ponašanja ili simptomi, pišu se stavke, pa se analizom dedukuju osobine Eklekticki, kombinacijom teorija i postojecih stavki Obicno mora postojati ciljna populacija

    226. Stanislav Fajgelj April 2006. 226 Odredivanje vrste i formata Banka ajtema, fiskni test, adaptivni test, racunarski test, prevedeni test, modifikovani test, normativni ili kriterijumski. . . Namena testa (istraživacka, selekciona, klinicka...) Konacna ciljna populacija(e) Nacin primene (grupno, individualno)

    227. Stanislav Fajgelj April 2006. 227 Pisanje stavki U principu timski posao To uvodi probleme sastavljanja tima, organizacija rada i rukovodenja Pisanje stavki nije posao psihometriste, ali psihometrijska znanja su nephodna Prevodenje stranih testova Lake i teške stavke Trik pitanja. . .

    228. Stanislav Fajgelj April 2006. 228 Ajtem analiza Analiziraju se ajtemi i odreduju njihova merna svojstva, ali se odreduju i merna svojstva testa u celini Težina, diskriminativnost, faktorska valjanost, fitovanje, DIF. . . Najbolje je koristiti i KTT i TAO pristup Na osnovu ajtem analize se vrši konacan izbor ajtema

    229. Stanislav Fajgelj April 2006. 229 Faktorska ajtem analiza Optimalno orude za evaluaciju ajtema i testa u celini Problem izbora koeficijenata korelacije: r, rpbis, f, rbis, rtet, Problem izbora faktorskog rešenja: ML, imaž faktorska analiza, FA pune informacije... Problem izbora broja faktora i vrste rotacije. . .

    230. Stanislav Fajgelj April 2006. 230 Izrada normi Normativni uzorak odreduje vrednost testa Norme su osnova za objektivnu interpretaciju testnih skorova Vrste normi: Opšte ili nacionalne Specificne ili posebne norme Lokalne, uzrasne, razredne, školske...

    231. Stanislav Fajgelj April 2006. 231 Normiranje Normiranje putem transformacije Standardni ili z-skorovi IQ skorovi T skorovi... Fraktilne ili percentilne norme Fraktil ili percentil je skor Fraktilni ili percentilni rang je %

    232. Stanislav Fajgelj April 2006. 232

More Related