1 / 29

OCENJEVANJE ZANESLJIVOSTI TESTA

OCENJEVANJE ZANESLJIVOSTI TESTA. “V kolikšni meri na testne dosežke vplivajo slučajne napake?”. Klasična testna teorija (teorija pravega dosežka):. X = T + E T = E(X) r TE = 0. Koeficient zanesljivosti:. Merski modeli: odnos med pravimi dosežki na

zared
Download Presentation

OCENJEVANJE ZANESLJIVOSTI TESTA

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. OCENJEVANJE ZANESLJIVOSTI TESTA “V kolikšni meri na testne dosežke vplivajo slučajne napake?”

  2. Klasična testna teorija (teorija pravega dosežka): X = T + E T = E(X) rTE = 0

  3. Koeficient zanesljivosti:

  4. Merski modeli: odnos med pravimi dosežki na različnih meritvah (postavkah, testih) izbira & interpretacija postopka ocenjevanja zanesljivosti

  5. 1. Kongenerični model: Pravi dosežki pri različnih meritvah so popolnoma korelirani (= testi / postavke merijo isto lastnost), T in X imajo lahko različne M in SD.

  6. 2a. V bistvu (esencialno) t - enakovredni model: • Kongenerični model + • meritve imajo enake prave variance, • meritve imajo lahko različne dejanske M in SD.

  7. 2b. t - enakovredni model: • Kongenerični model + • pravi dosežki (in s tem prave variance) na različnih meritvah so enaki; • meritve imajo lahko različne dejanske SD, vendar enake M.

  8. 3. Vzporedni model: • t - enakovredni model + • meritve imajo enake variance napak in zato enake dejanske aritmetične sredine in variance.

  9. Preverjanje predpostavk merskih modelov: • pregled aritmetičnih sredin, varianc, kovarianc in korelacij, • konfirmatorna faktorska analiza.

  10. NAČINI OCENJEVANJA ZANESLJIVOSTI 1. ponovno testiranje, 2. enakovredne oblike, 3. notranja skladnost.

  11. 1. PONOVNA MERITEV (RETEST) • Test po določenem času ponovno apliciramo. • Zanesljivost = korelacija med dosežki na obeh testiranjih. • Meritvi morata biti vzporedni (ni vpliva učenja, lastnost se ni spremenila).

  12. 2. ENAKOVREDNI OBLIKI • Imamo vsaj dve inačici testa. • Meritvi morata biti vzporedni (ni sistematičnega vpliva vzorčenja nalog ter vaje oz. učenja). • Zanesljivost = korelacija med dosežki na obeh testiranjih.

  13. 3. NOTRANJA SKLADNOST (INTERNA KONSISTENTNOST) • Test razdelimo na več (od 2 do n) eksperimentalno neodvisnih delov. • Če ti deli merijo isto lastnost, so nepopolne korelacije posledica napake merjenja. • Zadostuje eno testiranje (dele testa obravnavamo kot ločene meritve).

  14. Cronbachov a koeficient: “Kovariance med postavkami so odraz prave variance postavk.”

  15. Prednosti koeficienta a: • enostavno izračunljiv in razumljiv, • vzorčni a je nepristranska ocena populacijskega a, • znana vzorčna porazdelitev.

  16. Pomanjkljivost koeficienta a: a je enak zanesljivosti le, če so postavke vsaj v bistvu t-enakovredne;sicer je ocena spodnje meje zanesljivosti.Vendar: a je razmeroma dobra ocena zanesljivosti, če test ni izrazito multidimenzionalen.

  17. Poseben primer a za dihotomno točkovane postavke je Kuder-Richardsonov obrazec št. 20

  18. Dihotomne postavke z enakimi težavnostmi: Kuder-Richardsonov obrazec št. 21 Če so M oz. SD postavk različne, je KR21 nižji od KR20.

  19. Zanesljivost časovno omejenih testov: 1. merjenje odgovornih časov ali 2. test razdelimo na več delov in jih ločeno apliciramo.

  20. Spearman-Brownov obrazec: odnos med zanesljivostjo in dolžino testa. • Ocena zanesljivosti, če: • združimo n vzporednih postavk, • test podaljšamo s homogenimi postavkami, • iz testa izločimo naključno izbrane postavke.

  21. Spearman-Brownov obrazec = a za standardizirane oz. vzporedne postavke

  22. Razpolovitveni koeficient zanesljivosti: 1. test razdelimo na dva enaka dela (npr. parne in neparne postavke); 2. izračunamo skupni dosežek za vsak del posebej;

  23. 3a. Varianci obeh delov približno enaki: Spearman-Brownov obrazec. 3b. Varianci obeh delov različni: Guttmanov razpolovitveni koeficient.

  24. Hoytov postopek dvosmerna analiza variance: 1. faktor - osebe, 2. faktor - postavke. Notacija: N = št.subjektov n = št.postavk / ocenjevalcev Xs. = povprečni odgovor osebe s X.o = povprečni odgovor na postavki o / povprečna ocena ocenjevalca o, X.. = povprečje vseh odgovorov, Ts., T.o = skupni dosežek, vsota po postavki T.. = skupna vsota

  25. Viri variance: 1. med subjekti: 2. med postavkami / ocenjevalci:

  26. 3. interakcija - rezidual: 4. skupna varianca:

  27. Postopek je uporaben tudi pri dihotomnih postavkah, vendar lahko F - test izvedemo le, če so postavke na intervalni lestvici.

  28. Spodnja meja intervala zaupanja za populacijski a: Fa = vrednost F porazdelitve pri N-1 in (N-1)(n-1) stopnjah svobode pri želenem p.

  29. Zanesljivost sestavljenih dosežkov (kadar je zanesljivost komponent večja od korelacije z drugimi komponentami) Standardizirane vrednosti:

More Related