Analisis item dan standardisasi tes

1. Analisis item danstandardisasites

2. Tujuan • Memahamikonsepdanstrategimemilih item tesberdasarkankriteriaeksternal. • Memahamikonsepdanstrategimemilih item tesberdasarkankonsistensi internal yang meliputikesulitan item (indekskesulitan item ataup) dankemampuanmendiskriminankelompok (indeksdiskriminasi item atauD). • Memahamikonsepdanstrategimemilihpengganggu item pilihanganda (multiple-choice item distracters). • Memahamikonsepdanstrategimemilihtesberdasarkanitem-response curve danitem-response theory (IRT) • Mendeskripsikanstrategipengembangansampel standard. • Mendeskripsipersentildanjugaskor standard yang diikuti : skor z, skor Z, skor CEEB danskor standard yang dinormalisir.

3. Penghitunganstatistiktertentu yang harusditelitidenganseksamauntukmenentukanapakahsemua item padatesberfungsiseperti yang seharusnyadanbagaimanacaramenginterpretasikanskortes. • Analisis item berfokuspadamemfungsikanmasing-masing item sedangkanstandardisasitesberkaitandenganinterpretatifskornormatifpadatessecarakeseluruhanataupadabeberapabagianatau sub tes yang memuatnya.

4. Classical Test Theory (CTT) danItem-respons theory (IRT) bermanfaatpadapenyusunan, analisisdanpenerapantesdantergantungpadatugaskhusus. • Setelahtesdiselenggarakandandiberiskor, baruketahuanbahwatesitubelumdilaksanakandenganbaik. Ketikatesdiujicobapertama kali, tampaknyasejumlahmasalahdapatdiselesaikan. • Pelaksanaantes yang tidakbaikinimerupakansalahsatualasanmengapates yang didistribusikansecarakomersialdiselenggarakandulupadasampelorang. Setelahitutesdiselenggarakanbagipopulasisampeltersebut. Respon pilot sampelinikemudiandianalisisuntukmenentukanapakah item tersebutberfungsitepat.

5. Apapunjenistes – terstandardisasiataudibuat guru, kemampuanataukepribadian – analisishasil post-mortem ataupost hoc samaperlunyapadaperusahaanobatatauperusahaan lain yang bercirimanusia. • Diantarapertanyaan yang perludijawabadalah : Apakahwaktu yang tersediacukup ? Apakahpesertamemahamipetunjuktes ? Apakahkondisitesmemadai ? Apakahkeadaandaruratdiatasidengantepat ? Apakah item jelas ? Apakahtescukupwajar ? Kuesionerumpanbaliksederhana yang berkaitandenganpertanyaaninidanpertanyaan yang relevan lain seringkalidapatmembantumemperbaikitestersebut.

6. Analisisrespons yang disampaikanolehkelompokorangmengenaimasing-masing item padatesmemberikanbeberapafungsi. • Tujuanutamaanalisisitem semacamituadalahmembantumeningkatkantesdenganmemperbaikiataumenghapus item inefektif. • Fungsipenting lain darianalisis item, terutamaanalisis item padatespencapaianadalahmemberikaninformasidiagnostikmengenaiapa yang diketahuidantidakdiketahuiolehpesertates.

7. Tes yang mengacukeKriteriadanTesPenguasaan • Prosedur yang digunakandalammengevaluasiefektivitas item testergantungpadatujuantes. Misalnya, penyusuntesinginmendesaintes yang memprediksigejalaklinis yang relevan, sepertihasil diagnosis psikoterapiataupsikiatri. • Item padatesakandipilihberdasarkanpadaseberapabaguspenyusuntesmemprediksigejalaklinisini. • Penyusuntes lain berkaitandenganmenentukanseberapabanyakpesertatesmengetahuiisibidangakademi. Dalamkasusini, kinerjadiukurberdasarkankriteriaatau standard yang ditentukanoleh guru kelasataukebijakaninstitusi.

8. Tujuanpengetesancriterion-referenced(or domain referenced) testing semacamitubukanhanyauntukmenemukanbagaimanaskor yang diperolehseseorangdibandingkandenganorang lain tetapijugauntukmenentukandimanadiaberposisiterhadaptujuankuliahataugejalaklinistertentu. • Jeniskhusustes yang mengacukekriteriayang didisainuntukmengukurpencapaianketrampilankognitif yang lingkupnyaterbatasdikenalsebagaitespenguasaan (mastery test). • Skorseseorangpadatespenguasaandiungkapkandenganpersentasejumlah item total yang dijawabdenganbenar, skorsempurnamenunjukkan 100 % penguasaanmateri.

10. PerbedaanIndividudanValiditas Item • Karenasangatsulitmemperolehpersetujuanpadaseberapabanyakorangseharusnyatahumengenaisubjektertentuatauapa yang mendasarimenguasaanini, skortespsikologiataupendidikansecaratradisionaltelahdiinterpretasikandengancaramembandingkannyadenganskor yang diperolehorang lain. • Tespsikologitelahdirencanakanterutamauntukmemeriksaperbedaanantaraindividumengenaikarakteristikkognitifdanafektif.

11. Orangberbedadalamkemampuandankepribadianmerekadanparapsikologberusahamengevaluasiperbedaaninidenganberbagaijenistes.Orangberbedadalamkemampuandankepribadianmerekadanparapsikologberusahamengevaluasiperbedaaninidenganberbagaijenistes. • Para penyusuntes professional mencobamerencanakan item yang berbedabagiorang yang berbedadalamkaitannyadengankemampuanapa yang diukur . • Untukmenilaikemanfaatan item sebagaiukuranperbedaanindividudalamkemampuanataukarakteristikkepribadian, parapengujiperluukuranpatokaneksternalkarakteristikmenyangkutkarakteristik.

12. Validitas item untukmemprediksikeadaankriteriaeksternalditentukandenganmengkorelasikanskorpada item (noluntuksalahdan 1 untukbenar) denganskorpadaukuranpatokan. • Jeniskoefisienkorelasi yang berbeda-bedadigunakanuntuktujuanini yang paling umumkoefisiendua-rangkaiantitik (point biserial coefficient).

15. Item yang memilikikorelasiserendah 0,20 berdasarkankriteriamemberikankontribusiuntukmemprediksi item itu, meskipunkoefisienlebihtinggilebihdisukai. Item yang memilikikorelasihampirataukurangdari 0,00 dengan criteria pastiharusdiperbaikiataudibuang. • Item yang memilikikorelasitinggiberdasarkan criteria tetapikorelasirendahdengan item lain adalah yang terbaikkarena item itumembuatkontribusi yang lebihindependenterhadapprediksiskorkriteria.

16. IndeksKesulitanItem danIndeksDiskriminasi • Dalamkasustespencapaianprestasidikelas, item dikorelasikandenganskor total padatesitusendiri. Diasumsikanbahwarangkaian item sebagaikeseluruhanmerupakanukuranpencapaian yang memadaimengenaisubjek, skor total sebagaikriteriadalammenentukankonsistensi internal tes. • Prosedurjalanpintasadalahmenyortirparapesertatesmenjadi 3 kelompokmenurutskormerekapadatessebagaisatukeseluruhan : kelompoktinggiterdiridari 27 % yang membuatskortertinggi, kelompokrendahterdiridari 27 % yang membuatskorterendahdansisanya 46 % beradapadakelompoktengah. Jikajumlahrespondenkecil, kelompokskor 50 % tinggidanrendahdarites total kadangkaladigunakanuntuktujuananalisis item.

18. Nilaipdisebutindekskesulitan item (item difficulty indeks) dan D sebagaiindeksdiskriminasi item (item discrimination indeks). • Misalkandisumsikanbahwa 50 orangmengikutites. • Kemudian, kelompoktinggidanrendahdibentukdaribagianatas 0,27 x 50 = 14 dan 14 terendahpadaskortes total. Jika 12 orangpadakelompoktinggidan 7 orangpadakelompokrendahlolos item A maka p = (12 + 7)/28 = 0,68 dan D = (12-7)/14 = 0,36.

19. Indekskesulitan item memilikicakupandari 0,00 – 1,00. Item dengan p = 0,00 adalah item yang tidakseorangpunmenjawabbenardan item p = 1,00 dijawabbenarolehsemuaorang. • Nilai-p optimum untuk item tergantungpadasejumlahfaktor, yang mencakuptujuantesdanjumlahopsirespons. Jikatujuantesadalahmengidentifikasikanataumemilihhanyapresentasekecildaripelamarterbaikmakatesharuscukupsulitsepertitercerminpadanilai mean prendah. Jikatesdidesainuntukmenyaringhanyasedikitpelamar yang sangatburukmakanilai mean ptinggiadalah yang terbaik.

20. Nilai optimum ptergantungpadates. Misalnya, p optimum haruscukuprendahuntuk item tes yang didesainuntukmenentukanpenerimabeasiswaatauuntukpenempatantingkatlanjut, tetapicukuptinggipadates yang didesainuntukmengidentifikasikansiswa yang mengikuti program remidi. Padates yang didesainuntukmengukurcakupanluaskemampuan, nilai p optimum hampirmemdekati 0,5. • Nilai mean optimum puntuktessemacamitujugabervariasisecaraberkebalikandenganjumlahopsirespons (k), p untuk item yang dapatditerimaakanmasukkecakupan yang cukupsempit, sekitar 0,20 disekitarnilaidalamtabelini.

22. Indeksdiskriminasi item (D) adalahukuranefektivitas item dalammendeskripsikanantarapemilikskortinggidanrendahpadates. • Semakintingginilai D, semakinefektif item dalammendeskriminasikanantarapesertatesdenganskortinggidanpesertatesdenganskorrendahpadatessebagaisatukeseluruhan. • Ketika D adalah 1,00 semuapesertatesdikelompoktinggimenjawab item denganbenardantakseorangpundikelompokrendahpadaskortes total menjawab item denganbenar. • Akantetapi, jarang D seteradengan 1,00 dan item inibiasanyadianggapditerimajikaindeks D adalah 0,30 ataulebihtinggi.

23. Tetapi D dan p bukanindeksindependen, dannilai D minimum yang dapatditerimaketika p semakintinggiatausemakinrendahdaripadanilai optimum terutamaketikaukuran/besarkelompokpembandingtinggidanrendahadalahbesar.

25. Faktoryang MempengaruhiBerfungsinyaItem • Dalammenyusuntesterstandardisasi, sekarangmenjadipraktikumumuntukmenelititiap-tiapitem danstatistikyang terkaitdengannyauntukmendapatkanindikasimengenaidiskriminasiatau bias kelompok. • Indeksstatistikdifferential item function (DIF) seringkalidihitunguntukmempermudahprosesini. • Item dapat bias hanyaketika item itumengukursesuatu yang berbeda – karakteristikatauciriberbeda- dalamsatukelompokdengankarakteristikatauciri lain.

26. Jikaskor item mencerminkanperbedaannyatakemampuanataukarakteristikapa pun yang didesainuntukdiukuroleh item itu, item itusecarateknistidak bias. • Menyelenggarakananalisis item terpisahbagitiap-tiapkelompokakanmengungkapkankeberadaan bias item yakniapakah item tersebutmendeskriminasidenganbaikantarapemilikskortinggidanrendahpadakeduakelompoktersebut. • Analisis item menghasilkanperbaikansignifikanterhadapefektivitastes. Indeksdiskriminasi item secarakhususmerupakanukuran yang cukupbagusmengenaikualitas item. • Bersamadenganindekskesulitan ( p ), D dapatdigunakansebagaiperingatanbahwaada yang salahpada item tersebut.

27. Bank item semacamitudigunakantidakhanyaolehpenyusuntestradisional professional, tetapijugadiberikansebagaibahantambahanpadasejumlahbukuteks yang digunakansebagaitespraktekataumenjadikumpulan item untukmenyusuntesdikelas.

28. Konsistensi Internal Versus ValiditasInternal • Konsepvaliditas item biasanyamengacukehubungan item dengankriteriaeksternal. Sebaliknya, D adalahukuranhubunganskor item dengankriteriainternal – skor total – bukandengankriteriaeksternal. • Memilih item yang berdasarstatistikD menghasilkanjenistes yang berbedadaripada item yang terdiriatas item yang dipilihberdasarkorelasitinggidengankriteriaeksternal. • Kadangkalakombinasiduastartegimemadai : tesgabungandisusundarisubtes yang salingmemilikikorelasirendahdankorelasi yang substansialdengankriteriaeksternal, tetapi item-item subtessangatberkaitan.

29. Item Tes yang MengacukeKriteria • Indekskesulitandanindeksdiskriminasijugadapatdihitungberdasar item tes yang mengacukekriteriayang didesainuntukmenentukanposisipesertatesterhadaptujuanpendidikan yang telahditetapkan. • Dalamkasusini, pesertatesdibagimenjadi 2 kelompok : kelompokatas yang terdiridaripesertaU yang skortestotalnyamemenuhikinerja yang dapatditerima yang telahdirancangberdasarkriteriadaripesertatesL yang skortotalnyagagalmemenuhikriteria.

32. AnalisisterhadapPengganggu • Analisisitem pilihan-gandasecaratradisionaltelahmulaidenganpenghitunganindekskesulitandanindeksdiskriminasiuntuktiap-tiap item. • Analisiskeduaberkaitandenganberfungsinya k-1 opsi (penggangguataudistracter) salahuntuktiap-tiap item. Indeksdiskriminasi item (D) memberikaninformasipadaberfungsinyagangguansecarakeseluruhan. • D positifberartipadapesertatespadakelompokatas (padaskortes total) cenderungmemilihjawabandenganbenarsedangkan yang adadikelompokbawahcenderungmemilihsatupengganggubesarnya D menunjukkantingkatkecenderunganini. • D negatifmenunjukkanbahwapengganggudipilihlebihseringolehpesertatespadateskelompokatasdaripadaoleh yang adadikelompokbawahdanbahwa item ituperludirevisi.

33. KurvaKarakteristikItem • Nilai p dan D yang dapatditerimatidakmenjaminbahwa item berfungsidengantepatdisemua level kinerjates. • Agar sangatefektif, proporsiorang yang menjawab item tesdengantepatharusmeningkatdenganmantapseiringdenganpeningkatanskor total padatesatausubtes. • Apakah item tesberfungsidengancarainidapatditentukandariitem characteristic curve (ICC). Dalammenyusun ICC, proporsiresponden yang member jawabankuncidiplotterhadapskormerekaberdasarkankriteriainternal (misalnyaskortes total) atau criteria eksternalsepertipencapaianataukinerjapekerjaan.

34. Level kesulitan (b) adalahskor criteria yang 50 % pesertates member jawabanbenar (berdasarkunci); indeksdiskriminasi (a) adalahtingkatkemiringan (slope) kurvarespons-tem padapoin 50 %. • Misalkandaridua ICC yang diplotpadaGambar 4.1, nilai 0,5 padasumbu vertical berhubungandenganskor total 68 padakasus item 1 dan 77 padakasus item 2. • Akibatnyaitem 2 lebihsulitdaripada item 1. Akantetapi, ICC item 1 memilikikemiringanlebihcuramdaripada item 2 , maka item 1 mendiskriminasidenganlebihbaikdaripada item 2 antarapemilikskortinggidanrendahpadaseluruhtes.

36. Item response Theory • Metodeinipertama kali mengembangkanteorimengenaicaraberfungsinya item berdasarkanpengetahuanmengenaikemampuanataucirikepribadian (Trait). • Metodeinimembandingkanresponssesungguhnyaterhadap item untukmenentukanseberapabagusberfungsinya item. Jadi item sesungguhnyadibandingkandenganbagaimanaseharusnya item ituberfungsisecarateori.

40. SepertidigambarkanpadaGambar 4.2, bentukkurvarespons-item bervariasimengikutinilai parameter a dan b. Keduakurvapadagambarinidisusundenganfungsidua-parameter padarumus 4.5. • Padakurva P, parameter kesulitan (b) adalah 1,00 dan parameter diskriminan(a) adalah0,5; padakurvaQ, b= 0,25 dana = 0,75. • Catatbahwabadalahnilai (titikpadasumbu horizontal) yang berhubungandengan P() = 0,5 danaadalahkemiringankurvapada P() – 0,5. Pada model 3 parameter, badalahnilai P() yang berhubungandengan 0,5 ( c + 1) dengancadalahtitikpersilanganantarakurvarespons-item dengansumbuvertikal.

41. Skorpadakontinum, kemampuantersembunyi (latent ability continuum) dinyatakansebagai unit skor standard (z ), tetapipadapenerapansebagianbesarpendidikan, skor z diubahkeskala yang memiliki mean 300 dandeviasi standard 50. • Padaprakteksesungguhnya, parameter item danskorkemampuantersembunyi(latent ability score) pesertatestidakdiketahui.

42. Masalahnyaadalahmencarikurvarespons-item yang paling cocokdenganresponsterhadaptiap-tiap item. • Pencarianinimelibatkanprosedur yang mungkin-maksimumsecara iterative denganmengasumsikannilaiawaltertentuuntuk parameter itemnyadenganmenghitung P() yang berhubungandenganberbagainilai, membandingkanrespons-item hasilprediksidenganrespons-item sesungguhnyadanmelanjutkanprosessampaisolusiterbaikdapatdiraih. • Prosesestimasi parameter item membutuhkanresponsbanyakpesertates yang mewakilipopulasipotensipesertateskira-kira 2.000 untuk model tiga parameter dan 1.500 untuk model satu parameter (Rasch).

43. Tidaksepertimetodologipengetesantradisional, yang mengacaukanantaradiskriminasidankesulitantespadasampeltertentuorang yang dites, pada IRT makaparameternyaadalah, setidaknyadalamteori, independenterhadapsampeltes. • Sifat IRT yang menariklainnya, invariance kemampuantesdenganresponsterhadap item yang digunakanuntukmengestimasinya, berakarpadaprosespengestimasian. Fitur IRT iniberartibahwatespada level kesulitanmanapundapatdikelolauntukmenentukanposisiseseorangpadaberbagai level kemampuantersembunyi (latent ability continuum). • IRT telahdipergunakanuntukberbagaitujuan, yang meliputipenyusunantes, kalibrasiskortesuntukmenyediakankerangkaacuangunamenginterpretasikannya. Standardisasites, penentuandifferential item functioning (DIF) danpengetesanadaptif.

45. Standardisasidan Norma Tes • Fiturintipadasebagianbesartespsikologiadalahbahwaskorindividuharusdibandingkandenganbeberapakelompok normative. Fiturinimemungkinkankitaharusmenginterpretasikanmaknaskor. • Misalnya, kitatahubahwaseseorangmendapatskortinggipadaintroversikarenaorang lain meresponpada item samamenguasaisedikitjumlah item yang berkaitandenganintroversi. • Untukmenyelesaikantugasini, tes, inventori (kumpulansoaltes), skalaperingkatatauperalatanpsikometri lain harusdistandardisasi.

46. Testerstandardisasiapapunmemilikipetunjuk standard mengenaipenyelenggaraandanpemberianskor yang harusbenar-benardiikutisehinggahanyamenyisakanruangkeciluntukinterpretasidan bias pribadi. • Standardisasijugamelibatkanpengelolaantestesterhadapsampelorangdalamjumlahbesar (standardisasisampel) yang dipilihsebagaiwakildaripopulasisasaranberupaorang yang menjadisasarantes.

47. Tujuanutamastandardisasitesadalahuntukmenentukandistribusiskormentahpadasampelterstandardisasi (kelompoknorma). • Skormentah yang diperolehtersebutkemudiandikonversikankebeberapabentukskorturunanataunorma. • Dalammengevaluasianakcacat, kadangkalaperlumengelolatesdiluar level (out-of-level test) yang didesainuntuk level usiadan level grade dibawahorang yang menginterpretasikanskor.

48. MemilihSampelTerstandardisasi • Agar berfungsisecaraefektifpadainterpretasiskortes, normaharussesuaidengankelompokatauindividu yang dievaluasi. • Kapanpunskortesdikonversikandenganmengacuketabelnorma, pentinguntukmembuatcatatanmengenaikarakteristiksampel (usia, jeniskelamin, etnik, pendidikan , status sosioekonomi, wilayahgeografi) darikelompoknormatertentudanmemasukinikedalamsemuakomunikasimengenaikinerjaseseorang.

49. Ciripemilihansampelterstandardisasidaripopulasibervariasidaripengambilansampelsecaraacaksederhana (simple random sampling) sampaistrategipemilihansampel yang lebihrumitsepertipengambilansampelsecara cluster (cluster sampling). • Pengambilansampelsecara cluster lebihekonomisdaripadapengambilansampelsecaraacakterstratifikasidanlebihmungkindaripadapengambilansampelsecaraacaksederhanadalammenghasilkansampel yang mewakilipopulasisasaran. • Norma yang dipublikasikanpadabukupetunjukbermanfaatuntukmembandingkanskorpesertatesdenganskorsampelorangdariberbagailokasi, kadangkalacross sectiondariseluruhbagian Negara.

50. Norma UsiadanKelas • Norma usia (ekuivalen usia , usia pendidikan) merupakan skor median pada tes yang diperoleh orang pada usia kronologis tertentu; norma kelas (grade norm) (ekuivalen kelas) adalah skor median yang diperoleh siswa pada level kelas tertentu. • Norma usia dan norma kelas memiliki kelemahan yang serius. Masalah utama adalah pertumbuhan karakteristik kognitif, psikomotorik atau afektif tidak seragam pada seluruh cakupan usia atau kelas.