1 / 44

Bab 28

Bab 28. Ujian Sekuensial dan Adaptif. ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------. Bab 28 UJIAN SEKUENSIAL DAN ADAPTIF A. Pendahuluan 1. Ujian Konvensional

artan
Download Presentation

Bab 28

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Bab 28 Ujian Sekuensial dan Adaptif

  2. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ Bab 28 UJIAN SEKUENSIAL DAN ADAPTIF A. Pendahuluan 1. Ujian Konvensional • Responden secara serentak atau secara bergiliran mengerjakan sejumlah butir ujian yang sama yang sudah ditentukan • Kemampuan responden dan taraf sukar butir dapat saja cocok dan dapat juga tidak cocok • Dalam hal taraf sukar butir tidak atau kurang cocok dengan kemampuan responden, ketepatan ukur menjadi rendah

  3. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ 2. Ujian Adaptif • Taraf sukar butir ujian dicocokkan atau diadaptasikan dengan kemampuan responden • Mula-mula responden diberikan butir dengan taraf sukar sedang • Jika responden menjawab dengan betul maka responden diberikan butir berikut yang lebih sukar • Jika responden menjawab dengan salah maka responden diberikan butir berikut yang lebih mudah • Demikian seterusnya sampai terjadi kestabilan dan pada saat itu, kemampuan responden ditentukan oleh taraf sukar butir • Cara ini memerlukan bank butir dan perhitungan kemampuan responden yang cepat setiap kali responden selesai menjawab satu butir

  4. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ 3. Keunggulan dan Kelemahan Keunggulan ujian adaptif • Responden tidak perlu menjawab butir yang terlalu mudah atau yang terlalu sukar baginya • Biasanya responden mengerjakan ujian yang lebih pendek dan dalam waktu yang lebih singkat • Para responden tidak perlu menjawab butir yang sama • Sekor ujian, berupa kemampuan responden, langsung diketahui • Jika dikerjakan di layar komputer maka tidak diperlukan kertas lembar jawaban

  5. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ Kelemahan ujian adaptif • Responden belum terbiasa dengan cara ini sehingga banyak responden yang gelisah • Ujian terbatas pada bentuk ujian pilihan ganda • Responden tidak dapat mengubah jawaban pada butir yang telah dijawabnya • Masih memerlukan studi tentang besarnya peningkatan atau penurunan taraf sukar butir dari butir ke butir • Masih memerlukan studi tentang penentuan butir terakhir apakah pada jawaban salah atau pada jawaban betul • Memerlukan bank butir yang dapat digunakan secara interaktif

  6. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ 4. Hal yang Memerlukan Ketentuan pada Ujian Adaptif • Pemilihan model Ada yang pro model 1P dan ada pula yang pro model 2P dan 3P • Bank butir Memerlukan bank butir yang luas isinya serta lengkap catatannya • Butir awal Memerlukan pemikiran tentang butir bagaimana yang sebaiknya dijadikan butir awal • Butir berikut Memerlukan pemikiran tentang butir bagaimana yang sebaiknya dijadikan butir berikutnya • Metoda estimasi Metoda estimasi apa yang digunakan untuk mengestimasi kemampuan responden

  7. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Butir akhir Memerlukan pemikiran tentang butir bagaimana yang sebaiknya dijadikan butir terakhir Pembahasan tentang hal yang perlu ditentukan ini melahirkan berbagai prosedur ujian adaptif, mencakup • Prosedur titik keputusan (decicion point) • Prosedur dua tahap atau multitahap (two-stage, multistage • Prosedur fleksilevel atau jenjang langkah (flexilevel, step ladder) • Prosedur bercabang (branching) • Prosedur kontrol keliru (error controlled)

  8. ------------------------------------------------------------------------------Ujian Adaptif----------------------------------------------------------------------------- B. Ujian Sekuensial dan Kekeliruan Keputusan 1. Pendahuluan • Ujian sekuensial Ujian adaptif berlangsung secara sekuensial sehingga cara pengambilan keputusannya dapat dikaji • Kekeliruan keputusan Kekeliruan keputusan dapat berupa keliru positif (false positive) atau keliru negatif (false negative) • Keliru positif Diputuskan lulus (positif) pada hal seharusnya gagal • Keliru negatif Diputuskan gagal (negatif) pada hal seharusnya lulus

  9. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ 2. Pengujian Secara Sekuensial • Sediakan sejumlah butir menurut standar kelulusan yang telah ditentukan • Responden mengerjakan lebih banyak butir di sekitar standar kelulusan untuk menghasilkan keputusan • Responden mengerjakan butir secara sekuensial sebanyak keperluan untuk sampai kepada keputusan lulus atau gagal • Terdapat toleransi untuk keliru positif atau keliru negatif di dalam keputusan • Keputusan lulus atau gagal berlangsung di dalam batas toleransi itu

  10. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ 3. Rumus Keputusan Notasi pada rumus keputusan n = banyaknya butir yang dikerjakan c = kriteria sekor kelulusan p0 = nilai di bawah c sebagai batas toleransi kekeliruan, tidak apa-apa meluluskan responden dengan kemampuan p0 atau lebih (keliru positif) p1 = nilai di atas c sebagai batas toleransi kekeliruan, tidak apa-apa menggagalkan responden dengan kemampuan p1 atau kurang (keliru negatif)  = probabilitas yang masih dapat diterima untuk keliru meluluskan responden dengan kemampuan di bawah p0

  11. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------  = probabilitas yang masih dapat diterima untuk keliru menggagalkan responden dengan kemampuan di atas p1 rn = banyaknya butir, bagian dari n, yang harus dijawab betul untuk lulus wn = banyaknya butir, bagian dari n, yang harus dijawab salah untuk gagal p1 Keliru gagal c Keliru lulus p0

  12. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ Rumus keputusan lulus c terus uji gagal n

  13. ------------------------------------------------------------------------------Uji Adaptif------------------------------------------------------------------------------ Contoh 1 Pada suatu ujian ditentukan n = 20 c = 0,75 p0 = 0,65 p1 = 0,80  = 0,10  = 0,05 Masukkan ke dalam rumus diperoleh

  14. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ sehingga r20 = 2,93 +(0,73)(20) = 17,53 dibulatkan 18 w20 = – 3,77 + (0,73)(20) = 10,83 dibulatkan 10 Jadi dengan n = 20 butir betul 18 atau lebih  lulus salah 10 atau lebih  gagal betul 11 sampai 17, harus mengerjakan butir yakni butir ke-21, 22, 23, … Batas lulus L dan gagal G adalah dan pada contoh ini batas itu adalah

  15. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ Dalam bentuk grafik Y 1,00 lulus 0,8 c 0,75 terus uji 0,6 gagal 0,4 0,2 n 10 20 30 40 50

  16. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ C. Prosedur Titik Keputusan 1. Sasaran • Prosedur ini ditujukan ke pengambilan keputusan misalnya dalam penerimaan karyawan, siswa, atau dispensasi 2. Prosedur • Ada patokan untuk butir sehingga siapkan butir menurut patokan • Estimasi kemampuan dapat dilakukan melalui metoda kebolehjadian maksimum, metoda Bayes, dan lainnya • Ada standa kemampuan untuk penerimaan atau penolakan • Tidak dibicarakan di sini

  17. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ D. Prosedur Dua Tahap atau Multitahap 1. Dua Tahap Tahap 1 Penjajakan Pendek dan hasil olahannya digunakan untuk menentukan letak responden pada tahap ke-2 Tahap 2 Pengukuran Butir dengan taraf sukar berbeda tetapi di sekitar taraf sukar yang sesuai dengan kemampuan responden yang diperoleh dari tahap 1 Dari pengukuran ini diperoleh sekor responden melalui rumus

  18. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Sekor responden N = banyaknya butir yang dijawab oleh responden bi = taraf sukar butir ke-i pi = probabilitas jawaban betul = 1 salah = 0 Contoh 1 Taraf sukar butir bi 0,1 0,3 1,0 1,5 Jawaban pi 1 1 1 0  = (0,1 + 0,3 + 1,0) / 4 = 0,35

  19. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ 2. Multitahap • Kalau tahap kedua dirasakan belum memadai maka ujian diteruskan ke tahap selanjutnya • Menurut pengalaman, tahap 1 penjajakan sering kurang cermat dengan kekeliruan sampai 20% 3. Masalah • Cara ini memerlukan sejumlah ketentuan mencakup Taraf sukar butir yang perlu disediakan Berapa besar lompatan taraf sukar butir dari satu butir ke butir berikutnya Kapan pengukuran atau ujian berakhir

  20. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ E. Prosedur Flaksilevel atau Jenjang Berlangkah 1. Pelaksanaan • Responden diberikan butir bertaraf kesukaran sedang dari satu seri butir • Jika jawaban betul maka butir berikut lebih sukar. Jika jawaban salah maka butir berikut lebih mudah • Butir terakhir dapat lebih sukar atau lebih mudah serhingga diberikan sekor 0,5 saja 2. Pensekoran • Sekor adalah jumlah jawaban betul ( pi = 1)

  21. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ Contoh 2 Ujian terdiri atas 21 butir dengan butir 1 termudah dan butir 21 tersukar. Dimulai pada butir 11. Hasilnya Butir Aturan Hasil Jika betul ke Jika salah ke 11 12 10 salah 10 12 9 betul 12 13 9 betul 13 14 9 betul 14 15 9 salah 9 15 8 betul 15 16 7 salah 7 16 5 salah 5 16 4 betul 16 17 3 betul sekor  = (5 + 0,5) / 11 = 0,545

  22. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Kelemahan Makin lama, jarak di antara butir mudah dan butir sukar makin jauh (3 dan 17 pada contoh 2) Ada kalanya responden tidak mentaati petunjuk yang diberikan. Ada laporan kasus, 15% dari 635 responden menyimpang dari petunjuk (tidak dijelaskan penyimpangan yang bagaimana) Ada kalanya responden menggunakan waktu lebih lama pada butir sukar daripada butir mudah

  23. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ F. Prosedur Percabangan 1. Pendahuluan Ada beberapa jenis percabangan namun bentuk umum adalah seperti fleksilevel. Jika betul ke butir lebih sukar, jika salah ke butir lebih mudah termudah Butir 11 Butir 7 Butir 4Butir 12 Butir 2 Butir 8 Butir 1 Butir 5 Butir 13 Butir 3 Butir 9 Butir 6 Butir 14 Butir 10 Butrir 15 tersukar

  24. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ 2. Prosedur Percabangan Naik-Turun (NT) Misalkan selisih taraf sukar di antara dua butir berdekatan adalah  Responden sedang mengerjakan butir ke-i dengan taraf sukar bi dan butir berikut adalah jika betul bi+1 = bi +  jika salah bi+1 = bi–  Besaran  dapat diatur Sekor butir N = banyaknya butir yang dikerjakan Jawaban betul pi = 1 jawaban salah pi = 0

  25. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ 3. Prosedur Percabangan Tinggi-Rendah (TR) Seperti pada NT, tetapi beda taraf sukar butir boleh lebih atau kurang dari  Jika betul bi+1 = bi + t Jika salah bi+1 = bi– r Misalnya t = 1, r = 2, dan  = 0,1 sehingga Jika betul bi+1 = bi + 0,1 Jika salah bi+1 = bi– 0,2 Biasanya kalau ada faktor terka jawaban maka r > t Untuk N langkah diperlukan 2N – 1 butir

  26. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ 4. Prosedur Percabangan Robbins-Monro Pelaksanaan seperti prosedur percabangan lainnya dengan mengatur  Dari langkah ke langkah, nilai  makin diperkecil Pada butir terakhir lompatan taraf sukar menjadi cukup kecil Dengan  makin kecil, estimasi hasil makin diperhalus sehingga akurasi makin tinggi

  27. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ G. Prosedur Kontrol Keliru 1. Pendahuluan • Setiap kali ada jawaban maka setiap kali itu pula nilai parameter kemampuan diestimasi dan kekeliruan bakunya dihitung • Ada ketentuan batas kekeliruan baku untuk menghentikan ujian, misalnya, 0,05 atau 0,01 • Apabila batas kekeliruan baku belum dicapai maka taraf sukar butir berikut disesuaikan melalui fungsi informasi I() terbesar • Biasanya pelaksanaannya memerlukan bantuan komputer untuk melakukan estimasi dan menghitung kekeliruan baku

  28. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Diagram alir

  29. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ Keterangan A = Menyiapkan sejumlah butir dengan parameter yang diketahui B = Menyajikan butir dengan b sedang dan a tinggi C = Sebelum dapat mengestimasi , naikkan b dan turunkan a D = Estimasi  dan hitung KB() E = Apabila KB() belum cukup kecil ke F atau jika cukup kecil ke berhenti F = Estimsai fungsi informasi I() dari semua butir di A G = Menyajikan butir dengan I() terbesar 2. Prosedur Kontrol Keliru Prosedur kontrol keliru dilakukan melalui contoh sebagai berikut

  30. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ Contoh 3 Suatu ujian terdiri atas 13 butir dengan parameter butir sebagai berikut Butir Parameter butir a b c 1 1,11 0,09 0,22 2 1,21 0,47 0,24 3 1,78 – 0,55 0,22 4 1,39 1,01 0,08 5 1,22 – 1,88 0,07 6 1,52 – 0,82 0,09 7 1,49 1,77 0,02 8 0,71 1,92 0,19 9 1,41 0,69 0,13 10 0,98 – 0,28 0,01 11 1,59 1,47 0,04 12 0,72 0,23 0,02 13 0,58 1,21 0,17

  31. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Butir awal b sedang, a tinggi yakni butir ke-3 b3 = – 0,55 a3 = 1,78 jawaban betul • Butir kedua b agak lebih tinggi yakni butir ke-12 b12 = 0,23 a12 = 0,72 jawaban betul, namun belum cukup untuk melakukan estimasi  • Butir ketiga b lebih tinggi lagi yakni butir ke-7 b7 = 1,77 a7 = 1,49 jawaban salah. Sudah cukup untuk melakukan estimasi 

  32. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Estimasi  melalui kebolehjadian maksimum L = (P13Q03)(P112Q012)(P07Q17) = (P3)(P12)(Q7) L maksimum dicapai pada  = 1,03 I() = 0,97 KB() = 1,02 Belum menemukan KB() sehingga ujian diteruskan

  33. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Menghitung fungsi informasi semua butir pada  = 1,03 Diteruskan ke butir lainnya, menghasilkan I2(1,03) = 0,547 I3(1,03) = (sudah) I4(1,03) = 1,192 I5(1,03) = 0,010 I6(1,03) = 0,051 I7(1,03) = (sudah) I8(1,03) = 0,143 I9(1,03) = 1,008 I10(1,03) = 0,251 I11(1,03) = 1,101 I12(1,03) = (sudah) I13(1,03) = 0,166 Fungsi informasi tertinggi I4(1,03) = 1,192 sehingga butir berikut adalah butir ke-4

  34. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Butir keempat butir ke-4 b4 = 1,01 a4 = 1,39 jawaban betul Estimasi  melalui L = (P3)(P12)(Q7)(P4) L maksimum menghasilkan  = 1,46 I() = 2,35 KB() = 0,65 sehingga KB() = 1,02 – 0,65 = 0,37 Masih cukup besar sehingga ujian diteruskan dengan mencari butir dengan I() atau I(1,46) terbesar di antara sisa butir Demikian seterusnya dengan hasil pada tabel sebagai berikut

  35. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Hasil ujian Urutan Butir Jawaban  I() KB() KB() 1 3 1 - - - - 2 12 1 - - - - 3 7 0 1,03 0,97 1,02 - 4 4 1 1,46 2,35 0,65 0,37 5 11 0 1,13 3,55 0,55 0,10 6 9 1 1,24 4,61 0,47 0,08 7 2 1 1,29 5,05 0,45 0,02 8 1 1 1,31 5,27 0,44 0,01 9 8 0 1,25 5,47 0,43 0,01 Ujian dihentikan setelah KB()  0,01 Responden memeliki  = 1,25

  36. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Tabel fungsi informasi butir Ii() Urutan  3 4 5 6 7 8 9 Butir 1,03 1,46 1,13 1,24 1,29 1,31 1,25 1 0,034 0,179 0,292 0,249 0,232 --- --- 2 0,547 0,319 0,494 0,433 --- --- --- 3 --- --- --- --- --- --- --- 4 1,192 --- --- --- --- --- --- 5 0,010 0,004 0,008 0,006 0,006 0,005 0,006 6 0,051 0,017 0,039 0,029 0,026 0,024 0,028 7 --- --- --- --- --- --- --- 8 0,143 0,205 0,159 0,175 0,182 0,186 --- 9 1,008 0,579 0,917 --- --- --- --- 10 0,251 0,136 0,219 0,187 0,175 0,168 0,184 11 1,101 1,683 --- --- --- --- --- 12 --- --- --- --- --- --- --- 13 0,166 0,175 0,170 0,173 0,174 0,174 0,173

  37. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ H. Prosedur Kontrol-Keliru pada Model 1P 1. Pelaksanaan • Dimulai dengan butir b sedang. Disusul oleh butir dengan b bertambah atau berkurang menurut betul atau salah pada jawaban • Estimasi  memerlukan tinggi dan lebar ujian serta kekeliruan baku 2. Tinggi dan Lebar Ujian • Tinggi ujian (test height) yakni rerata b • Lebar ujian (test width) yakni rentangan b N = butir yang telah dikerjakan

  38. ------------------------------------------------------------------------------Ujian Adaptif----------------------------------------------------------------------------- 3. Kemampuan  dan Kekeliruan Baku • Jawaban Jawaban betul pi = 1 Jawaban salah pi = 0 • Probabilitas • Substitusi A = 1 – e-wP B = 1– e–wQ C = 1 – e– w • Kemampuan dan kekeliruan baku

  39. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ 4. Pengakhiran Ujian Ujian diakhiri jika KB() sudah cukup kecil misalnya ketika KB()  0,5 Jika KB() masih cukup besar maka ujian diteruskan dengan menggunakan butir dengan taraf sukar b di sekitar hasil estimasi  Demikan seterusnya sampai KB() cukup kecil Dengan mengakhiri ujian maka parameter kemampuan  adalah sebesar hasil estimasi 

  40. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ Contoh 4 Ujian adaptif melalui butir model 1P terdiri atas 13 butir sebagai berikut Butir b 1 0,09 2 0,47 3 – 0,55 4 1,01 5 – 1,88 6 – 0,82 7 1,77 8 1,92 9 2,69 10 – 0,28 11 1,47 12 0,23 13 2,21

  41. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Butir awal Butir ke-3 dengan b = – 0,55 yakni taraf sukar sedang Jawaban betul • Butir kedua Butir lebih sukar yakni butir ke-12 dengan b = 0,23 Jawaban betul • Butir ketiga Butir lebih sukar lagi yakni butir ke-7 dengan b = 1,77 Jawaban salah • Butir keempat Butir agak mudah yakni butir ke-4 dengan b = 1,01 Jawaban betul

  42. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Estimasi  Sudah cukup data untuk estimasi  Tiga dari empat butir dijawab betul sehingga P = 3 / 4 = 0,75 Q = 1 – P = 0,25 dan

  43. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Daripadanya diperoleh • KB() masih cukup besar sehingga ujian diteruskan. Karena  = 1,727 maka cari butir dengan b di sekitar itu

  44. ------------------------------------------------------------------------------Ujian Adaptif------------------------------------------------------------------------------ • Butir kelima Butir ke-8 dengan b = 1,92 Jawaban bisa betul atau salah • Untuk dapat meneruskan perhitungan ini, kita memerlukan jawaban responden betul atau salah

More Related