ITEM DEVELOPMENT & REVIEW

1. ITEM DEVELOPMENT & REVIEW Divisi Ujian Tulis Uji Kompetensi Perawat Indonesia (Jakarta, 9-10 Januari 2013)

2. PENJAMINAN MUTU

3. Multiple Choice Question (MCQ) • Paling terkenal • Mengevaluasi kawasan knowledge secara cepat • Kelompok besar • Kelemahan: tidak dapat digunakan untuk menilai area psikomotor • Potensial untuk mengukur analisis, aplikasi dari pengetahuan dan problem solving

4. Kenapa MCQ A type ? • Paling umum digunakan pada ujian lisensi oleh profesi-profesi (standardized test) • Cost effective untuk skala besar • Paling objektif & reliable (tanpa halo effect) • Memungkinkan berbagai variasi dan topik • Sulit & memakan waktu untuk dibuat

6. Ujian Tulis Multiple Choice Question One Best Answer

7. Why… One Best Answer Jenis soal 1-2-3-4 lebih mudah ditebak Soal sebab akibat sering membingungkan, aspek bahasanya terlalu rumit Satu pilihan terbaik, mencerminkan peran profesional yang harus mencari alternatif terbaik bagi klien

8. KesalahanpadaMCQ • Hanyamengujikemampuanmengingat – seringhanyahal yang trivia • Tidakmengujiaplikasiatauintegrasipengetahuan • Tidakmengujikemampuandayanalardanpemecahanmasalah • Tidakkonsistendenganprinsip-prinsippendidikanmasakini • Lebihmeningkatkankemampuanmemorisasidaripadapemahaman

9. Panduanumumkonstruksi MCQ • Yakinkan bahwa setiap soal dapat dijawab tanpa harus melihat pilihan jawaban atau yakinkan bahwa pilihan jawaban adalah 100 % benar atau salah. • Usahakan agar data atau informasi penting seoptimal mungkin dicantumkan pada soal (stem), sedangkan pilihan jawaban usahakan sesingkat mungkin.

10. Panduanumumkonstruksi MCQ • Hindari informasi berlebihan pada soal. • Hindari soal-soal yang bersifat menjebak dan terlalu kompleks serta tidak relevan. • Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis kompatibel dengan soal.

11. Panduanumumkonstruksi MCQ • Hindarikata-kataabsolutseperti, selalu, tidakpernah, dansemuapadapilihanjawaban, danhindari pula istilah yang tidakjelas (meragukan) sepertibiasanyaatausering. • Hindari kalimat atau frase negatif seperti KECUALI, TIDAK, atau BUKAN. • Fokuskansoalpadakonsep-konseppenting, danhindarihanyamengujikemampuanmengingatfakta.

12. Panduanumumkonstruksi MCQ • Fokuskan soal-soal pada konsep penting dan kasus-kasus yang sering serta memiliki potensi masalah serius. • Setiap soal diusahakan agar menilai aplikasi pengetahuan, tidak hanya menguji daya ingat terhadap fakta terisolasi. • Seluruh distraktor (pengecoh= jawaban salah) dibuat homogen (dari sisi gramatikal,panjang pendeknya kalimat).

13. Panduanumumkonstruksi MCQ • Hindari kesalahan teknis membuat soal, seperti : • Pilihan jawaban terlalu panjang, kompleks, atau ganda. • Istilah yang rancu pada pilihan jawaban. • Pilihan jawaban tidak menurut urutan logik. • Bukan salah satu di atas atau semua benar digunakan sebagai pilihan jawaban

14. Panduanumumkonstruksi MCQ • Pilihan pada jawaban memberikan petunjuk logik pada jawaban yang benar. • Pilihan jawaban yang benar adalah frase atau kalimat terpanjang. • Penggunaan kata-kata yang diulang atau memiliki makna sama baik pada soal maupuin pilihan jawaban. • Strategi konvergens pada pilihan jawaban.

15. TEMPLETE SOAL

16. STRUKTUR

17. Vignete • Ketentuan: • Focus • Logis • Sistematis Bisa Berisi: • Pernyataan • Situasi • Kasus pasien Janganterlalupanjang / pendek

18. Vignette / kasus / stem (klinis) • Jenis kelamin, Umur (e.g. laki-laki 25 tahun) • Kasus spesifik wanita  kehamilan • Kasus anak-anak, dewasa, geriatri? • Tempat pelayanan/setting (IGD, poli, puskesmas) • Keluhan Utama • Lama atau derajat keluhan • Gejala penyerta dan keterangan lainnya • Pemeriksaan fisik • Pemeriksaan penunjang

19. Seorang (laki-laki/perempuan/anak laki-laki/anak perempuan) berusia …..tahun (datang/dibawa orang tuanya/dibawa keluarganya) ke (rumah sakit/Puskesmas/dokter praktik umum) dengan keluhan…….. Keluhan disertai……. Pasien diketahui…… Bekerja sebagai…… Pada pemeriksaan fisik (diperoleh/ditemukan/didapatkan) keadaan umum…… Pada pemeriksaan tanda vital diperoleh tekanan darah …mmHg, denyut nadi ….x/menit, frekuensi napas …x/menit dan suhu …. 0C. Pada pemeriksaan (obstetrik, dermatologik, visus, neurologik) (diperoleh/ditemukan/didapatkan) ……… Pada pemeriksaan laboratorium (darah/urine/feses/cairan serebro spinal) diperoleh ……. Pada pemeriksaan foto rontgen diperoleh gambaran………

20. Kasus / vignete Seorang pasien datang dengan keluhan anemia. Tekanan darah 110/80mmHg, • Apakahadapasienmengeluh anemia? • Apakahadahubunganyaantara anemia dengantekanandarah? • Apakahadaarah yang jelasdarikasus? • Kasusterlalupendek, tidaklengkap

21. Kasus (Vignete) • Seorang pria berusia 70 tahun datang ke poliklinik dengan keluhan tidak mampu mengontrol pengeluaran urine. Keluhan ini menyebabkan pasien merasa malu dengan kondisinya dan membatasi aktifitas normalnya dan sebelumnya pernah dilakukan tindakan operasi prostat

22. Lead in (pertanyaan) • Kata tanya di depan (apakah, manakah, dll) • Diakhiri dengan tanda tanya (?) • Terpisah satu baris dari kasus (vignette) agar jelas terlihat

23. Contoh Pertanyaan yang Kurang tepat • Penyebab klien tidak bisa BAB sejak masuk kemungkinan disebabkan oleh • Dari kasus diatas terdapat …….. masalah utama

24. Tip ! • Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas • Pertanyaan baik, terlihat bila peserta pintar bisa menebak jawaban tanpa melihat pilihan jawaban

25. Pilihan Jawaban • Homogen: gramatikal, panjang-pendek. • Hindari absolutisme: selalu, tidak pernah. • Hindari konvergensi. • Hindari kesamaan istilah dengan vignette. • Hindari urutan yang tidak sistematis  menyulitkan. • Hindari kalimat: bukan salah satu di atas

26. Contoh pilihan yang kurang baik a. Pernah mengalami cedera kepala b. Adanya luka pada telinga tengah atau penyakit telinga lainnya. c. Sering mengalami ISPA d. Mungkin secara hematogen e. Benar semua

27. A. Kesalahan yang berkaitan dengan testwiseness: 1. Grammatical Cues • Contohsoal : • Seorangibuberusia 27 tahun, G2P1A0, kehamilanaterm, dirawatdiruangbersalin. Saatinipasienmengeluh mules setiap 3 menitsekali, inginmengedan. pasienterlihatgelisah, lendirdarahkeluarbanyak, hasilpemeriksaandalam: pembukaan 10 cm, porsiotidakteraba, ketuban (+), penurunankepalajanindi Hodge III +. • Apaprioritastindakanmandirikeperawatanpadapasientersebut? • berikan oksitosin • pecahkan ketuban • observasi kontraksi • siapkan alat persalinan • lakukan vacum ekstraksi • Grammatical cues: satuataulebihdariopsijawabantidakcocokdengankalimatpertanyaan yang disusundalamsuatusoal. Hal initerjadikarenapenulishanyamemfokuskandiridalampembuatanataupemilihanjawaban yang benar.

28. 2. Logical Cues • Contohsoal : • BayiLaki-lakiusia 10 bulan, darihasilpemeriksaan BB 5 kg, tubuhtampakkurus, bayitampakpucatpadatelapaktangan, dasar kuku dankonjungtiva. HasilpemeriksaanHb : 10 gr%, kadar Fe darahrendah. • Apapenyebabpucat yang dialamibayi? Berhentinya pembentukan sel darah merah pada sumsum tulang Tidak tercukupinya bahan baku pembuatan sel darah merah Keterbatasan kadar oksigen menyebabkan menurunnya energy Aliran darah ke otak menurun mengakibatkan kelemahan Adanyakemungkinanperdarahan. Logical cues: sebagianopsijawabantelahmemperlihatkankemungkinanjawaban yang benar. Padasoaldiatasmahasiswa yang cukupcerdasdapatmelihatbahwakemungkinanbesardarijawaban A, B, atau C terdapatjawaban yang benar

29. 3. Istilah yang absolut • Contoh soal : • Seorang laki-laki, usia 60 tahun dirawat dengan diagnosa medik mitral insufficiency. Secara tiba-tiba malam ini TD 70/50 mmHg, Pernafasan cepat dan dangkal, kulit pucat, akral dingin, sianosis perifer. Kesadaran menurun dan pengeluaran urine dalam 4 jam terakhir 80 cc. • Apakah prioritas tindakan keperawatan yang harus segera diberikan pada kasus diatas? Dapat diberikan terapi secara adekuat dengan nitroglyserin Dapat segera dilakukan tindakan penanganan DC Shock Tidakpernahdilakukantindakanpenangananterapicairan Selalu diberikan posisi semi fowler Selalu observasi balance cairan Istilah yang absolut: kata “selalu” atau “tidak pernah” digunakan dalam opsi jawaban Pada soal di atas, opsi A dan B mengandung makna yang tidak mutlak sebagaimana opsi C, D dan E

30. 4. Jawabanbenar yang panjang • Contohsoal : • Seorangperawatkomunitasakanmelaksanakanasuhankeperawatankomunitasdiwilayahkerjanya. • Apakah yang perludilakukanperawattersebutpadafaseprainteraksi? Surveiwilayah yang akandigunakansepertisumberdaya, sumberdana, dankeamanan Pencarian data primer masyarakat tentang kesehatan yang dialami Pengkajian langsung pada keluarga yang bermasalah Pertemuan dengan tokoh masyarakat Pendataan keluarga sesuai format

31. 5. Pengulangan kata dari badan soal ke jawaban • Contoh soal : • Seorang wanita berusia 20 tahun,suaminya meninggaldunia 6 bulan yang lalu karena kecelakaan, saat ini dirawat di unit psikiatri, karena sedih yang berlebihan , penampilan diri tidak rapi, murung, tidak bersemangat, tidak mau berinteraksi denga orang lain, pandangan mata kosong, merasa putus asa , cenderung menyalahkan diri sendiri dan ada pikiran merusak diri/ bunuh diri • Apa yang menjadi faktor predisiposisi perilaku pasien dalam melakukan bunuh diri ? Rendah diri Impulsif Regresi Rasa bermusuhan Proses kehilangan

32. Contoh soal benar (benar; pengulangan kata tidak ada) • Seorang wanita berusia 20 tahun,suaminya meninggal dunia 6 bulan yang lalu karena kecelakaan, saat ini dirawat di unit psikiatri, karena sedih yang berlebihan , penampilan diri tidak rapi, murung, tidak bersemangat, tidak mau berinteraksi denga orang lain, pandangan mata kosong, merasa putus asa , cenderung menyalahkan diri sendiri dan ada pikiran merusak diri/ bunuh diri • Apakah masalah utama pada pasien ini ? Harga diri rendah situasional Isolasi sosial Berduka disfungsional Koping mekanisme tidak efektif Regresi kronis Pembenaran soal: pada soal di atas, kata „harga diri rendah situasional“, tidak muncul pada kasus.

33. 6. Konvergensisoal • Contohsoal salah (salah; dalam jawaban yang benar ada kmponen-komponen yang paling sering muncul) • (1) • Seorangpasiendinyatakannefrotik syndrome yang sedangmenjalaniperawatandidiruangperawatanurologi. • Penatalaksanaan diet yang tepatpadapasienini? TKTP TKTPRL TKTPRGTL TKTPRGRL TKTPTGRL Kesalahan yang berkaitan dengan kesulitan yang tidak perlu/relevan (Hiperlink dg materi word)

34. REVIEW SOAL

35. BAGAN ALIR REVIEW SOAL SOAL BARU ESENSIAL REVIEW TERSTRUKTUR TIDAK ESENSIAL DIKEMBALIKAN

36. ASPEK REVIEW

37. ISI • Apakah secara isi, topik soal yang ditanyakan esensial? • Rujukan:Blue Print Uji Kompetensi Perawat Indonesia

38. Vignette / kasus / stem (klinis) • Jeniskelamin, Umur (e.g. laki-laki 25 tahun) • Tempatpelayanan/setting (IGD, poli, puskesmas) • KeluhanUtama • Lama atauderajatkeluhan • Gejalapenyertadanketeranganlainnya • Pemeriksaanfisik • Pemeriksaanpenunjang

39. REVIEW VIGNETTE • Bahasa yang digunakan pada vignette • Vignette terlalu pendek (tidak lengkap), atau terlalu panjang (tidak terkait logika option).

40. LEAD IN • Menggunakan kata tanya secara langsung, sehingga dapat memenuhi “close the option rule”

41. OPTION • Homogen: gramatikal, semantik, panjang-pendek. • Hindari absolutisme: selalu, tidak pernah. • Hindari konvergensi. • Hindari kesamaan istilah dengan vignette. • Hindari urutan yang tidak sistematis  menyulitkan. • Hindari kalimat: bukan salah satu di atas

42. Struktur Soal : Item Flaws • Grammatical Cues ( ) Ya ( ) Tidak • Logical Cues ( ) Ya ( ) Tidak • Istilah yang absolut ( ) Ya ( ) Tidak • Jawaban benar yang panjang ( ) Ya ( ) Tidak • Pengulangan kata dari badan soal ke jawaban ( ) Ya ( ) Tidak • Konvergensi soal ( ) Ya ( ) Tidak • Pilihan jawaban yang panjang, kompleks, atau duplikasi ( ) Ya ( ) Tidak

43. Struktur Soal : Item Flaws • Pilihan yang berupa angka tidak diurut sesuai dengan besarnya ( ) Ya ( ) Tidak • Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi ( )Ya( ) Tidak • Pilihan jawaban tidak paralel dan urutan tidak logis ( ) Ya ( ) Tidak • Penggunaan BSSD (bukan salah satu di atas pada pilihan jawaban) ( ) Ya ( ) Tidak • Badan soal terlalu panjang, sulit, dan kompleks ( ) Ya ( ) Tidak

44. Komentar Umum Reviewer ID Soal : Kesimpulan Hasil Review ( ) Diterima tanpa perbaikan ( ) Diterima dengan perbaikan ( ) Perlu konfirmasi pembuat soal ( ) Tidak perlu konfirmasi dengan pembuat soal ( ) Dikembalikan kepada pembuat soal ( ) memerlukan perbaikan keseluruhan ( ) Berpotensi diterima dengan perbaikan

45. Saran Perbaikan Tanggal: (DD) / (MM) / (YY) Tanda Tangan Reviewer Nama Jelas :

46. Alasan penolakan • Isi tidak esensial • Isi terlalu spesialistis. • Isi tidak realistis, terlalu teoritis (status gizi tanpa tabel tumbuh kembang). • Tidak ada vignette. • Vignette tidak berfungsi

47. Next step? Bekerja dalam kelompok untuk mereview soal-soal menggunakan formulir review yang ada.