Item Development and Review Workshop

1. Item Development and Review Workshop Health Professional Education Quality Project (HPEQ-Nurse)

2. Heru Supriyatno, MN Pendidikan: Akper Karya Husada Semarang, 1987 MN: Univ. of Melbourne Australia, 2003 Pekerjaan (saat ini): Dosen Jurusan Keperawatan Poltekkes Kemenkes Semarang Organisasi (saat ini): Sekretaris Forkom Jurusan Keperawatan Poltekkes Kemenkes RI Anggota Bidang Diklat AIPDiKI Anggota HIPMEBI Jawa Tengah

3. Objektif Memahamiprinsip: • Dasar-dasarujian regional/nasional • Dasarprinsipassesment • Standarkualitassoal MCQ (type A) • Prinsip-prinsipproses review Mampumelakukan • Self review • Review soalorang lain

4. LATAR BELAKANG • Era perdagangan bebas barang & jasa • Dampak ganda: kesempatan kerja yang luas dan persaingan yang semakin ketat TANTANGAN MENINGKATKAN DAYA SAING & KEUNGGULAN KOMPETETITIF YANG MEMENUHI STANDARD KEBUTUHAN GLOBAL

5. Urgensi ujian nasional • Uji nasional adalah proses standarisasi penilaian kemampuan • Menegakan akuntabilitas profesional • Menegakan standard dan ethik profesi • Melindungi kepercayaan publik • Melindungi pemberi jasa

6. Tahapan uji nasional • Pembentukandanvalidasistandarkompetensioleh stakeholders • Menentukankompetensidasar yang diujikan • Pembuatan blue print sesuaiobjektifdaripendidikan (kriterialulusan Perawat) • Menentukan model test yang efektifdanefisien • Membuat instrument test yang valid/reliable (psychometric principles) • Membuat standard setting danprosespengambilanputusan

7. MEKANISME PEMBUATAN SOAL UJI PROFESI Pelatihan Pembuatan soal Perwakilan di bidang keilmuan Pembuatan soal Sesuai keilmuan Kumpulan soal Narasumber Pengembang Soal Set Booklet Soal Ujian Edit Bank soal Sementara Revisi soal Sub.Bid. PS Uji coba soal Merakit Soal Bank soal Item Review Oleh Dewan Profesi

8. Mekanisme Soal Institusi? • Kisi-kisi untuk mecapai ‘graduate attribute’ • Standarisasi pengetahuan ‘pembuatan soal’ • Pembuatan soal  peer review • Telaah soal setelah diujikan  perbaikan ASSESMENT UNIT

9. Langkah Pengembangan Soal Tes menyusunspesifikasites, menulissoal, menelaahsoaltes, melakukanujicobates, menganalisisbutirsoal, memperbaikites, marakittes, melaksanakantes, menafsirkanhasiltes

10. Pilihan assessment • Menentukan level kompetensi lulusan baru • Menentukan kompetensi mana yang paling penting dalam perspektif public safety • Menetukan apa yang bisa di tes dengan alat ukur yang telah ditetapkan

12. Blue Print Assessment Program Study (contoh) Masfuri 12

13. Blue print: Manajemen Kasus (contoh MCQ)

14. Apa yang akan diujikan ? KompetensiPerawatBerpengalaman KompetensiLulusan KompetensiTransisi (menengah) Kompetensiawal (masuk)

15. Kedalaman (kompleksitas) Soal

16. Kenapa MCQ A type ? • Paling umum digunakan ujian lisensi oleh profesi-profesi (standardized test) • Sejarah panjang riset tentang psychometric • Cost effective untuk skala besar • Paling objektif & reliable (tanpa halo effect) • Memungkinkan berbagai variasi dan topik • Sulit & memakan waktu untuk dibuat

17. Evidence… • Health Education Institution Exit exam (HESI E2)  predictor of NCLEX RN  employment success (Reiter, 2005; Joho, 2007) • HESI Exit Exam (E2) was 96.30% to 98.30% accurate in predicting NCLEX-RN success (Britt, 2007) • E2 scores are potentially useful determinants of the new graduate nurses’ ability to assume entry-level positions within the practice setting (Pine, 2007)

18. Masalah Ujian • Isi yang diujikan kurang relevan • Dominasi soal recalling • Proporsi tidak konsisten • Soal ada yg terlalu mudah/sulit • Soal yang tidak layak masih sering keluar • Tidak ada review thd soal yang digunakan

19. Tahap Penjaminan Mutu Input Process • Review Process • Try-out • Examination guideline • Report on Examination • Feedback process. • Item Bank Output • Criterion-reference. • Standard setting exercise • Blueprinting • Item Writer Standard • Item Reviewer Standard • ICT support

20. Kompetensi Esensial Terujikan Ujian diharapkan memenuhi tingkat safety Bagi Perawat baru lulus: • Penciri Perawat (Kompetensi Inti) • Sangat penting dan prinsip untuk dikuasai • Sangat sering dilakukan SEBUTKAN KOMPETENSINYA?

21. Materi uji dan Kompetensi KOMPETENSI PERAWAT KOMPETENSI LULUSAN BARU MATERI Ter U J I A N kan

22. Ujian Tulis Multiple Choice Question One Best Answer

23. Why… One Best Answer • Jenis soal 1-2-3-4 lebih mudah ditebak • Soal sebab akibat sering membingungkan, aspek bahasanya terlalu rumit • Satu pilihan terbaik, mencerminkan peran profesional yang harus mencari alternatif terbaik bagi klien

24. Membuat Soal MCQ UNTUK LEVEL TINGGI (PROVINSI/NASIONAL) • Tidak semudah yang dibayangkan • Kedalam, aplikasi, berpikir kritis sesuai kompetensi • Perlu sounding multidiscipline team • Perlu ketetapan istilah bersama • Perlu Standarisasi bahasa • Perlu Standarisasi struktur

25. Ciri Soal Uji Nasional

26. Taxonomy Cognitive Bloom: X C1. C2 C. 3 X

27. Bloom …

28. RANAH KOGNITIF dlm UJIAN Penggabungan: • Pengetahuan komprehensif (C1-C2) (nilai normal, definisi, konsep, dasar patofisiologi, dll) • Aplikasi klinis (C3) (ketrampilan prosedural, diagram masalah, tetesan, dosis) • Berpikir kritis (C4-C6) (menegakan masalah, prioritas, analisa hubungan, prediksi, evaluasi perkembangan, dll) • Afektif (A1-A5) (sikap dalam bekerja bersama klien/keluarga, tim kes)

29. Langkah pengembangan soal • Lihat blue print (kisi-kisi) • Gunakan tinjauan2 dlm blue print dalam mengkonstruksikan soal • Buat soal sesuai panduan no 1 dan 2 diatas • Kasus/vignet • Pertanyaan • Pilihan jawaban • Review soal sendiri, review soal oleh orang lain (tim)

30. Tinjauan dalam Blue Print • Domain kompetensi • Domain kognitif • Sistem tubuh • Kebutuhan dasar • Jenis upaya kesehatan • Proses keperawatan • Keilmuan Etik/legal, askep, prof Kritis, prosedur, afek Cardio, respirasi, dll Rasa nyaman, oksi, dll Promotive, kuratif, dll Pengkajian, diag., dll Anak, dewasa, dll

31. Domain Kompetensi Level Kognitif Upaya Kebutuhan • Etik/legal/bud • Praktek/mng keperawatan • Pengembangan profesional • Kognitif • Konatif • procedural • Promotiv • Preventif • Kuratif • rehabilitatif • Oksigenasi • Cairandan el • Nutrisi • Mobilisasi • dll Setiap soal harus memiliki semua tinjauan Blue Print

32. Seorang pria berusia 45 tahun, dirawat dengan keluhan sesak dan batuk darah. Klien terlihat kurus, kelelahan, dan terlihat retraksi dada saat bernafas. Manakah data penting yang harus dicari untuk bisa menegakan masalah prioritas klien diatas? Contoh penggunaan tinjauan: KMB Managemen Keperawatan Berpikir Kritis Kuratif Pengkajian Oksigenasi

33. Tahap Pengembangan Soal Pikirkan sesuatu yg Essensial dlm pekerjaan perawat baru lulus Buat Vignet yang runtut dan logis Buat Pertanyaan yang fokus Buat pilihan jawaban yang HOMOGEN

34. I S I • Apakah secara isi, topik soal yang ditanyakan esensial dalam menjalankan pekerjaan ? • Rujukan: Standard Kompetensi

35. STOP: Baca SoalAnda … ! • Apakah soal anda sangat penting untuk dapat menjalankan pekerjaan sehari-hari? • Menanyakan hal yang bermanfaat untuk ditanyakan dalam pekerjaan?

36. Struktur Soal 1. Vignet/Kasus/Pernyataan 2. Pertanyaan soal 3. Pilihan jawaban

37. Vignete Bisa Berisi: • Pernyataan • Situasi • Kasus pasien • Ketentuan: • Fokus • Logis • Sistematis Janganterlalupanjang / pendek

38. Vignette / kasus / stem (klinis) • Jenis kelamin, Umur (e.g. laki-laki 25 tahun) • Kasus spesifik wanita  kehamilan • Kasus anak-anak, dewasa, geriatri? • Tempat pelayanan/setting (IGD, poli, puskesmas) • Keluhan Utama • Lama atau derajat keluhan • Gejala penyerta dan keterangan lainnya • Pemeriksaan fisik • Pemeriksaan penunjang

39. Kasus / vignete Seorang pasien datang ke puskesmas dengan keluhan anemia. Tekanan darah 110/80mmHg, • Apakahadapasienmengeluh anemia? • Apakahadahubunganyaantara anemia dengantekanandarah? • Apakahadaarah yang jelasdarikasus? • Kasusterlalupendek, tidaklengkap

40. Ny TR, 46 tahun dirawat di Rumah Sakit Cepat Sehat dengan riwayat multiple trauma akibat kecelakaan lalulintas. Terdapat fraktur humerus dextra post ORIF (open reduction internal fixation), post amputasi jari manis dan saat ini (hari ke 50) terpasang external fixation untuk stabilisasi fraktur tibia fibula sinistra dengan bone loss dan fraktur terbuka. Keluhan saat ini adalah nyeri hebat, terutama pada tungkai kirinya. Mengatakan”para suster tidak mengerti betapa sakitnya saya.” Tungkai kiri terlihat mengecil, kondisi luka terbuka menembus tulang, infeksi minimal. • Kesan Kasus Ini?: • Kasus terlalu panjang dan terlalu kompleks • Bahasa tidak efisien • Hubungan antara diagnosa medik dan keluhan pasien terlalu kompleks • Arah kasus menjadi tidak fokus

41. Lead in (pertanyaan) • Kata tanya di depan (apakah, manakah, dll) • Diakhiri dengan tanda tanya (?) • Terpisah satu baris dari kasus (vignette) agar jelas terlihat

42. Contoh Pertanyaan yang Kurang tepat • Penyebab klien tidak bisa BAB sejak masuk kemungkinan disebabkan oleh: • Apakah penyebab klien tidak bisa BAB? • Dari kasus diatas terdapat …….. masalah utama • Manakah masalah utama pada kasus diatas?

43. Tip ! • Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas • Pertanyaan baik, terlihat bila peserta pintar bisa menebak jawaban tanpa melihat pilihan jawaban

44. Controh kasus tidak berfungsi • Seorang anak usia 13 bulan dengan berat badan 15 kg masuk rumah sakit untuk dirawat dengan diagnosa typhoid. Anak tidak mau makan dan minum. Suhu tubuh 38,8C. Sesuai order dokter, anak tersebut dipasang infus. • Bagimanakah cara fiksasi infus yang tepat untuk anak diatas?

45. Pilihan Jawaban • Homogen: topik, gramatikal, semantik, panjang-pendek. • Hindari absolutisme: selalu, tidak pernah. • Hindari konvergensi. • Hindari kesamaan istilah dengan vignette. • Hindari urutan yang tidak sistematis  menyulitkan. • Hindari kalimat: bukan salah satu di atas

46. Contoh pilihan kurang baik • End colostomy • Simple colostomy • Double barrel colostomy • Loop colostomy Simple colostomy tidak ada dalam terminology

47. Contoh pilihan yang kurang baik a. Pernah mengalami cedera kepala b. Adanya luka pada telinga tengah atau penyakit telinga lainnya. c. Sering mengalami ISPA d. Mungkin secara hematogen e. Benar semua • Jawaban b panjang tidak homogen • Benar semua, tidak diperkenankan

48. Seorang ibu, perempuan, 32 tahun, membawa anaknya ke Unit Rawat Jalan RS Jiwa Soeharto Heerdjan. Keluhan ibu bahwa anaknya sering menyendiri, mulut komat-kamit, dan pernah marah-marah sampai merusak diri. Apakah tindakan keperawatan yang bukanprioritas dilakukan perawat pada saat awal melakukan proses keperawatan? • Melakukan pengkajian terhadap isi halusinasi • Melakukan pengkajian terhadap frekwensi halusinasi • Memberikan dukungan kepada keluarga karena teridentifikasi beban merawat pasien yang sangat berat • Melakukan pengkajian terhadap terapi psikofarmaka sebelumnya

49. Cermati dan komentari! Kasus (vignette) Case Based 1 • Ny. Ahmad umur 70 tahun masuk RS karena mempunyai tanda-tanda gagal ginjal akut. Saat ini dia dalam keadaan fase oligouri dan mengeluh mual (nausea) dan pusing. Pertanyaan soal • Hasil pemeriksaan urine gravitas rendah dan data lab memperlihatkan hiponatremia dan hiperkalemia. Apa pengkajian yang dilakukan ners Pilihan jawaban • a. mendengarkan bunyi paru-paru* • b. memperhatikan tanda-tanda hipokalemia • c. mengobservasi hipotensi postural • d. mengkaji kekurangan volume cairan

50. Cermati dan komentari! • Seorang perawat komunitas bekerja pada daerah pinggiran kota Jakarta. Selama ini anak-anak balitanya terbiasa melakukan aktivitas di gang perkampungan dan pinggiran sungai, tanpa alas kaki. Berdasarkan pengamatan tampak anak balita bermain tanpa alas kaki dan kuku tangan kotor dan panjang. • Apa tindakan yang harus dilakukan perawat untuk menyelesaikan permasalahan di atas? a. Advokasi pentingnya sistem rujukan b. Surveilans epidemiologi c. Penyuluhan hygiene dan sanitasi d. Pengobatan diare secara massal e. Pemberdayaan kader kesehatan