การวิเคราะห์ข้อสอบ MCQ

1. การวิเคราะห์ข้อสอบ MCQ

2. การวิเคราะห์ข้อสอบแบบปรนัยการวิเคราะห์ข้อสอบแบบปรนัย

3. ทำไมจึงต้องวิเคราะห์ข้อสอบทำไมจึงต้องวิเคราะห์ข้อสอบ • ปรับปรุงข้อสอบ • ภาษา • คำตอบที่ถูกต้อง • ความยากง่าย • อำนาจจำแนก • ประสิทธิภาพของตัวลวง • ปรับปรุงวิธีจัดการเรียนการสอน • ค้นหาข้อบกพร่องในการเรียน อรุณี วชิราพรทิพย์

4. วิเคราะห์อะไร • เชิงคุณภาพ • ครอบคลุมเนื้อหาและวัตถุประสงค์(Content Validity) • คำตอบที่ถูกเป็นที่ยอมรับ(Objectivity) • เกณฑ์การให้คะแนน(Objectivity) • ความยากง่าย (Difficulty) • ภาษาที่ใช้ (Comprehensiveness) อรุณี วชิราพรทิพย์

5. วิเคราะห์อะไร • 2. เชิงปริมาณ • รายข้อ • มีคนตอบถูกหรือไม่ เท่าไหร่ (p) • คนเก่งและอ่อนตอบถูกแตกต่างกันหรือไม่ (r) • ตัวลวงแต่ละตัวมีคนตอบหรือไม่ • ทั้งฉบับ • การกระจายของคะแนนรวมเป็นอย่างไร • ผลการสอบเชื่อถือได้แค่ไหน(Reliability) • มีข้อผิดพลาดจาการวัดเท่าใด(Error of Measurement) อรุณี วชิราพรทิพย์

6. ลักษณะข้อสอบที่ดี • Validity • Reliability • Objectivity • Comprehensiveness • Practicability • Good level of difficulty • Good discrimination power

7. การวิเคราะห์ข้อสอบ การวิเคราะห์ข้อสอบทั้งฉบับ การวิเคราะห์ข้อสอบรายข้อ

8. การวิเคราะห์ข้อสอบทั้งฉบับการวิเคราะห์ข้อสอบทั้งฉบับ • Mean, SD • Median • Mode • Range : Max - Min • Standard error of measurement ( SEM ) • Reliability ( rtt : KR-21, KR- 20 ) • Difficulty index ( p ) • Discrimination power ( r ) • MPL =(AI ) n

9. Reliability

10. Validity v.s Reliability  not Valid, Reliable not Valid, not Reliable Valid, Reliable

11.  S21 S2x n n - 1 1 - Cronbach’ s coefficient -  = x (n-x) nSx2 n n-1 1- K-R 21 =  piqi Sx2 n n-1 1- K-R 20 = Reliability ( rtt )

12. ความยาวของแบบทดสอบ ( คำถามมากข้อ ความเชื่อได้สูง ) การกระจายของคะแนน (กระจายมาก ความเชื่อได้สูง) ความยากง่ายของข้อสอบ (ยากง่ายปานกลาง ความเชื่อได้สูง) การตรวจให้คะแนน ( ข้อสอบ MCQ ความเชื่อได้สูงกว่า Essay ) ปัจจัยที่มีผลต่อค่าความเชื่อถือได้ ความเชื่อถือได้

13. การแปลผลค่า Reliability ( KR-20 ) National Board of Medical Examiner ( NBME ) : • Reliability ต่ำกว่า 0.70 ไม่ควรใช้ในการประเมินผล ทั้งรายบุคคลและรายกลุ่ม • ถ้าต้องการเปรียบเทียบ performance ของกลุ่ม Reliability จะต้องมีค่าตั้งแต่ 0.70 ขึ้นไป • ถ้าต้องการจำแนกความแตกต่างระหว่างบุคคล Reliability จะต้องมีค่าตั้งแต่ 0.90 ขึ้นไป  

14. คะแนนจริง (True Score) True Score= Obtained Score t α.05 x SEM = 48  (1.96 x 4) = 40 - 56 Standard Error of Measurement ( SEM ) ตัวอย่าง: ในการสอบ MCQ วิชากุมารเวชศาสตร์ การวิเคราะห์ ทางสถิติ พบว่าค่า Mean = 58, SD = 6.67 และ rtt = 0.64 SEM = SD  1 – rtt= 6.67  1 - 0.64 = 4 นศพ. ก. สอบได้ 48 คะแนน (Obtained Score)

16. 2. การวิเคราะห์ข้อสอบรายข้อ ( Item Analysis )

17. การวิเคราะห์ก่อนสอบ Criterion - referenced[MPL]

18. Pretest Analysis The task should be done by the teachers to evaluate the test to be used in term of : • Validity • Difficulty factor (DF) / Acceptability index (AI) • Minimum pass index (AI)

19. Angoff Method • การตัดสินใช้พิจารณา performanceของนักศึกษาที่ • การเรียนอยู่ในระดับคาบเส้น (marginal) • หา probability ที่นักศึกษาคาบเส้นจะตอบข้อสอบแต่ • ละข้อได้ถูกต้อง • รวบรวมคะแนน probability จากกรรมการหลายๆคน • แล้วนำมาหาค่าเฉลี่ยเป็น MPL

20. Modified Angoff Method กลุ่มที่คาบเส้นควรจะตอบข้อสอบแต่ละข้อได้อย่างน้อยร้อยละเท่าใดของคะแนนเต็ม 1.00  Expected passing score = 60% Sum 6.00

21. การวิเคราะห์ข้อสอบหลังสอบการวิเคราะห์ข้อสอบหลังสอบ (Posttest Analysis)

22. Item analysis base on student, at one point in the time, reflecting some characteristics of the item

23. การวิเคราะห์ข้อสอบรายข้อ (Item Analysis) • ดัชนีความยาก (Difficulty Index, p) • อำนาจจำแนก (Discrimination Index , r) • ประสิทธิภาพของตัวลวง (Distracters)

24. 87 83 81 80 80 80 80 79 79 78 76 76 75 73 73 73 73 72 72 71 H 27% H 33% H 50% . . . . . . . . 47 46 46 45 45 45 45 44 42 42 42 41 39 39 39 39 38 37 33 31 L 50% L 33% L 27% แบ่งกลุ่ม สูง ต่ำ อรุณี วชิราพรทิพย์

25. การคำนวณค่า p และ r Item # 41 

27. Item Discrimination Index Point BIserial Correlation( rpbs) What does the point biserial measure ? The relationship between two variables, a categoricalvariable(i.e., the student either answered the test item correctly or incorrectly), with a continuous variable(i.e., percent score on the examination). How do you interpret a point biserial correlation? As with all correlation indices, the point biserial ranges from –1.00 to +1.00. A positive point biserial tells us that those scoringhigher on the exam were morelikely to have betteritem “discriminates”betweenhigh-scoring and low-scoring students). www.som.tulane.edu.

28.  pq To calculate the rpbifor each item, use the following formula: rpbi = M p – M q St

29. Difficulty Index (p) = R / T x 100 Acceptable (20)30 40 50 60 70(80) Recommended Uses of Indices : Review of Question Easy Difficult

30. 00.05 0.15 0.25 0.35 (0.20) Discard (most likely) Revise Good Excellent Uses of Indices : Review of Question Discrimination Index (r) = H-L x 100 N

31. ตัวอย่างการวิเคราะห์ข้อสอบตัวอย่างการวิเคราะห์ข้อสอบ

32. Group A B * C D E Upper 3 4 4 38 5 Middle 3 4 4 38 6 Low 3 4 6 34 7 P 0.06 0.070.090.67 0.11 R 0.00 0.00- 0.040.07 - 0.04 II. Mechanisms of Disease หญิงอายุ 50 ปี อาชีพทำสวน มาด้วยอาการคันและปวดเล็กน้อย ที่บริเวณข้อเท้าซ้ายด้านหลัง ตรวจพบว่ามีรอยแดง ๆ เป็นเส้นคดเคี้ยว ยาวประมาณ 7 ซม. อาการของผู้ป่วยเกิดจากพยาธิชนิดใด เฉลยผิด ??? A. Toxocara canii B. Trichinella spiralis C. Strongyloides stercoralis D. Gnathostoma spinigerum E. Angiostrongylus cantonensis ยากมาก ตอบตาม ที่เคยเรียน

33. ข้อควรระวังในการแปลผลการวิเคราะห์ข้อสอบ(r)ข้อควรระวังในการแปลผลการวิเคราะห์ข้อสอบ(r) • 1.ค่าอำนาจจำแนกข้อสอบ(r) ไม่ได้บ่งชี้ item validity • 2.ข้อสอบที่มี r ต่ำไม่ได้บอกว่าเป็นข้อสอบที่ด้อย • คุณภาพ • ปัจจัยที่มีผล • ความยากง่ายของข้อสอบ • ลักษณะของกลุ่ม • 3.ผลวิเคราะห์ข้อสอบจากกลุ่มตัวอย่างขนาดเล็กจะ ไม่น่าเชื่อถือ อรุณี วชิราพรทิพย์

34. สรุป • ค่าสถิติที่ได้จากการวิเคราะห์ข้อสอบเป็นผล ซึ่งจะนำไปหาเหตุ • ค่าpที่บอกว่าข้อสอบนั้น ยากหรือง่ายมิได้บอกว่าข้อสอบนั้น ดี หรือ เลว • ค่า p เท่าใดจึงเหมาะสม ขึ้นอยู่กับวัตถุประสงค์ของการสอบ • แบบสอบอิงเกณฑ์ p สำคัญกว่า rค่า pควรจะสูง • แบบสอบอิงกลุ่ม r สำคัญกว่า pค่าpต้องพอเหมาะ • สิ่งที่สำคัญที่สุดของข้อสอบคือ Validity อรุณี วชิราพรทิพย์

35. จุดเด่นและจุดอ่อนของ MCQ

36. ข้อสอบปรนัย (MCQ) จุดเด่น • ครอบคลุมเนื้อหาได้ทั่วถึง • ไม่ต้องอ่านลายมือของนักศึกษา • ตรวจและให้คะแนนได้ง่าย • ให้คะแนนได้อย่างยุติธรรม • มีความเชื่อถือได้สูง • สามารถเก็บเข้าคลังข้อสอบได้ง่าย

37. ข้อสอบปรนัย(MCQ) จุดอ่อน • ไม่สามารถทดสอบวิธีการคิดอย่างเป็นระบบได้ • ไม่สามารถวัดความสามารถในการหาข้อมูลได้ • มีแนวคำตอบให้เลือกอยู่แล้ว • เปิดโอกาสให้เดาได้มาก • เสียเวลามากในการสร้างข้อสอบที่ดี • นักศึกษามักพยายามจำข้อสอบ

38. Thank for your attention