300 likes | 628 Views
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา. “ Nominally scaled data and THE KAPPA statistic K ” . เสนอ ผศ. อนันท ศิลป์ รุจิเลข. ปริญญาศึกษา ศาสตร มหาบัณฑิต (วิจัยและประเมินทางการศึกษา). สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา.
E N D
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา “Nominally scaled data and THE KAPPA statistic K ” เสนอ ผศ. อนันทศิลป์ รุจิเลข ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา จากที่ผ่านมาเป็นการอธิบายเกี่ยวกับการวัดความสอดคล้องของการจัดเรียงสิ่งของ หรือ หน่วยที่ต้องการศึกษา (N) โดยกลุ่มของผู้เชี่ยวชาญแต่ละกลุ่ม โดยใช้สถิติ the Kendall coefficient of concordance W, the Kendall coefficient of agreement uและจะพบว่าในบางกรณีสถิติ the Kendall coefficient of agreement จะสามารถเปรียบเทียบความแตกต่างเป็นรายคู่ได้อีกด้วย แต่สถิติที่กล่าวมาข้างต้นไม่สามารถอธิบายความแตกต่างเป็นรายคู่ในกรณีที่สิ่งของหรือหน่วยต่างๆที่ต้องการศึกษาถูกจัดเป็นกลุ่มๆ(category) ยกตัวอย่างเช่น กรณีที่นักจิตวิทยาจำนวน K คน จัดคนไข้ให้ได้รับการรักษาด้วยวิธีที่แตกต่างกัน ซึ่งจัดได้เป็น m วิธี (อยู่ในระดับ nominal scale) ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา สำหรับสถิติ Kappa statistic ที่จะกล่าวในที่นี้ อธิบายเกี่ยวกับความสอดคล้องระหว่างตัวแปรที่ถูกจัดเป็นหมวดหมู่ ซึ่งแต่ละหน่วยที่วัดจะมีความเหมือนกัน ดังนั้นไม่ว่าจะมีการเปรียบเทียบความคิดเห็นระหว่างผู้เชี่ยวชาญ 2 คน หรือ ผู้เชี่ยวชาญคนเดียวเปรียบเทียบหน่วยที่ต้องการศึกษา 2 สิ่ง จึงให้ผลที่ออกมาคล้ายคลึงกัน และคล้ายกับสถิติที่ผ่านมาก่อนหน้านี้ ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา ขั้นตอนและวิธีการ จัดสิ่งของออกเป็นกลุ่มต่างๆ m กลุ่ม (m catagories) แต่ละกลุ่มมีสมาชิก N สิ่ง และตัวแปรที่นำมาใช้จัดเป็นหมวดหมู่อยู่ในระดับ nominal scale สามารถจัดเรียงเข้าสู่ตารางได้ดังนี้ ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา จากตาราง แสดงค่า nij ซึ่งบอกจำนวนครั้งของสิ่งของหรือสิ่งที่สนใจศึกษา ได้รับการจัดเข้าสู่กลุ่มต่างๆ (จำนวน j กลุ่ม)โดยผู้เชี่ยวชาญ (raters) และเมื่อรวมคะแนนตามแถว(row)จะพบว่าได้ค่าเท่ากับ k (จำนวนผู้เชี่ยวชาญ) สิ่งของหรือสิ่งที่สนใจศึกษาจะได้รับการจัดเข้ากลุ่มอย่างหลากหลาย ซึ่งจะแตกต่างกันในแต่ละกลุ่ม กำหนดให้ค่า Cjแสดงจำนวนครั้งที่สิ่งของหรือสิ่งที่สนใจศึกษาถูกจัดเข้ากลุ่มต่างๆ jthตามแนวคอลัมภ์ ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา หากการจัดสิ่งของหรือสิ่งที่สนใจศึกษาโดยผู้เชี่ยวชาญจำนวน k คน มีความเหมือนกันทุกหน่วย ผลรวมที่เกิดขึ้นตามแถว(row) จะมีค่าเท่ากับ k และผลรวมจะมีค่าเท่ากับ 0 แต่หากมีความแตกต่างของความคิดเห็นของผู้เชี่ยวชาญ ผมรวมของคะแนนจะเท่ากับผลรวมของคะแนนในแต่ละแถว(row) หารด้วยคะแนนทั้งหมด ซึ่งแน่นอนว่าหากความแตกต่างที่เกิดขึ้นเป็นไปอย่างสุ่ม คะแนนทั้งหมดดังกล่าวจะต้องเป็นคะแนนทั้งหมดที่คาดหวัง(E) The kappa coefficient of agreement แสดงอัตราส่วนของระหว่างความคิดเห็นที่สอดคล้องกันของผู้เชี่ยวชาญ ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา หากผู้เชี่ยวชาญมีความคิดเห็นสอดคล้องกันมากที่สุดหรือมีการจัดเรียงสิ่งที่ศึกษาได้สอดคล้องกันจะได้ค่า K = 1 และ หากผู้เชี่ยวชาญมีความคิดเห็นที่ไม่สอดคล้องกันเลยหรือการจัดเรียงสิ่งที่ศึกษาไม่สอดคล้องกันจะได้ค่า K = 0 ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา หาค่า P(E) ที่มีความสัมพันธ์กับที่กำหนดไว้กับค่า jthในหมวดที่สัมพันธ์กับ Pj=Cj/Nkถ้าผู้ประเมินทำการกำหนดแบบสุ่ม ความสัมพันธ์ที่หวังไว้ว่าจะยอมรับตามที่ได้กำหนดไว้ควรเป็น p2j และผลที่คาดหวังควรมีค่าเป็น การขยายช่วงการยอมรับ ที่ผู้ประเมิน คำนึงถึงที่สัมพันธ์กับตัวเลขในแต่ละคู่ ที่จะเป็นไปได้ ตามสมการ ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา แทนค่าลงไปในผลรวมของ ความสัมพันธ์ พบว่าค่าเฉลี่ยของความสัมพันธ์ มีอัตราส่วนดังต่อไปนี้ ค่าของ P(E) และ P(A) ที่รวมกันได้ในสมการที่ (9.27) พบว่า มีค่า Kappa ทางสถิติ คือค่า K ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา ตัวอย่าง 9.8a21 ที่สำรวจโดยนักวิจัย พฤติกรรมสัตว์ ของปลาเพศผู้ stickleback fish ที่มีการเปลี่ยนสี ในระหว่างวัฏจักร ทำรัง และเกี้ยวพาราสี เมื่อปลาอยู่ในสิ่งแวดล้อมที่มีทำเลเหมาะสม เมื่อปลาตัวผู้หาพื้นที่มั่นที่จะเป็นที่อาศัยได้แน่นอนแล้ว ก็จะทำรังและเริ่มหาคู่ แสดงพฤติกรรมดุร้ายกับปลาตัวอื่นที่เข้ามาใกล้และพยายามจะเข้ามาอยู่ในสิ่งแวดล้อมใกล้ๆกัน ทำการวิเคราะห์ สีของปลาที่มีความสัมพันธ์กัน ตั้งแต่ปลาเริ่มทำการสำรวจพื้นที่ ภายนอก มีตัวแปรที่สัมพันธ์กับเงื่อนไขต่างๆ , k=4 ผู้ประเมิน ให้ค่าของสีปลาในแต่ละตัว ความสัมพันธ์ของค่าสี แบ่งเป็น m = 5 แบ่งหมวดออกเป็น สีอ่อน และต่อมาเป็นสีหมวดอื่นๆที่พัฒนาขึ้น หมวดสุดท้ายคือ สีที่เข้มที่สุด ที่พัฒนามาจากกระบวนการเกิดสีรวมถึงความหลากหลายของสีอื่นๆ จำนวนปลาในกลุ่ม มี 29 ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา ข้อมูลแสดงให้เห็นถึง ผลสรุปในตารางที่ 9.15 ผู้ประเมินได้ทำการสรุปออกมาว่า ความสัมพันธ์ด้านสีของปลาตัวที่ 1 มีผลต่อ การแบ่งแยกตัวออกจากปลาตัวที่ 2 ผลในตารางแสดงให้เห็นว่า ในแถวของการแจกแจงลำดับปลาบางตัวมีค่าที่สัมพันธ์กัน แต่ตัวอื่นๆ มีค่าการยอมรับผลการทดลองต่ำ ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา ความสอดคล้องกันของข้อมูล จากผู้ประเมิน ค่า kappa coefficient ของการยอมรับ K สามารถคำนวณหาค่าได้ เราพบว่า Cjคือจำนวนของครั้งที่ปลากระทำต่อค่า jthทำการรวมความถี่ ของในแต่ละคอลัมน์ รวมมาสรุปเป็นแถวในตาราง ในแต่ละข้อมูลนี้ นำมาคำนวณ โดย Nk = (29)(4)=116 เพื่อแทนค่า pjความสัมพันธ์ในการสำรวจให้เป็น j เราพบว่า ค่า p1 = C1/Nk = 42/116 = .362 และทำในข้อมูลอื่นๆอีก ซึ่งทำให้ทราบว่า แถวสุดท้ายของตารางคือ ค่าที่เราสามารถประเมินได้ ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา ค่าของ P(E) เป็นสัดส่วนของข้อตกลงที่เราคาดว่าจะมีโอกาส ต่อไปจะต้องค้นหา P(A)เป็นสัดส่วนของประชากรที่ได้ตกลงกัน วิธีหนึ่งคือ การกำหนดค่าของ สำหรับแต่ละค่าแล้วเฉลี่ยค่าเหล่านี้วิธีการหนึ่งที่จะดำเนินการไปถึง P(A)โดยใช้ทางด้านขวาของสมการใน (9.29) เราจะแสดงให้เห็นถึงวิธีการทั้งสองค่าของ สามารถหาได้จากตารางเพื่อให้ผู้อ่านเข้าใจ ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา ผู้อ่านต้องทราบว่าค่าของ เป็นตัวชี้วัดของข้อตกลงสำหรับหาลำดับที่ iสามารถหาค่าของP(A): ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา เราอาจจะใช้ค่าของ P (E)และ P(A)เพื่อหาค่า K ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา 9.8.2 Testing the Significance of K ( การทดสอบนัยสำคัญของค่า K ) หลังจากการกำหนดค่า kappa statistic K สิ่งหนึ่งมักจะต้องการที่จะตรวจสอบว่าค่าที่สังเกตได้มากกว่าค่าที่คาดหวัง แม้ว่า เราจะลบคำจากสัดส่วนในข้อตกลงการสุ่ม เช่น การแก้ไขเพียงแค่ข้อตกลงที่คาดว่าจะเกิดจากการมีโอกาส แน่นอน ข้อตกลงมีโอกาสไม่คงที่แต่จะแตกต่างกันเกี่ยวกับค่ากลางหรือคาดว่า การกระจายกลุ่มตัวอย่างของ k มีความซับซ้อนสำหรับขนาดเล็กไม่มี N จะพบว่า N มีขนาดใหญ่สำหรับค่า K ขนาดใหญ่ประมาณการกระจายขอบปกติที่มีค่าเฉลี่ย 0 และความแปรปรวน ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา 9.8.2 Testing the Significance of K ( การทดสอบนัยสำคัญของค่า K ) หลังจากการกำหนดค่า kappa statistic K สิ่งหนึ่งมักจะต้องการที่จะตรวจสอบว่าค่าที่สังเกตได้มากกว่าค่าที่คาดหวัง แม้ว่า เราจะลบคำจากสัดส่วนในข้อตกลงการสุ่ม เช่น การแก้ไขเพียงแค่ข้อตกลงที่คาดว่าจะเกิดจากการมีโอกาส แน่นอน ข้อตกลงมีโอกาสไม่คงที่แต่จะแตกต่างกันเกี่ยวกับค่ากลางหรือคาดว่า การกระจายกลุ่มตัวอย่างของ k มีความซับซ้อนสำหรับขนาดเล็กไม่มี N จะพบว่า N มีขนาดใหญ่สำหรับค่า K ขนาดใหญ่ประมาณการกระจายขอบปกติที่มีค่าเฉลี่ย 0 และความแปรปรวน ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา ตัวอย่าง 9.8b จากที่กำหนดตัวอย่างก่อนหน้านี้ พบว่า K = .41 ในการทดสอบ : k = 0 กับ : k > 0 จะต้องหาค่าความแปรปรวนของ K ระดับนัยสำคัญ เรียกว่า N = 29(การจัดลำดับ) m = 5 (ประเภทคะแนน) k=4 ( ผู้ประเมิน )และ P(E) = .288 ข้อมูลอื่นที่จำเป็นมีเพียง โดยใช้ค่าของได้จากตาราง9.15 จะได้ว่า ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา ระดับนัยสำคัญทางสถิติที่ระดับ .01 ซึ่งมีค่า z วิกฤต เท่ากับ 2.32 ดังนั้นนักวิจัยจึงสรุปถึงการยอมรับค่าที่แสดงออกมาที่มีระดับนัยสำคัญทางสถิติ ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา • สรุปวิธีดำเนินการ • สรุปขั้นตอนการดำเนินการ • ค่าทางสถิติที่ใช้ ได้แก่ ค่า K ซึ่งมีค่าสัมประสิทธิ์เป็นที่ยอมรับเพียงเล็กน้อยซึ่งมีผลดังต่อไปนี้ • 1.ให้N ซึ่งเป็นจำนวน แทนเป้าหมายหรือวัตถุประสงค์(ในแต่ละแถว) และให้ m แทนประเภทต่างๆ (ในแต่ละหลัก) และ k แทนระดับ ซึ่งมีการแสดงผลความถี่ ในลักษณะ N x m ออกมาในตาราง 9.8.1โดยมีการบันทึกความถี่ในแต่ละแถวแต่ละหลักลงในตารางและทำการคำนวณหาผลรวม ค่า k ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา • 2.สำหรับระดับ j จะพบที่ประเภท(ซึ่งอยู่ในแต่ละแถว) โดยใช้สัญลักษณ์ C ถัดมาจะพบ p ซึ่งเป็นอัตราส่วนที่กำหนดโดยประเภทของ j โดยทั่วไป จะใช้ E เท่ากับ 9.28 และก็จะพบความน่าจะเป็น P( E ) ที่ระดับของกลุ่มเป้าหมายนั้นด้วย • 3.เมื่อใช้ E เท่ากับ 9.29 ก็จะพบความน่าจะเป็น P( A ) ซึ่งเป็นค่าเฉลี่ยที่ยอมรับได้ • 4.จะพบ K ซึ่งเป็นค่าสัมประสิทธิ์ที่ยอมรับโดยคำนวณจากค่า P( E ) และ P( A ) ใน E ซึ่งมีค่าเท่ากับ 9.27 • 5.ในที่สุดการทดสอบสมมติฐาน H : K = 0 และ H : > 0, พบความแตกต่างK ที่ E เท่ากับ 9.30 และพบความสอดคล้องของค่า z ที่ E เท่ากับ 9.31 และถ้าค่า z มีค่ามากเกินไปไม่อยู่ในช่วงที่เหมาะสมของค่าวิกฤต ค่าz จากในตาราง A ก็จะปฏิเสธ H ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา การบอกเล่าถึงค่า K ที่มีการบันทึกไว้จากบุคคลต่างๆมากมาย แต่ก่อนนั้นมีการนำเสนอค่าทางสถิติมากมายให้เป็นที่ยอมรับในระดับมาตราส่วนที่ยอมรับได้ ในเอกสารอ้างอิง ค่า K (แค๊ปปา) ก็เป็นค่าทางสถิติที่น่าสนใจค่าหนึ่งซึ่งมีต้นกำเนิดพื้นฐานมาจาก สก๊อต (1955 ) และโกเฮ็น(1960 ) ที่คิดค้นขึ้นมา และมีการพัฒนาโดยโกเฮ็น ซึ่งเขาได้รับแรงกระตุ้นจากบุคคลทั่วไปให้เขาเป็นคนพัฒนากับค่าทางสถิตินี้ ค่า K เป็นค่าทางสถิติอยู่ในระดับทั่วๆไป ต่อมาโกเฮ็นได้ปรึกษาหารือกับFleiss (1971) ในการจัดอันดับของค่าK ใหม่ว่าจะทำอย่างไร ให้เป็นที่ยอมรับอย่างแท้จริงโดยมิได้มีการยอมรับโดยบังเอิญ ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา Scott และ Fleiss ยังตั้งสมมติฐานว่า p มีอันดับเหมือนกับอันดับอื่นๆด้วย มีความน่าจะเป็นที่จะเกิดขึ้นเฉพาะในระดับชั้นนั้นๆและมีไม่มีความแตกต่างกับระดับชั้นอื่นๆแม้ว่านักวิจัยจะทำการทดสอบภายใต้สมมติฐานแล้วก็ตามก็ไม่มีผลของความแตกต่างดังนั้นเราควรตั้งวัตถุประสงค์หรือเป้าหมายอื่นๆในการทดสอบสมมติฐานเพื่อให้เกิดความแตกต่างบ้าง Fleiss ได้ให้ข้อเสนอว่าการจัดอันดับควรมีการกำหนดอันดับไว้ให้ชัดเจน(p ) ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)
สถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษาสถิตินอนพาราเมตริกสำหรับงานวิจัยทางการศึกษา เอกสารอ้างอิง เอกสารอ้างอิงพื้นฐานของการกล่าวถึง ค่าสถิตินี้ (K ) ซึ่งเป็นเนื้อหาที่บอกถึงอันดับ ซึ่งมีบุคคลทั้ง 3 ท่านที่ได้กล่าวถึงค่า K เอาไว้ซึ่งประกอบด้วย Scott (1955) Cohen ( 1960 ) , และ Fleiss (1971) และในปี(1968) Cohen ได้กล่าวถึงเนื้อหาเกี่ยวกับสถานการณ์ต่างๆที่จะจัดเป็นระดับ ชั้น และประเภทโดยการจัดดูได้จากหน้าที่หรือวัตถุประสงค์เป็นสำคัญและการจัด ระดับ ชั้น และประเภท โดยทั่วไปจะพบในรายงานของ Fleiss (1971) ปริญญาศึกษาศาสตรมหาบัณฑิต (วิจัยและประเมินทางการศึกษา)