Experimental Design

บทที่ 4 Experimental Design การออกแบบการทดลอง วัตถุประสงค์ เพื่อหาข้อพิสูจน์ที่สมเหตุสมผลว่า การจัดการเรียนการสอน หรือให้ treatment ทำให้ผู้เรียนมีพัฒนาการดีขึ้น

วัตถุประสงค์ของการเรียนวัตถุประสงค์ของการเรียน เพื่อให้ผู้เรียน • เข้าใจและบอกวัตถุประสงค์ของการทดลองได้ • เข้าใจและบอกรูปแบบการทดลองได้ทุกรูปแบบ • เมื่อกำหนดโจทย์การวิจัยให้ สามารถออกแบบการวิจัยเชิงทดลองได้อย่างเหมาะสม • สามารถบอกขั้นตอนการวิจัยเชิงทดลอง และเงื่อนไขของการวิจัยเชิงทดลองได้

ลักษณะของการวิจัยเชิงทดลองลักษณะของการวิจัยเชิงทดลอง • ต้องการจะพิสูจน์ความเป็นเหตุเป็นผล • จะต้องมีการจัดกระทำ หรือ treatment • วิธีการวิจัยจะเน้นการควบคุมตัวแปรแทรกซ้อน • มีทั้งรูปแบบการวิจัยกึ่งทดลอง (Semi Experimental) และการทดลองแท้ (True Experimental) • มีทั้งการทดลองในสนาม (Field Experimental) และการทดลองในห้องปฏิบัติการ (Laboratory Experimental)

การออกแบบการทดลอง รูปแบบที่ 1 มีนักเรียน กลุ่ม A จัดการเรียนการสอน x ไป แล้ววัดผลสัมฤทธิ์ ได้ เท่า y A x y คำถาม จะสรุปได้ไหมว่า คะแนน y เกิดจากการสอน ด้วย x ?

การออกแบบการทดลอง รูปแบบที่ 2 มีนักเรียน กลุ่ม A สอบวัดความรู้ได้ y1 แล้วจัดการเรียนการสอน x ไป จากนั้นวัดผลสัมฤทธิ์ ได้ เท่า y2 A = y1 x y2 คำถาม จะสรุปได้ไหมว่า การสอน ด้วย x ทำให้ y มากขึ้น ? ถ้าผลการทดสอบเปรียบเทียบได้ว่า y2 มากกว่า y1

การออกแบบการทดลอง รูปแบบที่ 3 มีนักเรียน กลุ่ม A และกลุ่ม B แต่จัดการเรียนการสอน x เฉพาะกลุ่ม A แล้ววัดผลสัมฤทธิ์เปรียบเทียบกัน A x y1 B y2 คำถาม จะสรุปได้ไหมว่า การสอน ด้วย x ดีกว่าการไม่สอน ? ผลการทดสอบเปรียบเทียบ พบว่า y1 มากกว่า y2

การออกแบบการทดลอง รูปแบบที่ 4 มีนักเรียน กลุ่ม A สอบวัดแล้วได้ y1 และกลุ่ม B สอบวัดได้ y2 แต่จัดการเรียนการสอน x เฉพาะกลุ่ม A แล้ววัดผลสัมฤทธิ์ ได้ เท่ากับ y3 ส่วนกลุ่ม B ได้เท่า y4 A y1 x y3 B y2 y4 คำถาม จะสรุปได้ไหมว่า การสอน ด้วย x ทำให้ y ดีขึ้น ? ผลการทดสอบเปรียบเทียบพบว่า y3 สูงกว่า y1 ผลการทดสอบเปรียบเทียบพบว่า y4 ไม่สูงกว่า y2

การออกแบบการทดลอง รูปแบบที่ 5 มีนักเรียน กลุ่ม A สอบวัดแล้วได้ y1 และกลุ่ม B สอบวัดได้ y2 แต่จัดการเรียนการสอน x เฉพาะกลุ่ม A แล้ววัดผลสัมฤทธิ์ ได้ เท่ากับ y3 ส่วนกลุ่ม B ได้เท่ากับ y4 A y1 x y3 B y2 y4 คำถาม จะสรุปได้ไหมว่า คะแนน y3 สูงกว่า y4 เกิดจากการสอน ด้วย x ? ผลการทดสอบเปรียบเทียบ พบว่า y3 สูงกว่า y4 ผลการทดสอบ เปรียบเทียบพบว่า y1 ไม่สูงกว่า y2

การออกแบบการทดลอง รูปแบบที่ 6 มีนักเรียน กลุ่ม A สอบวัดแล้วได้ y1 และกลุ่ม B สอบวัดได้ y2 แต่จัดการเรียนการสอน x เฉพาะกลุ่ม A แล้ววัดผลสัมฤทธิ์ ได้ เท่ากับ y3 ส่วนกลุ่ม B ได้เท่า y4 A y1 x y3 B y2 y4 คำถาม จะสรุปได้ไหมว่า การสอน ด้วย x ทำให้ y สูงกว่ากลุ่มที่ไม่ได้สอน ? นำค่า y3 -y1 = a เมื่อทดสอบเปรียบเทียบ พบว่า a มากกว่า b นำค่าy4 - y2 = b

การออกแบบการทดลอง รูปแบบที่ 7 เป็นการทดลองแบบที่ 3 รวมกันกับแบบที่ 6 ทำให้เกิด 4 กลุ่มเปรียบเทียบกันเพื่อพิสูจน์ผลของ treatment ทั้งที่มีกลุ่มควบคุมและมีการวัดก่อน A y1 x y3 B y2 y4 C x y5 D y6

Model ของการวิจัยเชิงทดลอง • การทดลองแบบกึ่งการทดลองในกลุ่มเดียว One short group design • การทดลองในกลุ่มเดียวแบบมีการวัดก่อน Only one group with Pre-test Post-test design • การทดลองแบบมีกลุ่มควบคุม With control group design • การทดลองจริง With control group and Pre-test Post-test design • การทดลองจริงแบบ 4 กลุ่ม Solomon design

แบบฝึกหัด ให้ออกแบบการวิจัยชั้นเรียน โดย 1.1 ระบุปัญหาของชั้นเรียน 1.2 แนวคิดทฤษฎีในการแก้ปัญหา และระบุวิธีการแก้ปัญหา 1.3 ออกแบบการพิสูจน์ผลการแก้ปัญหา 1.4 ออกแบบการวัดและประเมินผล ในลักษณะของข้อสอบ

แนวคิดของนักประเมิน • การประเมินการศึกษา หมายถึงการประเมินผลสัมฤทธิ์ของการจัดการศึกษา โดยมุ่งวัดพัฒนาการของผู้เรียน และศึกษาลักษณะของผู้เรียนที่เกี่ยวข้องกับการปรับปรุงการเรียนการสอน • การประเมินทางการศึกษาหมายถึงการประเมินในการศึกษาซึ่งเป็นกระบวนการของการบริหารจัดการสิ่งต่าง ๆ ในฐานะเครื่องมือของผู้บริหาร เพื่อใช้เป็นข้อมูลในการพัฒนานโยบายหรือปรับปรุงแผน

ขั้นตอนของการประเมินการศึกษาขั้นตอนของการประเมินการศึกษา • ทำความเข้าใจกับคุณสมบัติที่คาดหวังจากการศึกษา • กำหนดวิธีวัดผล โดยมีระบุตัวบ่งชี้ของคุณลักษณะที่คาดหวัง วิธีการสังเกต (การวัด) เงื่อนไขของการวัด • จัดทำแบบสอบวัด โดยกำหนดขอบเขตของเนื้อหา กำหนดลักษณะของข้อสอบ และสร้างข้อคำถาม • พัฒนาคุณภาพของข้อสอบ โดยการ try out แล้วหา validity reliability ความยากง่าย อำนาจจำแนก • กำหนดเกณฑ์ในการประเมินผล • ประเมินผลและใช้ผลการประเมินเพื่อการศึกษา

ขั้นตอนการประเมินทางการศึกษาขั้นตอนการประเมินทางการศึกษา • พิจารณาเป้าหมายหรือจุดมุ่งหมายของงาน หรือแผนงาน เพื่อเป็นบริบทของการประเมิน • กำหนดประเด็น ขอบเขตหรือวัตถุประสงค์ของการประเมิน รวมทั้ง model ในการประเมิน • กำหนดตัวบ่งชี้ในการประเมิน และเกณฑ์ในการประเมิน • สร้างและพัฒนาเครื่องมือเก็บข้อมูล • เก็บรวบรวมข้อมูลและวิเคราะห์ผล • สรุปและอภิปรายผลเพื่อปรับปรุงงาน

จุดมุ่งหมายของการศึกษาจุดมุ่งหมายของการศึกษา Social Visionsหรือวิสัยทัศน์ : เป็นสังคมแห่งการเรียนรู้ ทันสมัย เศรษฐกิจดี Over all Goal หรือเป้าหมาย : คนไทยคิดเป็น ทำเป็น แก้ปัญหาเป็น Educational Goal หรือเป้าประสงค์ : สามารถแสวงหา และเข้าถึง ความรู้ได้ ด้วยเทคโนโลยี Curriculum purposeหรือจุดมุ่งหมาย : สามารถใช้และออกแบบฐานข้อมูลได้ Learning Objectiveหรือวัตถุประสงค์ : ใช้โปรแกรม exell ได้

รูปแบบของการประเมินโครงการรูปแบบของการประเมินโครงการ Evaluation Model • Goal-based Evaluation ประเมินตามวัตถุประสงค์ของโครงการ • Goal free Evaluation ประเมินโดยศึกษาผลที่เกิดขึ้นนอกเหนือวัตถุประสงค์ • Formative Evaluation ประเมินในระหว่างดำเนินโครงการเพื่อหาแนวทางการปรับปรุงการดำเนินงาน • Summative Evaluation ประเมินผลสำเร็จของโครงการเมื่อเสร็จสิ้นโครงการแล้ว

รูปแบบของการประเมินโครงการรูปแบบของการประเมินโครงการ Evaluation Model 5. Focus point evaluation ประเมินเฉพาะส่วนที่สนใจ เช่น ประเมินปัจจัยนำเข้า ประเมินกระบวนการ ประเมินผลผลิต ประเมินผลลัพธ์ หรือประเมินผลกระทบ 6. CIPP Model ประเมินองค์รวม ใช้ในแผนงานโครงการขนาดใหญ่ โดยศึกษาไปพร้อมกันหรือต่อเนื่องกันกับการดำเนินงาน ทั้งการ ประเมินบริบท (Context) ประเมินปัจจัยนำเข้า (Input) ประเมินกระบวนการ (Process) ประเมินผลผลิต(Product)

รูปแบบของการประเมินโครงการรูปแบบของการประเมินโครงการ Evaluation Model 7. Assessment ประเมินในแง่คุณภาพของการจัดการ หรือการประเมินโดยไม่ให้คุณค่า ของสิ่งที่ศึกษา อาจเป็นได้ทางการประเมินตนเองและการประเมินจากบุคคลอื่น โดยมุ่งศึกษาข้อมูลเหตุการณ์ 8. Appraisal ประเมินผลงาน ใช้ในการประเมินผลงานของบุคคลหรือองค์กร มักใช้ในการบรรจุ แต่งตั้ง หรือพิจารณาความดีความชอบ/ค่าจ้าง 9. Review ประเมินแบบการประมวลภาพรวม ๆ เป็นรายงานความก้าวหน้าของงาน

รูปแบบของการประเมินโครงการรูปแบบของการประเมินโครงการ Evaluation Model 10. Feasibility Study การประเมินความเป็นไปได้ เพื่อศึกษาบริบท หรือหาข้อมูลในการตั้งสินใจเริ่มโครงการ 11. Need Assessment การประเมินความจำเป็นของโครงการ หรือศึกษาความต้องการ ของผู้มีเกี่ยวข้องว่าสมควรจะทำโครงการนี้หรือไม่ 12. Internal Evaluation การประเมินภายใน เป็นการประเมินงานโดย ผู้ดำเนินงานเอง หรือเกี่ยวข้อง มีส่วนได้ส่วนเสียกับงาน (stakeholder) 13. External Evaluation การประเมินภายนอก เป็นการประเมินโดยบุคคลที่ไม่เกี่ยวข้องกับเรื่องนั้น เพื่อขจัดอคติ

การติดตามและการประเมินMonitoring and Evaluation การประเมินจะมาพร้อมกับ การติดตามงาน เพื่อให้รับทราบผลหรือความก้าวหน้าในการดำเนินงานต่าง ๆ โดยหลักของการติดตามได้แก่ • Monitoring คือการติดตามผลการดำเนินงาน ตามแผนงาน/โครงการ หรือนโยบาย โดยเป็นภารกิจของผู้บริหารที่จะรับทราบผลที่เกิดขึ้นในส่วนต่าง ๆ ของงาน • Follow up คือการตามงาน ที่มอบหมายหรือกระจายความรับผิดชอบออกไปเป็นส่วน ๆ

การติดตามและการประเมินMonitoring and Evaluation การประเมินจะมาพร้อมกับ การติดตามงาน เพื่อให้รับทราบผลหรือความก้าวหน้าในการดำเนินงานต่าง ๆ โดยหลักของการติดตามได้แก่ 3. Report คือรูปแบบหนึ่งของติดตามโดยการรายงานความก้าวหน้าจากส่วนงานต่าง ๆ 4. Review คือการรวบรวมข้อมูลบริบทของงาน เพื่อประมวลเป็นภาพความก้าวหน้าของงานในรูปแบบหนึ่งของการติดตาม 5. Inspection คือการตรวจสอบ (ตรวจราชการ) เพื่อติดตามงานว่าถูกต้องกับแผนงานที่วางไว้หรือไม่

General Concept ของการประเมิน ประเมิน ผลกระทบ impact การประเมินความ เป็นไปได้ของแผนงาน Feasibility study Formative evaluation Summative evaluation ประเมิน input ประเมิน Process หรือการดำเนินงาน ประเมิน Output ประเมิน Outcome Monitoring คือการติดตามงาน Evaluation คือการประเมินผล Research เป็นวิธีการ/method

เครื่องมือและเทคนิคในการจัดการและประเมินโครงการเครื่องมือและเทคนิคในการจัดการและประเมินโครงการ • KPI หรือ Key Performance Indicators • Balance Scorecard • Benchmarking • PERT หรือ Project Evaluation Review Technique • CPM หรือ Critical Project Management • Log Frame หรือ Logical Framework

REFERENCES Alexander Hamilton Institute, (1991). Performance appraisal: The latest legal nightmare. Maywood, NJ: Modern Business Kirkpatrick, Donald L., (1982). How to improve performance through appraisal and coaching. New York: Amacom. Schellhardt, Timothy D., (1997, January 19- January 25). Everybody hates performance reviews. National Business Employment Weekly, 43-44.

เกณฑ์การให้คะแนน • การตอบตรงประเด็นคำถาม 1 คะแนน • ความถูกต้องของคำตอบ 1 คะแนน • ความครบถ้วนของคำตอบ 1 คะแนน • ความครอบคลุมประเด็นถาม 1 คะแนน • มีการวิเคราะห์ความเห็นอื่นเพิ่มเติม หรือแสดงการนำไปใช้ประโยชน์ 1 คะแนน • รวม ข้อละ 5 คะแนน • รวมทั้งสิ้น 20 คะแนน

การสัมมนาการประเมินคุณภาพสถานศึกษาการสัมมนาการประเมินคุณภาพสถานศึกษา • การประเมินตนเองหรือ SAR(Self Assessment Report) • การประเมินจากภายนอก (External Evaluation) โดยการประเมินของ สมศ.

สำนักงานประเมินและรับรองคุณภาพสถานศึกษาสำนักงานประเมินและรับรองคุณภาพสถานศึกษา • เป็นกฏหมายกำหนดให้ทุกสถานศึกษาต้องผ่านการประเมิน • กำหนดมาตรฐาน ด้านการบริหาร ด้านครู ด้านนักเรียน • มี 24 มาตรฐาน 54 ตัวชี้วัด • ฝึกอบรมนักประเมินภายนอกจากบริษัทเอกชน • ให้สัมปทานการประเมินสถานศึกษาแก่บริษัทประเมิน • รร.ไม่สามารถใช้ผลการประเมิน

Experimental Design