330 likes | 564 Views
بسم الله الرحمن الرحيم. مقدم اساتيد محترم طراح ” آزمونهاي باليني ساختاردارعيني وساير آزمون هاي باليني نوين پيشترفت تحصيلي“ را گرامي مي داريم. ٍ دكتر مكارم مدير EDC دانشكاه. Teach to and Test Desired Endpoints:.
E N D
بسم الله الرحمن الرحيم مقدم اساتيد محترم طراح ” آزمونهاي باليني ساختاردارعيني وساير آزمون هاي باليني نوين پيشترفت تحصيلي“ را گرامي مي داريم. ٍدكتر مكارم مدير EDC دانشكاه
Teach to and Test Desired Endpoints: What is the First Principle of Education? Educational Outcomes
Based on Postgraduate Medical Education and Training Board (PMETB)requirements for assessment programs are: - هدف از برنامه سنجش مشخص شود. - محتواي منطقي داشته باشد. - روشهائي با خصوصيات ومبتني برمواردزير داشته باشد. Validity Reliability Feasibility - روشهاي استاندارد سازي آن راحت و شفاف باشد.
Test characteristics: Educational impact Relationship between assessment and learning Curriculum Assessment Teacher Student
Characteristics of assessment instruments Utility = Validity Reliability Educational impact Acceptability Feasibility
Measurement properties Educational impact Feasibility Reliability Validity Acceptability Validity is the hallmark of OSCE (Stillman, et al, Newbel, et al). Van der Vleuten, C. The assessment of professional competence: developments,research and practical implications Advances in Health Science Education 1996, Vol 1: 41-67
Validity • Validity: does the test measure what it is supposed to? Portney LG, Watkins MP. Foundations of Clinical Research: Applications to Practice. 2nd ed. Upper Saddle River, NJ: Prentice-Hall; 2000:86-89.
Content validity Does the test “covers” the content domain? Is there something missing? Portney LG, Watkins MP. Foundations of Clinical Research: Applications to Practice. 2nd ed. Upper Saddle River, NJ: Prentice-Hall; 2000:86-89.
Content validity • آيا محتوي مورد آزمون نمونه (Sample) كل محتواي درس است؟ • مشت نمونه خروار است؟ يا نه
Construct validity The ability of a test to measure a construct or abstract concept Knowngroupsmethod Statistical difference of the performance of two groups in the same test Portney LG, Watkins MP. Foundations of Clinical Research: Applications to Practice. 2nd ed. Upper Saddle River, NJ: Prentice-Hall; 2000:86-89.
راهنمائي جهت بالا بردن روائي OSCE 1- مشكلات ارائه شده توسط بيمار يا بيمار نما مهم و مرتبط با برنامه آموزشي باشد. 2- ايستگاه هاي مورد ارزيابي قبلا آموزش داده شده باشند. 3- بررسي و مرور ايستگاه ها توسط متخصصين 4- تعداد مناسب ايستگاه ها (كمتر از 10 ايستگاه نباشد)
Reliability Reliability:does the test measure consistently between people and over time? Portney LG, Watkins MP. Foundations of Clinical Research: Applications to Practice. 2nd ed. Upper Saddle River, NJ: Prentice-Hall; 2000:86-89.
Reliability • آيا آين آزمون(Test) در زمان هاي مختلف بدون تغيير و با نتيجه مشابه يادگيري را اندازه گيري مي نمايد؟
عواملي كه سبب كاهش پايائي OSCE مي شوند 1- كم بودن تعداد و يا زمان ايستگاه ها 2- چك ليست ها يا آيتم هائي كه افتراق كمي دارند 3- بيماران غير قابل اعتماد يا بيماراني كه براي همه آزمون شوندگان بطور يكسان نقش ايفا نكنند. 4- عدم يكنواختي نظر ممتحنين نسبت به پاسخ و عيني نبودن ملاك نمره دهي
What is Clinical Competency? “Integration of knowledge, skills and attitudes.” Reference Van der Vleuten, C. The assessment of professional competence: developments,research and practical implications Advances in Health Science Education 1996, Vol 1: 41-67 نگرش مهارت دانش عملی Rice et al., Competency-based objectives for clinical training. Can. J. Med. Technol. 57:136, 1995
Test characteristics Feasibility cost human resource physical resources
Test characteristics Acceptability tolerable effort reasonable cost Acceptability doctors licensing bodies employers patients/consumer groups students faculty
ارزشيابي صلاحيت باليني دانشجويان با: OSCE (Objective Structured Clinical Examination)
OSCE Objective Structured Clinical Examination آزمون، باليني ،ساختارمند عيني
OSCEs-Objective • همه داوطلبين با يك مقياس مورد سنجش قرار مي گيرند.
OSCEs - Structured • تدابير و برنامه هر ايستگاه نظام دار استstructured • مهارت هاي ويژه اي كه در هر ايستگاه مورد آزمون قرار مي گيرند شامل موارد زير است: History taking Interpersonal communication Clinical examination Procedures
OSCE–ClinicalExamination • آزمون صلاحيت مهارت هاي باليني دستيار نه آزمودن شناختي محض (دانش ذهني و نظري او) • داوطلبين بايد مهارت هاي باليني خود را به نمايش بگذارند.
ACGME (Accreditation Council of Graduate Medical Education) • شوراي اعتبار بخشي فارغ التحصيلان تعليم و تربيت پزشكي • يك سازمان خصوصي اعتبار بخشي براي برنامه هاي تعليم و تربيت دستياران تخصصي در آمريكا است.
What is Clinical Competence? “Integration of knowledge, skills & attitudes.” Rice et al., Competency-based objectives for clinical training. Can. J. Med. Technol. 57:136, 1995
ACGME (Accreditation Council of Graduate Medical Education)` General Competencies Medical knowledge Patient care Interpersonal and communication skills Professionalism Practice-based learning and improvement Systems-based practice
What is Clinical Competence? “The habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individual and community being served.” Epstein and Hundert, Designing and assessing professional competence. JAMA 287:226, 2002
ACGME Toolbox OSCE is listed as the most desirable for patient care interpersonal and communication skills professionalism next best method for practice-based learning and improvement systems-based practice The toolbox suggests written and oral exams as the most desirable for assessing medical knowledge.
What is Clinical Competence? “Competence . . . means being able to function in context.” Chambers and Gerrow, Manual for Developing and Formatting Competency Statements. J. Dental Educ. 58:361, 1994.
Model of competence Behaviour~ skills/attitudes Does Knowshow Cognition~ knowledge Knows Showshow Professional authenticity Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S67.
Validity of testing formats Does Knowshow Knows Showshow Professional practice assessment Performance assessment: OSCEs, long/short cases, OSLERs, etc Problem-solving assessment: EMQs, SEQs Knowledge assessment: MCQs
نمونه اي از blueprint (پيش نويسOSCE ( رشته چشم ، گوش و گلو،اورولوژي
7 نكته در طراحي ايستگاه هاي OSCE 1- نوشتن و نصب دستورات واضح براي داوطلبان بر روي در ورودي هر ايستگاه (آنچه را كه دستيار بايد انجام دهد) 2- نوشتن دستورات و توضيحات واضح براي آزمون گيرندگان در مورد هر ايستگاه 3- تهيه فهرست از تجهيزاتي كه براي هر ايستگاه لازم است. 4- تعيين نياز به بيمار يا بيمار نما براي ايستگاه(اگر+ ،سن،جنس و...) 5- تهيه سناريو براي بيمار نما در صورتي كه قرار است نقشي را ايفا نمايد. 6- تنظيم برنامه هر ايستگاه: شامل تمام جوانب مهم مهارتي مورد آزمون 7- تعيين مدت زمان هرايستگاه