Klinik Ortamlarda Ölçme-Değerlendirme Mehmet Ali GÜLPINAR MD, Ph D 29 Kasım 2008 , Ankara

1. MÜTF TEAD XIV. TUEK ’08 UYEK PANELİ, TTB-UDEK Klinik Ortamlarda Ölçme-Değerlendirme Mehmet Ali GÜLPINARMD, PhD29 Kasım 2008, Ankara

2. 2 Bir Sistem Olarak ÖD Kapsam 1 Ölçme-değerlendirme (ÖD): Tanımlar, yaklaşımlar, ilkeler 3 Uzmanlık Eğitiminde Öğrenme ve ÖD 4 Performansa ve İşe Dayalı ÖD Yöntem ve Araçları

3. Bi Y2 Bc T Y2 Birkaç tanım Yeterlik: • İlgili bilgi, beceri, tutum ve/ veya alt yeterliklerden oluşan bütün • Yeterlikler • Klinik nedenselleştirme ve karar verme • İletişim becerileri • Tıbbi görüşme • Fizik muayene becerileri • Teknik/ psikomotor beceriler • Profesyonellik • Organizasyonel, yönetimsel beceriler vs Bilgi Alt-yeterlik2 Beceri Yeterlik Alt-yeterlik1 Tutum

4. Y1 Y5 Y2 Y3 Y4 Performans • Klinikte bir işi yerine getirirken sergilediğimiz, ilgilitüm yeterliklerin bir araya gelmesiyle oluşan davranış bütünü • Kendini oluşturan yeterliklerin toplamından fazla • Bağlamsal bilgi ve beceriler gerektirir Klinik karar verme Organizasyon Planlama İletişim Performans Psikomotor beceri X Profesyonellik

5. Standartlaştırılmış, temsili (simüle) klinik ortamlarda yeterlik alanlarının ayrı ayrı değerlendirilmesi Son yıllarda yaşanan değişim Daha bütüncül yaklaşım Yeterliklerin entegrasyonuve Global derecelendirme Eğitime/ öğrenmeye etkisi: Yeterliklerinayrı ayrı ele alınması Yeterliklerinin/ becerilerin izolasyonu “Compartmentalizations of skills” Yeterlikler arası geçişlerin zorlaşması, bağlantıların, entegrasyonun yitirilmesi Yeterliklerdeki yetkinlikler performans için gerekli ama tek başına yeterli değil Yeterliğe Dayalı ÖD

6. Performansa Dayalı Öğrenme ve ÖD • Klinik ortamlarda, iş sırasındaöğrenme ve değerlendirme Merkezindeilgili yeterlikleriaçıkça tanımlanmış PERFORMANSLARvar • İşe dayalı (work-based) öğrenmeve işe dayalı ölçme-değerlendirme • Bağlamsal (contextual), yaşantısal öğrenme • Klinik bağlam ve yaşantılar

7. Yaklaşımlar, ilkeler… Öğrenim hedefleri Öğretim yöntemleri UYGUNLUK • Ölçme-değerlendirme sistemi/ programı • ÖD’yi eğitimsel perspektiften,program tasarımı bağlamında ele alma • Başka bir ÖD sistemini alıp adapte etmek yerine ÖD ile ilgili kavram ve ilkeleri temel alıp kuruma uygun ÖD sistemini geliştirme Planlama Geliştirme ÖD’nin amaç ve hedefleri İyileştirme Uygulama Değerlendirme

8. Yaklaşımlar, İlkeler • Bütüncül, dinamik ve otantik • Yeterliklerin entegrasyonu, performans • Çok-boyutlu, çok-yöntemli • “tüm resmin” farklı ölçme değerlendirme yöntem ve araçları ile çoklu değerlendirilmesi • İhmal edilebilen boyutlar: duyuşsal ve metabilişsel!!! • Gelişimsel ve bireyselleştirilmiş • Mesleki ve kişisel gelişim • Öğrenmesüreci ile ÖD sürecini mümkün olduğu kadar içi içe (embeddedness)tasarlama ve yürütme

9. Uzmanlık Eğitiminde Öğrenme ve ÖD Tek başına BİLMEK ve/veya YAPMAK üzerinden giden eğitim etkinlikleri yeterli değil DÜZEYLENDİRİLMİŞ ve YÖNLENDİRİLMİŞ KLİNİK YAŞANTILAR/ PERFORMANSLAR(Graded & Guided Clinical Experiences)+ REFLEKSİYON(Reflection on)

10. Klinik Ortamlarda ÖD • İş süreci, öğrenme süreci ve ÖD süreci iç içe (embedded) • Gelişimsel ve sürekli • Biçimlendirici değerlendirme • geribildirim verme, güçlü ve zayıf yönleri ortaya çıkarma ve performansı geliştirme VE • Karar vermeye yönelik değerlendirme • Bir üst düzeye geçme, sertifikasyon, yeniden sertifikasyon

11. Klinik Eğitimde ÖD Sistemi • Klinik ortamlarda doğrudan gözlem + geribildirim 1.Standartlaştırılmış temsili klinik ortamlarda yeterliklerin değerlendirilmesi • Klinik Temsile (Simülasyona) Dayalı Ölçme-Değerlendirme, KTÖD (Simulation-based assessment) 2. Gerçek klinik ortamlarda, iş başında performansın değerlendirilmesi • İşe Dayalı Ölçme-Değerlendirme, İDÖD (Work-based assessment) • Bilgiye yönelik ÖD (BYÖD) • özellikle olguya dayalı sınavlar

12. KTÖD ve İDÖD yöntemlerinin psikometrik niteliğini (güvenirlik ve geçerlik) artırmak için; Kapsayıcı/ yeterli örneklem Çok sayıda (6-10) farklı klinik durum/ uygulama Çoklu değerlendirici Değerlendirme formları Klinik Eğitimde ÖD Sistemi Klinik durum-1 Klinik durum-2 Klinik uygulama-1 Klinik uygulama-2 Klinik durum-3 Klinik uygulama-3 Klinik durum-4 Klinik durum-5 Klinik uygulama-4

13. Uzmanlık Eğitiminde ÖD Sistemi İŞLEYİŞİNİ/ YAPILIŞINI BİLİR YAPAR Metabilişsel bilgi ve beceriler YAPILIŞINI GÖSTERİR BİLİR MEZUNİYET SONRASI MEZUNİYET ÖNCESİ İDÖD KTÖD BYÖD Uzmanlık Eğitiminde ÖD sistemi: 1. Merkeze PDÖD/ İDÖD’yi al 2. PDÖD ile YDÖD iyi dengele 3. Bu ikisini BYÖD ile destekle Rethans et al., Medical Education, 2002, 36, 901-9; Shumway & Harden, Medical Teacher, 2003, 25(6), 569-84

14. Örnek: Cerrahi Eğitiminde ÖD Sistemi* *Intercollegiate Surgical Curriculum Programme, ISCP)

15. Objektif Yapılandırılmış Klinik Sınav (OSCE) • Standartlaştırılmış temsili klinik ortamlarda gerçekleştirilen YDÖD • Standartlaştırılmış/ simüle hasta kullanılabilir • Amaç:Karar vermeye yönelik değerlendirme • Değerlendirme alanları: • tıbbi görüşme • fizik muayene • iletişim becerileri • uygulamaya yönelik, girişimsel beceriler • klinik karar verme • tanı ve tedavi planı oluşturma vs

16. Objektif Yapılandırılmış Klinik Sınav (OSCE) Genellikle her birinde bir yeterlik alanının değerlendirildiği 5-20 dk’lık istasyonlardan (en az 3-4) oluşur. Değerlendirme formu ile gözlem+geribildirim kontrol listesi global derecelendirme

17. OSCE Değerlendirme Formu Aeder et al. Education For Health 7, 2007, http://educationforhealth.net

18. İşe Dayalı Ölçme-Değerlendirme • Mini Klinik Sınav (Mini-clinical evaluation examination, MiniCEX) • Uygulamaya yönelik, girişimsel, cerrahi becerilerin doğrudan gözlemle değerlendirilmesi (Direct Observation of Procedural Skills, DOPS) (Procedure-Based Assessment, PBA) • Olguya dayalı tartışma(Case-based discussion, CbD) • 360 derece değerlendirme,mini-akran değerlendirme aracı (Mini-peer assessment tool, MiniPAT) • Gelişim dosyası (portfolio)

19. Klinik ortamlarda yapılandırılmış gözlem formu ile doğrudangözlem (15-20 dk) + geribildirim Amaç: Biçimlendirici değerlendirme Karar vermeye yönelik değerlendirme Değerlendirilen yeterlikler: Tıbbi görüşme, Fizik muayene, İletişim, Klinik değerlendirme, Profesyonellik, Organizasyona ve yönetmeye yönelik beceriler Mini Klinik Sınav, MiniCEX

20. MiniCEX Değerlendirme Formu Intercollegiate Surgical Curriculum Programme, ISCP, http://www.iscp.ac.uk

21. Yapılandırılmış gözlem formu ile pratik, girişimsel ve cerrahi becerilerin doğrudan gözlenmesi + geribildirim iv kanulasyon, iv infüzyon EKG’nin çekilmesi ve yorumu üretral kateterizasyon NG tüp, endoskopi Kolonoskopi Entübasyon Abse drenajı Ameliyatlar vs DOPS, cerrahi DOPS, PBA Uygulamaya Yönelik, Girişimsel Becerilerin Doğrudan Gözlemle Değerlendirilmesi

22. DOPS Değerlendirme Formu Healthcare Assessment & Training, HcAT, http://www.hcat.nhs.uk/

23. Olguya Dayalı Tartışma • Yapılandırılmış olgu sunumu ve tartışması • Hasta kayıtlarının/ dokümanlarının kullanılması • Değerlendirme formları kullanılarak yıl içinde 4-6 farklı olgu üzerinden değerlendirme yapılır • Değerlendirme alanları: • Klinik nedenselleştirme, karar verme • Tıbbi bilginin klinik durumlarda kullanılması • Etik ve yasal tartışma

24. CbD Değerlendirme Formu HcAT, www.hcat.nhs.uk

25. 360 Derece Değerlendirme • 360 derece değerlendirme, mini-akran değerlendirme (MiniPAT) • Amaç: • biçimlendirici değerlendirme • karar vermeye yönelik değerlendirme • Çok sayıda kişiden değerlendirme alınır • üstler, • akranlar, • hasta ve yakınları, • kendisi vs • Ölçekler ve anketler kullanılır • Değerlendirme alanları • Profesyonellik • Kişilerarası ve iletişim becerileri • Yönetim becerileri • Hasta yönetimi • Kendi kendini yönetim • Ekip çalışması vs

26. Mini-Akran Değerlendirme (MiniPAT) Formu Intercollegiate Surgical Curriculum Programme, ISCP, http://www.iscp.ac.uk

27. Asistan Gelişim Dosyası (Portfolio) • Öğrenme ve ölçme değerlendirme yöntemi • Öğrenme ve gelişim sürecini öğrenciyle birlikte planlama, izleme, değerlendirme ve revize etme • Bireyselleştirilmiş/ farklılaştırılmış eğitim • Belirlenmiş hedefler doğrultusunda öğrencilerin, • yaptıkları işleri ve • bu işlerle ilgili refleksiyonları amaçlı olarak bir araya getirmesi • bireysel, • akran ve • eğitici refleksiyonları • Düzenli aralıklarla (3-6 ayda bir) asistan ile eğitim danışmanının buluşması

28. Asistan Gelişim Dosyası • ÖD yöntemi olarak amaç: • Biçimlendirici değerlendirme ve bireysel gelişim • Güçlü ve zayıf yönlerini ortaya çıkarma • Bireysel gelişimini takip • Karar vermeye yönelik değerlendirme • yeniden sertifikasyon, • bir üst düzeye geçiş • Performans standartları ve değerlendirme ölçütlerinin açıkça belirlenmiş olması önemli

29. Uzmanlık eğitiminde Eğitim programını yeterlik alanları tanımlanmış klinik performanslar + refleksiyonlar üzerinden tasarlama ve uygulama Geliştirilen ÖD sisteminde yeterli/ kapsayıcı örneklem çok sayıda değerlendirici çokludeğerlendirme İDÖD’yi merkeze alma ve bunu YDÖD ile dengeleme ÖD yöntem ve araçlarını ayrı ayrı ele almak yerine seçilen bu yöntemlerin bütün içindeki yerine, uygunluğuna, birbirini tamamlamalarına odaklanma Bitirirken…

30. MÜTF Sunum ile ilgili değerlendirmeleriniz, önerileriniz ve sorularınız için: mgulpinar@marmara.edu.tr Teşekkür ederim...