Arbejdsgruppen vedr. Evaluering og Kompetencevurdering i Specialægeuddannelsen

1. Arbejdsgruppen vedr.Evaluering og KompetencevurderingiSpecialægeuddannelsen Jette Led Sørensen & Kári Mikines, maj 2011

2. Arbejdsgruppens sammensætning • Kontorchef Birte Obel (Formand) • Almen praktiserende læge Roar Maagaard (LVS) • Overlæge Linda Hilsted (LVS) • Mogens Stubkjær Hüttel (Lægeforeningen) • Jesper Hessenbjerg Isaksen (Lægeforeningen) • Læge Mads Skipper (Lægeforeningen) • Overlæge Jette Led Sørensen (Region Øst) • Overlæge Hans Ole Holdgaard (Region Nord) • Læge Thomas Christophersen (Region Syd) • Overlæge Bente Malling (Universiteterne) • Overlæge Kári Mikines (Danske Regioner) • Overlæge Anne Grethe Mølbak (Danske Regioner) • Læge Henning Beck (Sundhedsstyrelsen) • Fuldmægtig Maria Herlev Ahrenfeldt (Sundhedsstyrelsen) Jette Led Sørensen & Kári Mikines, maj 2011

3. Kommissorium for arbejdsgruppen vedr. status og • perspektivering af speciallægeuddannelsen om • evaluering og kompetencemåling • Arbejdsgruppen er nedsat for at bidrage med faglig viden og analyse inden for emnet ”Evaluering og kompetencemåling i speciallægeuddannelsen”: • Følgende skal afklares: • Status - hvilke tiltag anbefalede kommissionen, hvordan er tiltagene blevet implementeret og er målene med tiltagene blevet opnået? • 2. Belyse problemstillinger vedrørende evaluering og kompetencemåling set i lyset af udviklingen i sundhedsvæsenet? Jette Led Sørensen & Kári Mikines, maj 2011

4. Evaluering og kompetencemåling i speciallægeuddannelsen • Evaluering: • Inspektorrapporter • Data fra evaluer.dk • Evt. enquete fra Lægeforeningen / Yngre læger • Kompetencemåling → Kompetencevurdering Kompetencevurdering Undergruppe: Bente Malling, Linda Hilsted, Kári Mikines, Jette Led Sørensen Jette Led Sørensen & Kári Mikines, maj 2011

5. Kompetencevurdering • I undergruppen valgte vi at tage udgangspunkt i 3 områder • De 7 lægeroller og om behov for revision ’modernisering’, herunder hvordan vi kan fokusere bedre på de diagnostiske fag • Om at strukturere og formulere målbeskrivelser • Om metoder til kompetencevurdering Jette Led Sørensen & Kári Mikines, maj 2011

6. De 7 lægeroller og om behov for revision ’modernisering’, herunder hvordan vi kan fokusere bedre på de diagnostiske fag Jette Led Sørensen & Kári Mikines, maj 2011

7. 3) Om metoder til kompetencevurdering SST-undergr vurderingen: - behov for systematisk på dansk beskrive hvilke metoder til kompetencevurdering, der er velbeskrevne og vurderes anvendelige. Med fordel samme systematik som f.eks ’The Good Assessment Guide’ ……. Arbejde i at samle metoder til kompetencevurdering er meget omfattende. Kan ikke udføres af arbejdsgruppen indenfor den forventede tidsramme. Kan anføre hvilke metoder til kompetencevurdering, der burde beskrives på dansk og måske udføre enkelte eksempler. Jette Led Sørensen & Kári Mikines, maj 2011

8. Kompetencevurdering: • Samme skabelon, som den der er anvendt i • ”The good assessment guide” • Overskrifter: • Description • Application • Advantages • Disadvantages • Effect • How to do it • Example • References Definition og kort beskrivelse Hvor kan metoden til kompetencevurdering anvendes Fordele Ulemper Hvad findes om validitet, reliabilitet og gennemførlighed ‘How to do it’ Eksempler Litteratur Jette Led Sørensen & Kári Mikines, maj 2011

9. Mini CEX Definition og beskrivelse: MiniCEX er et instrument til vurdering af kliniske kompetencer indenfor Anamnese Objektiv undersøgelse Empati og professionel adfærd Klinisk dømmekraft og vurdering Patient vejledning og rådgivning Organisation og Samarbejde Generel klinisk kompetence Vejlederen observerer den uddannelsessøgende (DUS) i den kliniske situation (Ambulatorium, Stuegang, Akut Modtage Afsnit, Journalskrivningsstituation, Behandlingsrum eller andet). Vejlederen udfylder et skema (se eksempel), og tager stilling til fokus og kompleksitetsgrad. Der bør være givet fokusområder (fx objektive undersøgelse/klinisk dømmekraft) i forbindelse med den enkelte vurdering, og disse skal være på DUSs kompetenceniveau. Vejlederen giver efterfølgende DUS feed-back på situationen. Denne feedback bør indeholde at DUS selv giver en vurdering af den kliniske situation, og at DUS fremkommer med en plan for hvorledes DUS kan forbedre sig – eventuelt hjulpet af anbefalinger fra observatøren. Jette Led Sørensen & Kári Mikines, maj 2011

10. Hvor kan det bruges: I stort set alle kliniske situationer med patientkontakt. Fordele: Det kan let passes ind i klinikken, da det kun behøver tage observatøren den tid som ”konsultationen” varer + ca. 10 min. til feedback. Det kan dreje sig om 5- 30 minutter afhængig af formålet med observationen. Mini-CEX kan anvendes i flere kliniske situationer, er ”arbejdspladsvurdering” og billigere end vurdering ved eksamen. Øvrige fordele er at den uddannelsessøgende kan indsamle mange miniCEX og dermed får metoden både øget validitet og reliabilitet. Ulemper: Kan ikke anvendes fx i laboratoriefagene. Der er altid en risiko for bias ved direkte observation – både i forhold til bedømmeren og DUS. Bedømmeren kan synes at en klinisk situation er kompleks og derved give en højere ’karakter’ til DUS. Der findes både ”strenge” og ”blide” bedømmere, men dette vil udlignes hvis DUS har 10 eller flere miniCEX. Jette Led Sørensen & Kári Mikines, maj 2011

11. Hvad findes om validitet, reliabilitet og gennemførlighed MiniCEX er den kompetencevurderingsform som har den bedste evidens for validitet (1), inclusive ”construct validity” (2). Den har været afprøvet i en dansk setting (3), med gode resultater. Både DUS og vejledere synes at det er en god form for kompetencevurdering. How to do: Definer hvilke kliniske kompetencer der skal vurderes. Definer den kliniske situation Definer hvilke mål der er på DUSs kompetenceniveau Giv feed back Litteratur 1. Kogan, J. R., Holmboe, E. S., and Hauer, K. E.: Tools for direct observation and assessment of clinical skills of medical trainees: a systematic review. JAMA, 302: 1316, 2009. 2. Holmboe, E. S., Huot, S., Chung, J., Norcini, J., and Hawkins, R. E.: Construct validity of the miniclinical evaluation exercise (miniCEX). Acad Med, 78: 826, 2003. 3. Eriksen, J. G., Simonsen, D., Bastholt, L., Aspegren, K., Vinther, C., Kruse, K. et al.: [Mini clinical evaluation exercise as evaluation tool of communicative and cooperative skills in the outpatient clinic]. Ugeskr Laeger, 171: 1003, 2009. Jette Led Sørensen & Kári Mikines, maj 2011

12. Arbejdsgruppens arbejde i øvrigt • SST har lavet oplæg om evaluering af uddannelsesstedet • Der er indhentet oplysninger fra regionerne om hvorledes evaluer.dk og inspektorrapporter bruges af hospitalsledelserne og regionen • Der er lavet spørgsmål til den uddannelsesenquete som Lægeforeningen sender ud til alle læger Jette Led Sørensen & Kári Mikines, maj 2011

13. Metoder til kompetencevurdering primært udvalgt i PKL undergruppen: • Mini-cex • 360 grader • Audit på journaler • Refleksion over cases • Struktureret observation/tjekliste • Kompetencevurdering af kommunikative færdigheder • Kompetencevurdering af kirurgiske færdigheder • Portefolio assessment Jette Led Sørensen & Kári Mikines, maj 2011