Dr. Alberto Alves de Lima

1. Evaluación de las competencias clinicas El caso del Mini-CEX Dr. Alberto Alves de Lima

2. Expertise Unidades únicas elaboradas y bien organizadas de conocimiento, que afloran habitualmente gatilladas por patrones clínicos característicos Implican la habilidad practica de manejo de problemas ambiguos y mal estructurados, balancear explicaciones que compiten, evita cierres prematuros, identificar excepciones a las reglas y principios e inclusive elegir bajo presión diferentes cursos de acción que son aceptables pero imperfectos Ronald Epstein (2007)

3. Vision tradicional Experiencia lleva a ser experto Las personas alcanzan un nivel limitado estable de desempeño luego de una experiencia considerable Hay una predeterminacion genetica que limita el nivel de desempeño que puede alcanzar el individuo Vision moderna Los niveles de entrenamiento y de experiencia estan vinculados debilmente medidas objetivas de desempeño Individuos altamente experimentados pueden continuar mejorando a traves del entrenamiento Individuos motivados pueden mejorar las habilidades adquiridas a un nivel mucho mayor Desarrollo de la expertise Ericsson KA. Acad Med. 2004

4. Desempeño experto vs. Habilidades del dia a dia Ericsson KA. Deliberate Practice and the Acquisition and Maintenance of Expert Performance in Medicine and Related Domains. Acad Med. 2004

5. Desempeño profesional El grado en que un individuo puede utilizar el conocimiento, habilidades, el criterio asociado a su profesión para llevar adelante eficientemente los problemas relacionados con su práctica. (Michael Kane, 1992) Especificidad de contenido Multidimensionalidad Kane M. Evaluation and the Health professions 1992;15:163

6. Multidimensionalidad

7. Especificidad de contenido El ser competente frente a un caso / contexto no significa que lo sea frente a otro / contexto Estudiantes Van der Vleuten 16 hs Estudiantes Kreiter 8 = 0.65 Médicos Carline 10 – 17 observaciones Médicos Alves de Lima 10 - 50 observaciones Van der Vleuten et al. Teach and Learn 1990;2Kreiter Cet al. Acad Medicina 1998, Carline et al. Eval health professions 1989;12:409. Alves de Lima et al. MT 2005

8. Claves para el desarrollo de un desempeño competente • Trabajar con objetivos y tareas concretas • Tener feedback • Repeticion • Auto-refleccion • Motivacion • Resistencia Ericsson KA et al. Psych Rev.1993. 100(3):363-406.

9. Aprendizaje Implica el procesamiento de información. Las nuevas cosas que aprendemos son influenciadas por nuestro conocimiento previo asi la nueva información que procesamos esta en relación con la existente Se trata de un proceso activo, de construcción, autodirigido en el cual el estudiante construye representaciones propias de conocimiento que forma la interpretación personal de la experiencia de aprendizaje Estas representaciones cambian constantemente en función del significado que el individuo le da a su experiencia Duffy & Jonassen (1992)

10. El lente por donde se mire HACE ACCIÓN DESEMPEÑO MUESTRA COMO RAZONAMIENTO SABE CÓMO CONOCIMIENTO SABE Miller J. Acad Med, 1990

11. Evaluación en servicio Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

12. Problemas • Calidad de la evaluación • Problemas de exactitud • Acuerdo intra e interevaluador • Tiempo del hecho a la evaluación • Contexto • Información fragmentada • Muestra pequeña y no sistematizada de observaciones • Contacto personal limitado Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

13. Exactitud 203 profesores de medicina interna Observaron 1 residentes (VIDEO) Randomizado Formulario abierto Formulario cerrado Evaluaron el 30 % de las debilidades y fortalezas. Las fortalezas fueron mas omitidas que las debilidades Evaluaron el 60 % de las debilidades y fortalezas. Las fortalezas fueron mas omitidas que las debilidades Noel GL: Annals of Internal Medicine 1991;114:393

14. Acuerdo intra e inter evaluadores Intra evaluadores: - Atención - Perspectiva - Estandares - Humor Inter evaluadores: - Diferente valor a diferentes aspectos Expertos vs NO expertos - Diferentes expectativas de cuál es el nivel aceptable de competencia - Indulgentes y exigentes Correlaciones NO uniformes Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43 Kalet A, Earp JA. Journal of General Internal Medicine 1992;7:499 Weekly JA, Gier JA. Academic of Management Journal 1989;32:213

15. La Nación. 24.03.12

16. Tiempo del hecho a la evaluación Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5

17. Problemas • Calidad de la evaluación • Problemas de exactitud • Acuerdo intra e inter evaluador • Tiempo del hecho a la evaluación • Contexto • Información fragmentada • Organizacion de datos Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

18. Información fragmentada • Muestra pequeña y no sistematizada • de observaciones Frecuencia de las observaciones Contacto personal limitado

19. Devolución Dar información a un estudiante o residente describiendo su desempeño en una situación observada Alves de Lima. Medicina (Bs2008 Aires), 2008 Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5

20. Devolución Apreciación del hecho vs patrón (Pautado vs realizado) Observación directa de un evento Recomendación para mejorar Recomendación (90%) Plan de acción 10% Reacción 10% Autoreflexión 10% Alves de Lima. Medicina (Bs Aires), 2008 Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5

21. Datos generales 55 herramientas descriptas 21 (38%) solo con estudiantes 32 (58%) solo con residentes 2 (4%) ambos (Mini-CEX) 58% caracter formativo 13 % caracter sumativo 13 % ambos Kogan J. et al. Tools for Direct Observation. JAMA 2009;302(12):1316-1326

22. Ejerciciode Examen Clínico Reducido Mini Clinical Evaluation eXercise Alves de Lima. REV ARGENT CARDIOL2002; 70: 478-488.

23. Mini-CEX: consignas Habilidades para la Conducción de la Entrevista Médica: Facilita que el paciente explique lo que le pasa, usa eficazmente las preguntas y da instrucciones precisas y adecuadas para obtener la información necesaria; responde apropiadamente a las señales afectivas, verbales y no verbales. Habilidades para la Conducción del Examen Físico: Sigue una secuencia eficiente, equilibrio entre los pasos de detección / diagnóstico del problema; información al paciente; sensibilidad al bienestar y pudor del paciente. Cualidades Humanísticas / profesionalismo: Muestra respeto, compasión, empatía; genera confianza; atiende las necesidades del paciente en cuanto a bienestar, pudor, confidencialidad e información.

24. Mini-CEX: consignas Criterio Clínico: Ordena, selecciona los estudios diagnóstico en forma apropiada, considera los riesgos, beneficios. Habilidades para el Asesoramiento del Paciente: Explica los fundamentos del estudio / tratamiento, obtiene el consentimiento del paciente; instruye / aconseja con respecto a la conducta a seguir. Organización / eficiencia: Prioriza; es oportuno; sucinto. Competencia Clínica Global: Demuestra criterio, síntesis, atención y cuidado, eficacia y eficiencia.

25. Mini-CEX Número de encuentros Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

26. Mini-CEX Complejidad de los pacientes Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

27. Mini-CEX Foco de encuentro Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

28. Mini-CEX Problemas Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

29. Mini-CEX Ámbito Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

30. Mini-CEX Grado de Competencia Global Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

31. 95 % IC Competencia Clinica Global Año de residencia Mini-CEX Validez Alves de Lima. Medical Teacher, 2007 Alves de Lima. Medical Teacher, 2007

32. Mini-CEX Validez Alves de Lima. Medical Teacher, 2007; 29: 785–790

33. CONFIABILIDAD • Reproducibilidad • Analiza la situación en que dos scores • obtenidos ya sea: • 2 ocasiones (test-retest) • 2 formatos equivalentes (alternate forms) • 2 observadores diferentes (inter-rater) Consistencia Interna El grado en que los ítems están midiendo cosas similares Un concepto o constructo

34. Teoría de la Generalización G(eneralizability)-study: Estima las fuentes de varianza que influencian la medición (e.j., varianza entre estudiantes, observadores, casos ) D(ecision)-study: Estima los indices de reproducibilidad en funcion de una muestra concreta (e.j., número de ejercicos, observaciones)

35. Fuentes de varianza o error (G) Vr Diferencia en desempeño: Varianza verdadera Vo Exigente o indulgente Vc Dificultad del caso o procedimiento Vro Prejuicio Vrc Aptitud (Especificidad de contenido / contexto) Voc Exigencia relacionada al caso. S/N experto Vroc Error residual Alves de Lima et al. Advances in Health Science Education, 2011

36. Mini-CEX Reproducibilidad Alves de Lima. Medical Teacher, 2007; 29: 785–790

37. Alves de Lima et al. Advances in Health Science Education, 2011

38. G (Generalizability)-study 18 % Alves de Lima et al. Advances in Health Science Education, 2011

39. D (Decision)-study 0,75 = 0,483 0,0,159/21 + 0,121/3 + 0,583/63 + 0,0072 + 0,04 0,0008 = 0,483 + + Alves de Lima et al. Advances in Health Science Education, 2011

40. D(ecision)-study Full nested C-R/observador 10 encuentros 1 observador > 15 encuentros 1 observador 4 encuentros 7 encuentros 2 observadores 2 observadores 3 encuentros 4 encuentros 3 observadores 3 observadores Alves de Lima et al. Advances in Health Science Education, 2011