Réforme – Innovations - Changements Occasions d’apprentissages Système – Actuel – Proposé

1. Réforme – Innovations - Changements Occasions d’apprentissages Système – Actuel – Proposé Competency-Based Assessment Compétences MD – ProMED2000 LCME 2002 Plan directeur Outils – R-Type – Q4 - Portfolio Acteurs Conseils de compétences Comités d’épreuves - Mentors Accueil Membres Projet – Buts Finalités Principes généraux Conditions gagnantes Site Web Historique Faculté de médecine Comité du programme des études de premier cycle Groupe de travail sur l’évaluation des apprentissages serge.normand@umontreal.ca

2. Revoir la procédure d’évaluation actuellement en vigueur au programme MD; Réfléchir à l’opportunité d’une centralisation des examens; Revoir nos politiquesd’évaluation et, s’il y a lieu,proposer des modifications. Faculté de médecine Comité du programme des études de premier cycle Groupe de travail sur l’évaluation des apprentissages Mandat ( 01-11-22 ) serge.normand@umontreal.ca

3. Membres ad hoc Andrée Boucher Christian Bourdy Bernard Charlin Dominique Chandonnet André Ferron Raymond Lalande Christian Lavallée Julien Lord Brigitte Maheux Serge Normand Louise Roy Groupe de travailsur l’évaluation des apprentissages( GTEA ) Autres personneset instances consultées Comité du programme Comité des directeurs des département cliniques Serge Dubé Michel Girard Bernard Messier Ramses Wassef serge.normand@umontreal.ca

4. Un projet… à découvrir ! serge.normand@umontreal.ca

5. Un projet… pour nous tous ! serge.normand@umontreal.ca

6. Finalités du systèmed’évaluation des apprentissages Évaluation formative Évaluation sanctionnelle serge.normand@umontreal.ca

7. The LCME urges schools to develop a system of evaluation that fosters self-initiated learning by students and disapproves of the use of frequent tests which condition students to memorize details for short-term retention only. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002. serge.normand@umontreal.ca

8. Evaluation of student performance should measure not only retention of factual knowledge, but also development of the skills, behaviors, and attitudes needed in subsequent medical training and practice, and the ability to use data appropriately for solving problems commonly encountered in medical practice. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002. serge.normand@umontreal.ca

9. Courses or clerkships that are extremely short in duration may not have sufficient time to provide structured activities for formative evaluation, but should provide some alternate means (such as self-testing or teacher consultation) that will allow students to measure their progress in learning. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002. serge.normand@umontreal.ca

10. Des courants majeursissus des milieux anglo-saxons Outcome-Based Education Competency-Based Assessment Des objectifs … aux compétences serge.normand@umontreal.ca

11. Un médecin compétent Agir correctement de façon professionnelle Professionalism Approach to tasks Doing the thing right Performanceof Tasks The right person doing it Doing the right thing Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14 serge.normand@umontreal.ca

12. Un médecin compétent Agir correctement de façon professionnelle Professionalisme Exécution de la tâche L’exécuter correctement Tâche à effectuer Effectuer la bonne action Par la bonne personne Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14 serge.normand@umontreal.ca

13. What the doctor is able to doDoing the right thing • Clinical skills • Practical procedures • Patient investigation • Patient management • Health promotion and disease prevention • Communication skills • Information handling and retrieval Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999 serge.normand@umontreal.ca

14. How the doctor approaches their practiceDoing the thing right • Understanding of basic, clinical and social sciences • Appropriate attitudes, ethical understanding and legal responsibilities • Appropriate decision making , clinical reasoning and judgment Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999 serge.normand@umontreal.ca

15. The doctor as a professionalThe right person doing it • Role of the doctor within the health service • Aptitude for personal development Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999 serge.normand@umontreal.ca

16. Modèle de certification des compétences serge.normand@umontreal.ca

17. Occasions d’apprentissagesau programme MD IMC - IDC 1138 1139 * * * 2127 2128 APP 1128 1129 * * * 2133 2134 EXTERNAT 3301 3302 * * * 4410 4411 serge.normand@umontreal.ca

18. Objets d’évaluation ( actuels )au programme MD IMC - IDC 1138 1139 * * * 2127 2128 É V A L A T I O N APP 1128 1129 * * * 2133 2134 É V A L A T I O N EXTERNAT 3301 3302 * * * 4410 4411 Unités cours et stages serge.normand@umontreal.ca

19. Objets d’évaluation ( proposés )au programme MD C O M P É T E N C E S IMC - IDC 1138 1139 * * * 2127 2128 APP 1128 1129 * * * 2133 2134 EXTERNAT 3301 3302 * * * 4410 4411 É V A L U A T I O N serge.normand@umontreal.ca

20. Les compétences attendues Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002 serge.normand@umontreal.ca

21. Educational objectives are statements of the items of knowledge, skills, behaviors, and attitudes that students are expected to exhibit as evidence of their achievement. They are not statements of mission or broad institutional purpose, such as education, research, health care, or community service. Educational objectives state what students are expected to learn, not what is to be taught. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002. serge.normand@umontreal.ca

22. Énoncé des compétences médicales( mots clés seulement ) IMC-IDC Externat CMFC - 2000 ProMEDS - 2000 Questionnaire Examen Interrogatoire Examen physique Gestes techniques Prise en charge Investigation Traitement Clinicien compétent et efficace Expertise médicale Communication Communiquer Relationmédecin-patient Communication Contexte Travailler en équipe Communautaire Collaboration Intégrationconnaissances Intégrationconnaissances Ressource pour population définie de patients Érudition Jugement critiqueMaintien compétence Gestion Éducateur Promotion santé Promotionde la santé Éthique Notions éthiques Professionnalisme Professionnalisme serge.normand@umontreal.ca

23. Compétences pour un plan directeur( mots clés seulement ) Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002 serge.normand@umontreal.ca

24. Réforme du système d’évaluationInnovations • Modèle d’évaluation axé surla certification des compétences • Tests périodiques de rendementpour mesurer les progrès • Profil cumulatif pour l’évaluation formative • Mentors pour accompagner les étudiants • Formation aux professeurs sur le feedback serge.normand@umontreal.ca

25. Système d’évaluation des apprentissagesau programme MD C o m p é t e n c e m é d i c a l e Évaluation formative Évaluation sommative CONNAISSANCES CERTIFICATIONdes COMPÉTENCES TRP HABILETÉS + ATTITUDES TRP : Test de rendement périodique ( Progress Test ) serge.normand@umontreal.ca

26. Réforme du système d’évaluationChangements • Évaluation sanctionnelle se concentre sur la certificationet la consolidation des compétences • Systématisation de l’évaluation formativeaux années pré-cliniques pour mesurer les progrès • Outils d’évaluation choisis pour mesurerl’intégration des connaissances, l’application des habiletéset la démonstration des attitudes • Travail d’équipe pour préparer les instruments d’évaluation serge.normand@umontreal.ca

27. Les acteurs serge.normand@umontreal.ca

28. Rôle desConseils de compétences • Identifier les objets de l’évaluation • Actualiser les objectifs en termes de compétences • Élaborer un plan directeur pour certifier et consolider les compétences • Déterminer les moments pour mesurer les progrès • Définir le contenu d’un profil individuel serge.normand@umontreal.ca

29. Rôle desComités d’épreuves • Élaborer un ensemble d’épreuves et définir les réalisations attendues • Élaborer les test périodiques de rendement pour mesurer les progrès • Choisir les formats et contenus d’épreuves pour mesurer l’intégration des connaissances • Déterminer le format d’un portfolio serge.normand@umontreal.ca

30. Rôle desMentors • Accompagner les étudiants dont les résultats aux évaluations formatives indiquent qu’ils n’enregistrent pas les progrès attendus • Guider l’étudiant dans sa démarche d’apprentissage • Offrir des sessions d’évaluation individualisée serge.normand@umontreal.ca

31. Rôle desÉtudiants • Se responsabiliser davantage dansdes activités d’autoévaluation • Évaluer les pairs • Se constituer un portfolio serge.normand@umontreal.ca

32. Évaluation des apprentissages Exemple d’un plan directeur tel que proposé par le CMC serge.normand@umontreal.ca

33. Compétences CanMEDS 2000

34. ExemplePlandirecteurCanMEDS 2000

35. ExemplePlandirecteuradaptéCanMEDS 2000

36. Réforme du système d’évaluationdes apprentissages au programme MD Choisir les instruments appropriés serge.normand@umontreal.ca

37. Évaluer la compétence professionnellePyramide de Miller Comportement Behaviour Savoir Cognition Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. serge.normand@umontreal.ca

38. Évaluer la compétence professionnelleModes d’évaluation • Évaluation • de la performance • contextuelle • Évaluation • écrite • orale • ordinateur Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. serge.normand@umontreal.ca

39. Évaluer la compétence professionnelleTypes d’instruments Performance in vivo : PS. incognito, Vidéo, Dossiers Portfolio … Performance in vitro : ECOS, Ex. PS. … Épreuves à contenus cliniques : QCM, Q. dév., Ex. oral … Épreuves factuelles : QCM, Ex. écrit, oral … Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. serge.normand@umontreal.ca

40. Instruments d’évaluationCurriculum de Dundee Portfolio ECOS QCM-R QROC QCM Q. dév. Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261 serge.normand@umontreal.ca

41. Portfolio(évaluation formative et sanctionnelle) • Inventaire de preuves et de réalisationscumulées par le candidat durant sa période d’apprentissage. • Réflexion du candidat sur les éléments rassembléspour témoigner des progrès enregistrés. • Analyse du portfolio par des examinateurs. • Dialogue entre les examinateurs et l’étudiantfondé sur les éléments du portfolio. • Système de notation adaptéaux finalités formatives ou sanctionnelles. Vidéos de pratique clinique, Résultats de tests formatifs, etc. Histoires de cas, Exposés, etc. serge.normand@umontreal.ca

42. PortfolioQuelques avantages … • Approche très individualisé de l’évaluation • Permet d’évaluer les dimensions « compliquées » :développement personnel, professionnalisme, auto-apprentissage, auto-évaluation, réflexion, etc. • Volet longitudinal, accumulation de preuves,mesure du progrès • Exploite la richesse de l’interactionétudiant-professeur serge.normand@umontreal.ca

43. PortfolioQuelques défis … • Culture « nouvelle » de l’évaluation • Formation des examinateurs(contexte sanctionnel) • « Repenser » les critères psychométriques(validité, fidélité) serge.normand@umontreal.ca

44. Évaluation des apprentissages Exemple d’un format de question Q4 utilisé par le CMC serge.normand@umontreal.ca

45. QuestionType Q4CMC www.mcc.ca/CRS_Demo

46. Évaluation des apprentissages Exemple d’un format de question type R prôné par le NBME serge.normand@umontreal.ca

47. NBME – Extended-Matching ( R-Type) Items( Question d’appariement détaillé )

48. Réforme du système d’évaluationdes apprentissages au programme MD Principes généraux et Règles d’application serge.normand@umontreal.ca

49. Énoncé des principes générauxÉvaluation des apprentissages au programme MD • L’évaluation des apprentissages est planifié sur un continuum englobant les années pré-cliniques et cliniques. • Les activités formelles d’évaluation formative occupent autant d’importance que les activités d’évaluation sommative. • La fréquence des séances d’évaluation formative et sommative, leur séquence et leur pondération sont choisies afin de maximiser la validité. Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003 serge.normand@umontreal.ca

50. L’évaluation des apprentissages est planifié sur un continuumenglobant les années pré-cliniques et cliniques Règles d’application : • Les compétences clés constituent toujours la base d’un plan directeur pour situer et justifier les activités d’évaluation autant formative que sommative. • L’acquisition des compétences clés est évaluée en termes de progression, de consolidation et de certification à diverses étapes dans le programme MD. • Les modalités et les protocoles d’évaluation adoptés facilitent l’accès aux résultats cumulatifs de l’évaluation pour permettre à chaque étudiant et à ses professeurs d’en exploiter toute la richesse. Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003 serge.normand@umontreal.ca