Faculté de médecine Bureau d’évaluation

1. Faculté de médecine Bureau d’évaluation Consolider nos pratiques en évaluation des apprentissages Est-ce que la docimologie peut nous aider ? Serge Normand, M.A. Mars 2008

2. Analyser, discuter, partager … • vos attentes • vos réalisations • vos problèmes • …

3. Question préalable Qu’attendez-vous de l’évaluation ?

4. Domaines de l’évaluation en éducation Agrément Évaluation des apprentissages Évaluation de l’enseignement Évaluation des programmes

5. Finalités d’un systèmed’évaluation des apprentissages Évaluation formative Évaluation certificative

6. Le processus de l’évaluation Examens Travaux Observationsetc. Certification Qualifier la réussite Seuil de passage Approche : - relative - absolue

7. L’évaluation Quoi

8. Quelle sorte de professionnel de la santé le programme va-t-il produire ?

9. Dundee - Three Circle Model The right person doing it Professionalism Approach to tasks Doing the thing right Performanceof Tasks Doing the right thing Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14

10. http://crmcc.medical.org/canmeds/bestpractices/index.php

11. L’évaluation Quoi (suite)

12. Évaluer la compétence professionnellePyramide de Miller Comportement Behaviour Savoir Cognition Source :Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

13. L’évaluation Comment

14. Évaluer la compétence professionnelleTypes d’instruments Performance in vivo : PS. incognito, Vidéo, Dossiers Portfolio … Performance in vitro : ECOS, Ex. PS. … Épreuves à contenus cliniques : QCM, Q. dév., Ex. oral … Épreuves factuelles : QCM, Ex. écrit, oral … Source :Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

15. Évaluer les apprentissages Sait comment Fait Démontre Sait Évaluation

16. Sait comment Fait Démontre Sait Évaluer les apprentissages Ce que nous faisons le plus ! Évaluation

17. Sait comment Fait Démontre Sait Évaluer les apprentissages Ce que nous devrions faire le plus ! Évaluation

18. Portfolio ECOS QCM-R QROC QCM Q. dév. Instruments d’évaluationCurriculum de Dundee Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261

19. Le processus de l’évaluation Approche : - relative - absolue

20. Comment interpréter les résultats ?

21. Interpréter les résultats

22. Le processus de l’évaluation Qualifier la réussite Seuil de passage

23. Établir des normes de réussiteSetting Performance Standards Niveau acceptable C o m p é t e n c e s

24. Déterminer la note de passage

25. Déterminer la note de passage( selon la méthode de Ebel ) Nombre de questions : 72 SAP : 61 %

26. Déterminer la note de passage( selon la méthode Hofstee )

27. L’évaluation Validée

28. Validité Repères pour apprécier les instruments d’évaluation Fidélité Faisabilité Efficacité Acceptabilité van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications.Adv health Sci Educ 1996;1:41-67.

29. Pertinence Pertinence Pertinence Pertinence par rapport à la matière enseignée du type de compétences mesurées de la formulation des questions de la notation Quels sont les défauts de nos examens ? Réponses des étudiants :

30. Objet Mesures Résultats Protocole Quels sont les critères pour apprécier nos examens ? Réponses des docimologues : Validité Fidélité Commodité

31. Mieux planifier l’évaluation Varier les instruments de mesure Respecter certaines règles docimologiques Fixer des critères de performance Améliorer nos pratique en évaluation ? Quelques pistes de solution:

32. Mieux planifier l’évaluation ? ? ?

33. Cognitif Savoir Connaissances Domaines de comportements observables(pour mesurer des objectifs d’apprentissage) Affectif Savoir être Attitudes Psychomoteur Savoir faire Habiletés

34. Connaissance Mémoriser Taxonomie simplifiée(pour mesurer des objectifs d’apprentissage) Compréhension Interpréter Application Solutionner

35. Tableau de spécification Source : jean-louis.brazier@umontreal.ca

37. Knowledge Base Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999

38. Knowledge Base Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999

39. Préparer une ébauche de tableau de spécification pour une épreuve écrite dans votre discipline : Importance relative des « chapitres » Niveaux taxonomiques Mémoriser Interpréter Solutionner Exercice 1

40. Faculté de médecine – Bureau d’évaluation Atelier de formation pédagogique Docimologie 1 Normes recommandées pour la rédaction de questions de type QCM et QROC

41. Faculté de médecine – Bureau d’évaluation Atelier de formation pédagogique Docimologie 2 L’analyse d’itemsune technique docimologiquepour valider des questions d’examen

42. Rédiger une question QCM de type A QCM Exercice 2

43. Rédiger une question à réponse ouverte courte QROC Exercice 3

44. www.medbev.umontreal.ca/docimo/atelier.htm

45. Diaporama Documentation Merci de votre attention ! http://www.medbev.umontreal.ca/docimo/atelier.htm serge.normand@umontreal.ca