Faculté de médecine CPASS -Évaluation

1. Faculté de médecine CPASS -Évaluation Déterminer la note de passage et qualifier la réussite dans des épreuves de certification Serge Normand, M.A. XVIIe Journées universitaires de pédagogie des sciences de la santé CIDMEF Lille - 5-8 avril 2008

2. ObjectifsDéterminer une note de passage – Qualifier la réussite

3. Un peu de vocabulaire … • Notation • Action d’attribuer un score ( chiffre ou pourcentage )ou une cote ( lettre ou symbole ) sur les apprentissages. • Score • Nombre exprimant le résultat obtenu à un test, à un examen ou`à une production scolaire. • Cote • Symbole alphabétique ( A, B, C, D, E, F, …), numérique (1,2,3,4,5, …) ou autre qui traduit le résultat d’une performance. • Note • Valeur numérique qui traduit le résultat de la mesure ou de l’appréciation d’une performance. • Note de passage • Seuil de réussite appliqué à la totalité d’un instrument de mesure qui porte sur un large domaine et imposé à tous les répondants. Legendre, R, Dictionnaire actuel de l’éducation, 2005 serge.normand@umontreal.ca

4. 100 99 98 … 61 60 … 50 49 … 1 De l’autre côté D’un coté de l’Atlantique Nos échelles … Nos habitudes … 20 19 18 … 13 12 11 10 9 … 1 serge.normand@umontreal.ca

5. Aborder des problématiquessouvent négligées Comment déterminer une note de passage qui soit la plus « juste » possible ? Comment qualifier la réussitedans une cohorte de candidats qui ont subi une épreuve d’évaluation des apprentissage ?

6. Vulgariser quelques approchesrelativement faciles à implanter • Épreuves écrites • Méthode EBEL • Cote Z • Approche Hofstee Grilles d’observation 4. ECOS – Borderline Group 5. Échelles descriptives

7. Rappel Évaluer les apprentissages Examens Travaux Observationsetc. Certification Approche : - relative - absolue Qualifier la réussite Note de passage

8. Évaluer les apprentissages Approche : - relative - absolue

9. Comment interpréter les résultats ?

10. Interpréter les résultats

11. Évaluer les apprentissages Qualifier la réussite Note de passage

12. Un enjeux important:déterminer la note de passage( Setting Performance Standards ) Combien faut-il pour passer ? How much is enough ? Niveau acceptable C o m p é t e n c e s

13. Déterminer une note de passage

14. Un enjeux important:déterminer la note de passage( Setting Performance Standards ) Méthodes Angoff Nedelsky Ebel Hofstee Contrasting Group Borderline Group Direct Borderline (2003) Etc… Candidat à la LIMITE « borderline »

15. Étude de cas No 1Méthode EBELDéterminer une note de passage

16. Déterminer la note de passage ( selon la méthode EBEL ) Situez chaque question ou élément de questions qui composent l’épreuve dans les cellules de cette grille; par exemple, une questions de 3 points comportera 3 entrées dans la grille. Dans chaque cellule, une proportion de questions qu’un candidat à compétence acceptable devrait réussir est proposée. Pour chaque cellule, multipliez le nombre de questions (ou d’éléments) par le pourcentage correspondant et faites ensuite la somme de ces produits. La valeur obtenue divisée par le nombre total de questions (ou d’éléments) constitue la note de passage pour cette épreuve exprimée en pourcentage.

17. Déterminer la note de passage( selon la méthode EBEL ) Nombre de questions : 72 SAP : 61 %

18. Déterminer la note de passage( variante: méthode « Direct Borderline » ) Question 1 oui non Question 2 oui non Exemple Nombre de questions: 25 Nombre de OUI : 16 SAP : 64 % Question 3 oui non Question … oui non Question … oui non Question 25 oui non Indiquez pour chaque question si un candidat à compétence acceptable devrait répondre correctement à la question. Le nombre total de « OUI » divisé par le nombre total de questions constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage.

19. Étude de cas No 2Utilisation de la cote ZQualifier la réussite et/ou Déterminer la note de passage

20. Zx = X - Mx sx 0,50 = 76 – 69,5 13,13 Moyenne Écart type N 69,5 13,13 99

21. Les formulesoù X et Y = scores du « sujet » n et N = ensemble des « sujets » Moyenne :Mx = SX N Écart type :sx = S X - Mx 2 N Variance :sx = sx2 Score standard :Zx = X - Mx sx

22. Distribution normale

23. Distribution normale 68 % 96 % σ μ σ

24. Moyenne Écart type N 69,5 13,13 99 75,4 10,0 99 Distribution Z standardisée

25. Moyenne Écart type N 69,5 13,13 99 76,1 10,04 99 Distribution Z normalisée

26. Utiliser la Cote Z pour … Niveau acceptable Qualifier la réussite ? C o m p é t e n c e s serge.normand@umontreal.ca

27. Système de notation littérale Excellent Très bon Bon Passable Échec A+ A A- B+ B B- C+ C C- D+ D E Identifier des « paliers » de réussite

28. Utiliser la Cote Z pour qualifier la réussite Excellent Très bon Bon Passable Échec A+ A A- B+ B B- C+ C C- D+ D E

29. Exemple de notation littérale via Cote Z

30. Utiliser un score standard ( Cote Z )pour analyser le « profil » d’un candidat Cote Z Moyenne = 0,0 Écart-type = 1,0 Score standard Moyenne = 500 Écart-type = 100

31. Calculer un score standard à partir d’une cote Z Moyenne Écart type 69,5 13,13 0,87 = 81 – 69,5 13,13 Calculer le score standard pour une note de 81 Statistiques de la distribution Calcul du score Z Calcul du score standard 587 = ( 0,87 X 100 ) + 500 Score standard = 587

32. Distribution normale – Score standard Moyenne = 500 Écart-type = 100 serge.normand@umontreal.ca

33. Profil de candidats en Scores standards Candidat Ex 1 Ex 2 Ex 3 Ex 4 Ex 5 A 482 503 515 408 575 B 680 710 590 740 760 C 273 405 333 397 410 serge.normand@umontreal.ca

34. Étude de cas No 3Approche HofsteeDéterminer la note de passage

35. Déterminer la note de passage( selon la méthode Hofstee ) Quelle est la note de passage maximun ? 60 50 Quelle est la note de passage minimum ? Quel est le % maximun d’échecs ? 10 % 30 % Quel est le % minimum d’échecs ? serge.normand@umontreal.ca

36. Étude de cas No 4Méthode « Borderline Group »Déterminer la note de passage - ECOS

37. Grille d’observationStation ECOSExamen clinique objectif standardisé Moyennes des scores par examinateurs Fait Non fait Item 1 Item 2 Item x TOTAL    1 = Échec 2 = Limite insuffisant 3 = Limite suffisant 4 = Attendu 5 = Excellent  Éval. Globale 1 2 3 4 5

38. Déterminer la note de passage – Station ECOS( selon la méthode Borderline Group )Station No 1

39. Déterminer la note de passage –ECOS( selon la méthode Borderline Group ) Cohorte Limite / Suffisant serge.normand@umontreal.ca

40. Étude de cas No 5Échelles qualitatives et descriptivesDéterminer la note de passage

41. ExemplesÉchelles qualitatives et descriptives Critère : coopération ( échange des idées ) Évaluation certificative Évaluation formative SCALLON, Gérard, L’évaluation des apprentissages dans une approche par compétences, Édition du renouveau pédagogique, 2004

42. Exemple d’un protocole de notation pour grille d’observation Échelle de notation au-delà des attentes : (Plus +) conforme aux attentes : (Attendu) en deçà des attentes : (Moins –) Protocole de notation 1. 100% des critères cotés (Attendu) => B+si aucun critère n’est coté (Moins -) et que : 2. 75% des critères cotés (Plus +) => A+ 3. 50% des critères cotés (Plus +) => A 4. 25% des critères cotés (Plus +) => A-si des critères cotés (Moins -) sont présents et que50% des critères sont cotés (Plus +) : 5. les règles 2 à 4 s’appliquent, mais la notation littérale est réduite d’un nombre de paliers égal au nombre de critères (Moins -)Exemple : si les règles 2 à 4 génèrent une notation de A,mais que 2 critères ont été cotés (Moins -),la notation sera réduite de 2 paliers à B+autrement : 6. 10% des critères cotés (Moins -) => B+ 7. 20% des critères cotés (Moins -) => B 8. 25% des critères cotés (Moins -) => B- 9. 30% des critères cotés (Moins -) => C+ 10. 35% des critères cotés (Moins -) => C Situation d’échec Si 50% des critères sont cotés (Moins -) ou Si l’un ou l’autre des critères déterminants sont cotés (Moins - )

43. Échelles d’appréciation Sait faire évoluerle domaine en innovant Expert Sait maîtriser parfaitementet sait transmettre ses connaissances Compétentprofessionnel confirmé Sait maîtriser parfaitement Compétentprofessionnel Sait faire de manière autonomesans le soutien du superviseur Compétent Sait faire avec le soutien du superviseur Intermédiaire Ne sait pas faire Débutant

45. Critères déterminants

46. CPASS – Évaluation, Faculté de médecine, Université de Montréal, 2008

47. CPASS – Évaluation, Faculté de médecine, Université de Montréal, 2008

48. Vierset, V. et Foidart, J.M., Faculté de Médecine. Université de Liège Service Gynécologie-Obstétrique, 2007

49. Bibliographie sélectiveNotation – Standard Setting BOULET, J.R. et al., Setting defensible performance standards on OSCEs and standardized patient examinations, Medical Teacher 2003;25(3):245-249. CUSIMANO, MD. et al., The Effect of Incorporating Normative data into a Criterion-Referenced Standard Setting in Medical Education, Acad Med 2003;78(10suppl):S88-90. DOWNING,SM et al., Establishing Passing Standards for Classroom Achievement Tests in Medical Education: A Comparative Study of Four Methods, Academic Medicine, Acad Med 2003;78(10suppl):S85-87. SMEE, SM., Setting standards for an objectif structured clinical examination: the borderline group method gains ground on Angoff, Med Educ 2001;35:1009-1010. WILKINSON TJ. et al., Standard setting in an objective structured clinical examination: use of global ratings borderline performance to determine the passing scores, Med Educ 2001;35:1043-1049. McILROY, JH., The Impact of an Alternative Approach to Computing Station Cut Scores in an OSCE, Acad Med 2000;75(10suppl):S18-20. FRIEDMAN BEN-DAVID, M., Standard setting in student assessment, AMEE Medical Education Guide No 18, University of Dundee, 2000. CIZEK, GJ., Setting Passing Scores, Educational Measurement: Issues and Practice, NCME, 1996. CUSIMANO, MD., Standard Setting in Medical Education, Acad Med 1996;71(10suppl):S112-120.

50. Diaporama Documentation Merci de votre attention ! http://www.medbev.umontreal.ca/docimo serge.normand@umontreal.ca