Q uestions à C hoix M ultiple

1. Questions àChoixMultiple Joël Lechevallier (Rouen) Séminaire Pédagogique Faculté de Médecine de Caen 14 décembre 2012

2. Bases théoriques de l’évaluationen sciences de la santé • Fiabilité • Validité • Quelles compétences évaluer? • Comment les évaluer? • Faisabilité

3. Fiabilité: Echantillon Domaine à évaluer  Échantillon Swanson, Educational Researcher 1995;24:5-11

4. Fiabilité: Echantillon Domaine à évaluer  Échantillon Swanson, Educational Researcher 1995;24:5-11

5. Fiabilité: Echantillon Domaine à évaluer  Échantillon Swanson, Educational Researcher 1995;24:5-11

6. Fiabilité: Echantillon Domaine à évaluer  Échantillon Swanson, Educational Researcher 1995;24:5-11

7. ValiditéEffet intermédiaire Internes Experts Étudiants Marshall, 1977 ; Swanson, 1987 ; Mc Gaghie, 1993 ; Van der Vleuten, 1996.

8. Quelles compétences évaluer? Observation directe Tests de concordance de script ECOS Questions de synthèse, validation de stage QR, QROC, QCM Savoir Faire Savoir comment Savoir

9. Faisabilité CHUCP Séminaire Pédagogique Caen 14/12/12 Joël Lechevallier

10. Modalités de construction d’une QCM • Problématique et critiques • Avantages et Inconvénients • Modalités de rédaction d’une QCM • Variantes et évolution

11. Problématique des QCM • Choix du sujet de la vignette • La forme est incompatible avec certains sujets • Il doit y avoir consensus absolu

12. Problématique des QCM • Choix du sujet de la vignette • Rédaction de la vignette • Difficulté et contraintes de rédaction

13. Problématique des QCM • Choix du sujet de la vignette • Rédaction de la vignette • Choix des leurres • La fantaisie est souvent préférée au plausible • Effet devinette • Le leurre doit être à 100% un leurre

14. Problématique des QCM • Choix du sujet de la vignette • Rédaction de la vignette • Choix des leurres • Choix de la bonne réponse • Elle doit être 100% vraie

15. Problématique des QCM Choix du sujet de la vignette Rédaction de la vignette Choix des leurres Choix de la bonne réponse Rigueur, motivation et attention du rédacteur

16. QCM: Effets pervers… • Les enseignants testent d’autres compétences que la connaissance • Constitution de banques: les étudiants apprennent les QCM et non un savoir • Les étudiants connaissent les « bonnes » réponses à de mauvaises questions • Les étudiants répondent juste à des questions dont les enseignants ignorent la réponse • Les enseignants donnent de mauvaises notes à de « bonnes » réponses

17. QCM: Effets pervers… Jusqu’à 50% de questions retirées et annulées! • Les enseignants testent d’autres compétences que la connaissance • Constitution de banques: les étudiants apprennent les QCM et non un savoir • Les étudiants connaissent les « bonnes » réponses à de mauvaises questions • Les étudiants répondent juste à des questions dont les enseignants ignorent la réponse • Les enseignants donnent de mauvaises notes à de « bonnes » réponses

18. Exemples et contre-exemples QCM Défaillants Posés

19. Et pourtant… Points Forts de la QCM • Validité de contenu • Fiabilité • Objectivité • Possible pour de grandes cohortes • Correction automatisée rapide • Faible coût

20. Critères de construction d’une QCM • Contenu • Formulation de la Question • Structure des options et des leurres • Mode de comptage des points • Variantes

21. Caractéristiques d’une QCM L’élaboration de questions à choix multiples pour les examens menant au certificat du collège royal des médecins et chirurgiens du Canada Tim Wood , Gary Cole, Bureau de l’éducation 2001 Règles de construction d’une QCM Joël Lechevallier http://www.orthopedagogierouen.fr/fs/Root/2utxg-QCM_Regles_de_redaction_JL.pdf

22. Critères de construction d’une QCM 1. Contenu • Pertinent • Choisi dans les objectifs… • Balaye l’ensemble du programme • Problème courant • Ne pas perdre de vue l’objectif d’évaluation

23. Critères de construction d’une QCM 2. Formulation de la question • L’objectif est d’évaluer une connaissance • Rédaction simple, claire et sans ambiguïté • Privilégier la question appelant une réponse unique • Pour une épreuve de validation, donner à défaut un canevas de réponse • Plus de liberté pour un concours • « …. Quelle la proposition la plus pertinente? »

24. Critères de construction d’une QCM 2. Formulation de la question • Eviter les interrogations négatives • Question concise • Eviter l’usage de termes flous : « le plus souvent, rarement, habituellement… ». Glossaire

25. Critères de construction d’une QCM 3. Structure des options et des leurres • L’objectif est d’évaluer une connaissance • Pas de leurre grossier ni de piège • Homogènes au sein d’une même question • Pas de négation • Réalistes • Clairement faux ou justes • Ne comportent qu’une seule information • Eviter l’usage de termes inutilisés en médecine : « jamais, toujours, constamment »

26. Critères de construction d’une QCM 4. Nombre des options et des leurres • Une seule option bonne et 4 leurres • Meilleure réponse • Quelle est la plus pertinente? • Quelle est la plus fréquente? • A défaut un patron de réponse • Cas particulier des épreuves de classement

27. Erreurs à ne pas commettre 1. Contenu • Thématique hors programme • Décliner sur une thématique au détriment de la couverture de l’ensemble du programme

28. Erreurs à ne pas commettre 2. Formulation de la question • Interrogation négative (simple ou double): « Dans quel cas … n’est pas en rapport avec…? » • Rédaction trop complexe à comprendre (cf QCM riches) • Usage de termes jamais utilisés en médecine : « jamais, toujours, constamment » • Usage de termes qui apportent une incertitude : « le plus souvent, rarement, habituellement… »

29. Erreurs à ne pas commettre 3. Structure des options et des leurres • Stratégie du piège et non de l’évaluation…. • Bonne réponse par la négation: « pas d’ictère » • Proposition incertaine: « le plus souvent, habituellement, exceptionnellement » • Deux informations différentes pour une même option • Leurres grossiers

30. Erreurs à ne pas commettre 3. Structure des options et des leurres • Usages de pièges: 0 ou 5 bonnes réponses • Plusieurs bonnes réponses • Nécessité d’un canevas • Modification de la pondération

31. Mode de comptage des points • Technique Binaire • Au prorata • Pondération variable • Note de passage

32. Mode de comptage des points • Technique Binaire • Bonne réponse = 1, Mauvaise réponse = 0 • Mais même résultat quel que soit le pourcentage d’erreur (1 ou 3 bonnes réponses) • A défaut, nécessité de proposer un patron de réponse

33. Mode de comptage des points • Technique Binaire • Au prorata • 3 bonnes réponses sur 3 = 1 point • 2 bonnes réponses sur 3 = 2/3 de point • 1 bonne réponse sur 3 = 1/3 de point • 1 mauvaise réponse = - 1/3 de point … • Pas de patron de réponse

34. Mode de comptage des points • Technique Binaire • Au prorata • Pondération variable • En fonction de la difficulté • En fonction de la validité

35. Mode de comptage des points • Technique Binaire • Au prorata • Pondération variable • Note de passage

36. NAPNiveau Acceptable de Performance • Parmi ces tumeurs osseuses bénignes, laquelle a une grande tendance à récidiver localement? • Chondroblastome bénin • Ostéome Ostéoïde • Tumeur à cellules géantes • Kyste Osseux Essentiel • Kyste osseux anévrysmatique Détermination du niveau de « l’étudiant limite » Pertinence de la QCM Difficulté

37. NAPNiveau Acceptable de Performance • Parmi ces tumeurs osseuses bénignes, laquelle a une grande tendance à récidiver localement? • Chondroblastome bénin • Ostéome Ostéoïde • Tumeur à cellules géantes • Kyste Osseux Essentiel • Kyste osseux anévrysmatique • Méthode de NEDELSKY • L’étudiant limite doit éliminer au moins 2 réponses • Le choix se porte en fait sur 3 propositions restantes • Le 1/3 du point est accordé si l’étudiant répond « a » ou « e » • Le point est accordé s’il répond « c »

38. NAPNiveau Acceptable de Performance • Parmi ces tumeurs osseuses bénignes, laquelle a une grande tendance à récidiver localement? • Chondroblastome bénin • Ostéome Ostéoïde • Tumeur à cellules géantes • Kyste Osseux Essentiel • Kyste osseux anévrysmatique Réponse: c • Méthode d’ANGOFF • Le juge fixe la probabilité pour qu’un étudiant donne la bonne réponse. Ex: 60%

39. NAPNiveau Acceptable de Performance • Méthode d’EBEL • Le juge classe les questions en fonction de leur pertinence et de leur difficulté. Il détermine ainsi le nombre de questions auxquelles «l’étudiant limite» devra répondre.

40. NAPNiveau Acceptable de Performance • Méthode d’ANGOFF • Le juge fixe la probabilité pour qu’un étudiant donne la bonne réponse. Ex: 60%

41. Variantes de forme QCM 1 meilleure réponse QCM Vrai/Faux QCM Riche QCM Rédactionnelle Vidéo-QCM

43. Liens

44. Glossaire des adverbes Aucune indication de fréquence dans ces termes • Classiquement >90% • Typiquement, Habituellement >60% • Souvent, Parfois, Peut… >30% • Est associé à … • Est le traitement de choix… • Peut être vu… • Peut être causé par…

45. QCM « Rédactionnelle » Utilisation des réponses faites dans une question rédactionnelle Fournir les leurres à partir des réponses insatisfaisantes fournies

46. Anthropologie: Jaïnisme • Le Jaïnisme est issu de l’Hindouisme • Le Jaïnisme est issu du Bouddhisme • Le Jaïnisme est une hérésie de l’Hindouisme • Le Jaïnisme est une conséquence de l’Hindouisme • Le Jaïnisme dérive de l’Hindouisme • Le jaïnisme est issu de l’Indouisme • Le Jaïnisme est né de l’Hindouisme • Le jaïnisme descend de l’Hindouisme • Le Jaïnisme est un des deux groupes de l’Hindouisme • Le Jaïnisme est une religion issue de la branche de l’Hindouisme

47. Anthropologie: Jaïnisme • Le Jaïnisme est issu de l’Hindouisme • Le Jaïnisme est issu du Bouddhisme • Le Jaïnisme est une hérésie de l’Hindouisme • Le Jaïnisme est une conséquence de l’Hindouisme • Le Jaïnisme dérive de l’Hindouisme • Le jaïnisme est issu de l’Indouisme • Le Jaïnisme est né de l’Hindouisme • Le jaïnisme descend de l’Hindouisme • Le Jaïnisme est un des deux groupes de l’Hindouisme • Le Jaïnisme est une religion issue de la branche de l’Hindouisme

48. Anthropologie: Jaïnisme. Quelle est la bonne proposition? 1 0 0 0,5 0,2 • Le Jaïnisme est une hérésie de l’Hindouisme • Le Jaïnisme est une conséquence de l’Hindouisme • Le Jaïnisme dérive de l’Hindouisme • Le Jaïnisme est né de l’Hindouisme • Le jaïnisme descend de l’Hindouisme

49. QCM utilisée en contexte clinique. QCM Riches L’élaboration de questions à choix multiples pour les examens menant au certificat du collège royal des médecins et chirurgiens du Canada Tim Wood , Gary Cole, Bureau de l’éducation 2001 Ramani S., Ring B.N., Lowe R., Hunter D. A pilot studyassessingKnowledge of clinicalsigns and physicalexaminationskills in incomingmedecineresidents J. of graduatemedicaleducation 2010, 06: 232-236

50. QCM riche En pratique • Vignette Un patient de 32 ans se plaint de faiblesses des extrémités depuis 4 jours. Sa température est à 37°8 C, son pouls à 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles du visage et des muscles proximaux et des extrémités. La sensibilité est normale. Les reflexes ostéo-tendineux sont abolis, les réflexes plantaires sont en flexion.