Normes pour la rédaction et la correction de questions QCR, QROC et de problèmes à éléments-clé .

1. Normes pour la rédaction et la correction de questions QCR, QROC et de problèmes à éléments-clé. Michel Girard MD MHPE FRCP(C) Directeur Serge Normand MA Docimologue Bureau d’évaluation Faculté de médecine

2. Plan • Historique • Pourquoi les QCR? • Vrai/faux vs « La meilleure réponse » • Vrai/faux • Les niveaux taxonomiques simplifiés • La meilleure réponse, type • QROC • Problèmes à éléments-clé (Q4) • Quelques conseils pour la correction

3. HistoriqueNBME 1916 Questions à développement et orales Différents types de questions QCR (A, B, C & K) 2002 • On utilise maintenant les questions type A & R Historique plus détaillé

4. NBME • Questions de type A • A: La meilleure réponse, une seule (One-best-answer)

5. Pourquoi QCR? • Problème d’échantillonnage • Nature et la taille de l’échantillon qui déterminent si l’estimé que l’on fait est • Reproductible: fiable, généralisable • Précis: valide • Uniquement questions SCV pour un examen de md fam. • Trop peu de questions

6. Pourquoi QCR? • Problème d’échantillonnage • Échantillon doit être évalué sur une seule variable  étudiant • QCM: Ordinateur corrige réponses • QROC: Professeur(s) corrige(nt) réponses

7. Un exemple Travail écrit de 5 pages. Chaque professeur a corrigé les travaux de son groupe. 15 étudiants/groupe Note maximale: 30 Les étudiants du groupe 1 croient que leur professeur a été trop sévère. En fait, le problème

8. Combien de questions?En combien de temps? • Dépend de l’importance de l’examen. • Si on recherche validité et la fiabilité: • Douzaine de cas cliniques ou plus (ECOS). • Centaine ou plus de QROC ou QCR. • En donnant aux étudiants le temps qu’il faut pour répondre. Environ 1 min. par question, plus s’il s’agit de questions difficiles ou comportant de longues vignettes.

9. Seulement QCR? Opinion du patient Questions à développement NON L’ÉVALUATION DOIT ÊTRE MULTIMODALE Patient simulé Simulateur Raisonnement clinique (Q4) ECOS QROC Simulation PMP Observation directe Carnet de route QCR Concordance de scripts … et encore Portfolio Examens oraux

10. Vrai/faux vs la meilleure réponse. • Vrai ou faux • C, K, X, PMPs • La meilleure réponse • A: la meilleure réponse de 5 énoncés • B • R: appariement détaillé • Q4: problèmes à éléments-clé

11. Vrai/faux • Le problème est que l’étudiant doit décider ce qui est absolument faux ou vrai. • Alors que l’on suggère d’éviter les absolus comme « toujours » ou « jamais ». • Il est difficile d’écrire des compléments qui sont absolument vrai ou faux, sans tomber dans la futilité.

12. Vrai/fauxUne question correcte • Lequel (ou lesquels) des éléments suivants est (sont) une atteinte récessive liée à l’X? 1- Hémophilie A 2- Fibrose kystique 3- Dystrophie musculaire de Duchesne 4- Maladie de Tay-Sachs

13. Lequel (ou lesquels) des éléments suivants est (sont) une atteinte récessive liée à l’X? 1- Hémophilie A 2- Fibrose kystique 3- Dystrophie musculaire de Duchesne 4- Maladie de Tay-Sachs Vrai/fauxUne question possible

14. Vrai/fauxUne question « incorrecte » • Les énoncés vrais sur la fibrose kystique sont: 1- L’incidence de la maladie est 1:2000 2- Les enfants en meurent habituellement durant l’adolescence. 3- Les mâles atteints sont stériles. 4- La maladie est autosomique et récessive • Le problème est qu’un groupe d’experts ne s’entendrait pas sur 1, 2 et 3.

15. En résumé... • La vignette doit être claire et sans ambiguïté, évitez les termes • imprécis, comme: est associé à, est utile pour, est important. • qui orientent l’étudiant: toujours, jamais, peut, pourrait être. • vagues, comme: fréquemment, habituellement, souvent, rarement, etc.

16. Les niveaux taxonomiques simplifiés

17. Les niveaux taxonomiques simplifiés

18. Les niveaux taxonomiques simplifiés

19. La meilleure réponseType A • Ici, toutes les réponses peuvent être vraies. • Elles se situent sur un continuum de vérité. • Une des réponses est la plus exacte.

20. Type A3 parties • Vignette (Stem) • Vignette, en général, clinique • Question (Lead-in) • Détermine le choix à faire parmi les compléments • Compléments (Options) • Les choix

21. Type A3 parties Vignette (Stem) Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8C, son pouls est 94/min, … Question (Lead-in) Parmi les diagnostics suivants, quel est le plus probable? Compléments (Options) A- Encéphalomyélite aiguë disséminée B- Syndrome de Guillain-Barré C- Myasténie grave D- Polyomyélite E- Polymyosite On peut répondre sans consulter les compléments. D C A E B La moins correcte La plus correcte

22. Type A3 parties • Vignette (Stem) • Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8C, son pouls est 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles du visage et des muscles proximaux et distaux des extrémités. La sensibilité est normale. Les réflexes ostéo-tendineux sont absents. Les réflexes plantaires sont en flexion. • Question (Lead-in) • Quel est le diagnostic le plus probable? On peut répondre sans consulter les compléments.

23. Type A3 parties (question incorrecte) • Vignette (Stem) • Question (Lead-in) • À propos de la pseudogoutte, qu’est-ce qui est vrai? • Compléments (Options) • Est fréquente chez les femmes. • Est rarement associée à de la douleur articulaire aiguë. • Peut être associée à de la chondrocalcinose. • Est clairement héréditaire dans la plupart des cas. • Répond bien à l’allopurinol. Les compléments ne se situent pas sur un continuum de vérité, ils explorent des dimensions différentes, ei genre, manifestations, génétique et traitement. On ne peut répondre sans consulter les compléments. Cette question ne fait appel qu’à la mémoire et n’évalue pas l’application des connaissances.

24. Défauts techniques • Prévenir les gains associés à la perspicacité du répondant, le petit futé. • Éviter la difficulté hors de propos.

25. Perspicacité du répondantle petit futé • Indices grammaticaux. • Indices logiques. • Les termes absolus. • La longueur d’un complément qui pointe vers la bonne réponse. • Répétition de mots. • La stratégie utilisant la convergence des indices. Type K

26. Difficulté hors de propos • Compléments longs, complexes ou double. • Échelle numérique variable. • Termes vagues dans les compléments. • Complément utilisant: « Aucun des choix ». • Item intriqué ou trop complexe. • Lien entre les réponses de deux questions apparentées.

27. La meilleure réponse...Type A - Les règles de base • Chaque item porte sur un concept important, de par sa fréquence ou sa dangerosité. Éviter la trivialité, les pièges ou les questions inutilement complexes. • Chaque question doit évaluer l’application des connaissances et non leur rappel. • La question doit être claire et on doit pouvoir y répondre sans lire les compléments, d’où l ’importance de la vignette. Éviter les doubles négations. • Les distracteurs doivent être homogènes, grammaticalement semblables, plausibles, de longueur équivalente, logiquement compatibles, au contenu univoque (éviter « faire X et Y ») sauf si tous idem, placé en ordre logique. • Éviter les questions qui favorisent les petits futés ou qui posent des difficultés hors de propos. • Éviter les questions du type: « Identifiez l’affirmations correcte. » ou « Toutes les affirmations qui suivent sont vraies sauf: »

28. …des vignettes homogènes et... • Age, sexe, (Un homme de 45 ans) • Lieu (se présente à l’urgence, au cabinet…) • Raison de consultation (se plaint de céphalées…) • Durée (depuis 2 jours…) • Histoire médicale (histoire familiale au besoin) • Examen physique (éléments positifs ou négatifs) • +/- Résultats de laboratoire • +/- Traitement initial, évolution, etc

29. Une relation correcte entre la vignette et les compléments Vignette longue Complément court Complément court Les compléments ne doivent pas transmettre de nouvelle information. Il ne devrait pas y avoir de verbe. Complément court Complément court Complément court

30. Variation • On peut à partir d’une vignette poser plus d’une question: Vignette, en général clinique Question #1 Question #2 Complément Complément Complément Complément Complément Complément Complément Complément Question #3 Question #4 Complément Complément Complément Complément Complément Complément Complément Complément Mais attention, pour réussir #4, faut-il avoir réussi 1, 2 et 3?

31. La meilleure réponse...Type A - Sciences de base • Le piège est la tendance évaluer le rappel. • Rappel: • L’artère cérébellaire postéro-inférieure irrigue quelle partie du cerveau? • Application: • Un homme de 62 ans développe une ataxie du côté gauche, un syndrome de Horner, un nystagmus et une perte de la sensation de douleur et du froid au niveau du visage. Quelle artère est, le plus probablement, atteinte?

32. La meilleure réponse...Type A - Sciences cliniques • Quelques détails sur les vignettes • Utilisation de véritables cas cliniques: risqué, souvent trop compliqué. • Matériel de référence: fournir ce qui est habituellement disponible en clinique (ei normales) • Utiliser des termes médicaux, plutôt que ceux du patient. • Les patients ne mentent pas dans les QCR (ei. consommation d’alcool).

34. QROCQuestion à Réponse Ouverte et Courte Une femme de 62 ans est hospitalisée pour des maux de tête d'apparition récente, accompagnés de diplopie. Une année auparavant, on a diagnostiqué qu'elle souffrait d'un lymphome diffus à grandes cellules et de stade III. La polychimiothérapie associant doxorubicine (Adriamycine), vincristine et prednisone, a entraîné une rémission complète; elle a été cessée après six cycles. Au cours de la présente hospitalisation, les examens complémentaires, dont la ponction lombaire, ont diagnostiqué une lymphomatose méningée. Il n'y a pas de récidive du lymphome à d'autres endroits. Énumérez trois modalités thérapeutiques disponibles, pour cette patiente : a)________________________________________________________ b)________________________________________________________ c)________________________________________________________

35. QROCQuestion à Réponse Ouverte et Courte • Il s'agit d'une question à laquelle on peut répondre en quelques mots ou phrases. • Dans le cas d’une question comportant des sous-questions, la réponse à chacune de celles-ci doit pouvoir être exprimée en quelques mots ou phrases.

36. QROCQuestion à Réponse Ouverte et Courte • QROC ≠ question à développement court • réponse plus longue et moins structurée, une ou deux phrases à un ou deux paragraphes. • « Discutez des avantages du traitement XYZ pour le problème ABC. »

37. QROCAvantages • Comparativement à la question à développement long ou court, • la correction plus facile et moins subjective • laisse très peu de place à l'interprétation • Comparativement au QCR, • plus facile à créer, mais plus exigeante à corriger.

38. QROCConseils pour leur rédaction • Utilisez des questions auxquelles on peut répondre d'une façon réaliste en quelques mots ou phrases. En général, chaque question ou sous-question ne devrait demander qu'un seul élément d'information. Ainsi, la question suivante : « Quel est le diagnostic le plus probable et quel traitement recommandez-vous? » devrait être scindée en deux questions distinctes.

39. QROCConseils pour leur rédaction • Prévoir dans les espaces réservés aux réponses le nombre suffisant de lignes ou autres repères de façon à indiquer l'étendue de la réponse.

40. QROCConseils pour leur rédaction • Utilisez soit des questions directes « Quel est le meilleur traitement de ...? », soit des verbes très spécifiques tels que « nommer », « indiquer les grandes lignes de ... », « décrire ». Évitez le verbe « discuter » Lorsqu'on utilise des verbes, tels que « décrire », « indiquer les grandes lignes de ... », il importe d'ajouter certaines indications quant aux limites de la réponse attendue (par exemple « décrivez brièvement », « indiquez brièvement les grandes lignes ... »).

41. QROCConseils pour leur rédaction • Parfois, il peut être nécessaire de préciser ce qui ne doit pas apparaître dans la réponse (exemple : « Indiquez un traitement couramment accepté dans ce cas. Soyez spécifique; les doses, les horaires et champs d'application du traitement ne sont pas requis »). Il faut s’efforcer de bien mettre en évidence le critère visé dans la correction de la question.

42. QROCConseils pour leur rédaction • Prenez soin de ne pas fournir d'indices quant à la réponse à la question. Voici un exemple d'une question qui n’en fournit pas : « Quel(s) examen(s) complémentaire(s) additionnel(s) pourrait(aient) être requis, en vue de la décision thérapeutique? », par opposition à la question suivante : « Quels examens complémentaires allez-vous faire avant de décider du traitement? ».

43. QROCConseils pour leur rédaction • La valeur de chaque question (valeur relative dans l'épreuve avec questions à réponse courte) et, dans le cas d'une question avec sous-questions, la valeur de chaque sous question, doivent être déterminées à l’avance et indiquées sur la feuille de réponse du candidat.

44. QROCConseils pour leur rédaction • Pour chaque question ou sous-question, il faut établir la notation pour la(les) réponse(s) acceptable(s), les réponses qui ne sont pas acceptables de même que pour les réponses qui, tout en n'étant pas la meilleure réponse, n’en sont pas moins acceptables.

45. QROCConseils pour leur rédaction • Si une seule réponse doit être considérée comme acceptable, l’énoncé de la question doit être très spécifique sur ce point. Voici quelques exemples : « Quel est le meilleur traitement ...? » , « Quel est... le plus souvent utilisé ... ? », « Quel est le diagnostic le plus probable? ».

46. QROCConseils pour leur rédaction • Autant que possible, la longueur des scénarios (« vignettes cliniques ») doit être proportionnelle à la valeur attribuée aux questions.

47. QROCConseils pour leur rédaction • Les scénarios cliniques doivent être préparés en tenant compte du niveau de formation de l’étudiant.

48. QROCConseils pour leur rédaction • Bien que la conception initiale des modèles de réponses puisse être confiée à un seul professeur, il importe cependant, pour en assurer la validité, de faire appel à l’expertise d'autres professeurs.

50. Problèmes à éléments-clé(Q4) • La mesure de la compétence serait plus valide si les questions posées relativement à chaque problème d’un examen étaient centrées sur les quelques éléments spécifiques et essentiels ayant une importance fondamentale pour la résolution du problème – ses éléments-clé.