L’évaluation en stage clinique

1. L’évaluation en stage clinique Jean JOUQUAN Bureau de Pédagogie Médicale Faculté de Médecine de Brest, Université de Bretagne Occidentale XVI° Journées universitaires francophones de pédagogie médicale. Cotonou, 6 avril 2005Session organisée sous l’égide de la

2. Outcome-based education Evaluation de l’enseignement (formations)  Evaluation Evaluation des apprentissages (étudiants) Conséquences, impact

3. De quels outils d’évaluation des apprentissages en stage dispose t-on? • Quels sont les enjeux et quel est l’objet de l’évaluation des apprentissages en stage? • Y a-t-il des bons et des mauvais outils pour l’évaluation des apprentissages en stage? • Quelles recommandations peut-on formuler pour l’évaluation des apprentissages en stage? • Quelques questions de recherche concernant l’évaluation des apprentissages en stage

4. Quels sont les enjeux et quel est l’objet de l’évaluation des apprentissages en stage?

5. Le contexte des stages cliniques est potentiellement le contexte le plus motivant et le plus puissant pour l’enseignement et l’apprentissage des compétences cliniques intégrées. • D. Prideaux et al. • Clinical teaching: maintaining an educational role for doctors • in the new health care environment • Med Educ 2000; 34 : 820-826 • Les stages cliniques (externat) sont loin de fournir régulièrement un environnement d’apprentissage idéal pour les étudiants. • R. Remmen et al. • An evaluation study of the didactic quality of clerkships • Med Educ 2000; 34 : 820-826 • The clinical teaching context: a cause for concern. • J.Spencer • Med Educ 2003; 37 : 182-183

6. « Evaluation drives curriculum » G. Miller, 1961 «  Si vous voulez savoir ce que font les professeurs, regardez le programme … » « …si vous voulez savoir ce que font les étudiants, regardez le système d’évaluation !» G. Norman, 1991

7. Connaissances Habiletés Attitudes Professionnalisme Compétence clinique Connaissances hautement organisées Processus de contrôle de haut niveau Raisonnement clinique Investigation Décisions thérapeutiques Education du patient Performances cliniques Action médicale Ethique

8. Les problèmes de santé rencontrés en stage sont-ils représentatifs des futures pratiques professionnelles des étudiants ?

9. De quels outils d’évaluation des apprentissages en stage dispose t-on? • Quels sont les enjeux et quel est l’objet de l’évaluation des apprentissages en stage?

10. Compétence clinique Connaissances Habiletés Connaissances hautement organisées Processus de contrôle de haut niveau Attitudes Raisonnement clinique (Résolution de problèmes)       Performances cliniques  Pratiques médicales réelles Modifié d ’après Newble, Norman et Van der Vleuten, 2000

11. Respect de la dignité   Professionnalisme    Altruisme Sens du devoir Exigence d’information  Autonomie Compétenceclinique Responsabilité Respect  Action médicale  Excellence Empathie  Intégrité Bienfaisance Consentement  Ethique 

12. Tâches académiques • Questions à choix multiples (QCM) • Questions à réponse ouverte et courte (QROC) • Cartes conceptuelles (Concept mapping) Représentations visuelles et propositionnelles de concepts thématisés, liés entre eux par une relation explicitement nommée (causalité, conditionnalité, identité, …) organisés hiérarchiquement, à l’égard desquelles un jugement qualitatif ou semi-quantitatif peut être porté.).

13. Tâches professionnelles simulées ou modélisées (1) • Analyse de cas cliniques [Patients Management Problem (PMP)] ; Sequential Managment Problem (SMP) ; Modified Essay Question (MEQ)] Dossier clinique (sous forme papier ou sous forme numérique) dont les informations sont fournies de manière séquentielle, linéaire ou bien algorithmique, à la demande de l’étudiant, après chacune de ses réponses (ouvertes ou fermées). La démarche employée par l’étudiant est comparée à celle d’un expert ou d’un groupe de référence et l’appréciation est formulée à l’aide de scores plus ou moins combinés.

14. Tâches professionnelles simulées ou modélisées (2) • Test de concordance de script (TCS) Un problème clinique est soumis à l’étudiant qui doit interpréter des données et prendre des décisions. Des hypothèses d’interprétation ou de décisions lui sont fournies en même temps que des informations nouvelles lui sont communiquées. L’étudiant doit indiquer à l’aide d’une échelle l’importance du crédit ou du discrédit que l’information nouvelle apporte à l’hypothèse. Un score est attribué en prenant en compte des prévalences respectives de plusieurs opinions d’experts.

15. Tâches professionnelles simulées ou modélisées (3) • Examen Clinique Objectif Structuré (ECOS) Une personne (bien portant, patient stabilisé, comédien) est entraînée à jouer de manière reproductible le rôle standardisé d’un patient. Les activités d’interrogatoire, d’examen physique, d’éducation et de conseil de l’étudiant sont appréciées à l’aide de « check-lists », d’échelles de cotation, élémentaires ou globales. Des tâches procédurales complémentaires exploitant divers matériels (mannequins, imagerie, résultats de laboratoire, ECG,…) sont prescrites et côtées. L’ensemble fait l’objet de « stations » d’évaluation (indépendantes ou complémentaires) codifiées.

16. Observation directe de l’étudiant dans une tâche professionnelle non standardisée (1) • Formulaire d’observations longitudinales • Des échelles de notation sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, l’interrogatoire, l’examen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, l’humanisme, le professionnalisme, la compétence générale. • Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3), satisfaisantes (4-6), supérieures (7-9).

17. Observation directe de l’étudiant dans une tâche professionnelle non standardisée (2) • Clinical Evaluation Exercise (CEX) • L’étudiant est observé pendant qu’il interroge et examine un patient puis il présente le cas et en discute la gestion. La cotation est faite à l’aide d’une échelle d’évaluation à 9 points • Objective Structured Long Examination Record (OSLER) • L’étudiant est observé par 2 examinateurs pendant qu’il interroge et examine un patient puis il argumente sa prise en charge. Les examinateurs fondent leur jugement en appréciant 10 items. Chaque item fait l’objet d’une cotation (en 3 grades) et d’un score (en 9 paliers de 35 à 80), étayée par des descripteurs critèriés.

18. Outils visant à documenter des apprentissages effectués à partir de pratiques réelles  • Audit de dossiers médicaux • Des « biopsies » sont effectuées parmi les dossiers des patients pris en charge par les étudiants. Les informations « objectives » du dossier (observations, pancartes, courrier, prescriptions, feuilles de surveillance…) sont analysées et appréciées • .

19. Outils visant à documenter des apprentissages effectués à partir de pratiques réelles  • Portfolio • Collections organisées de matériel apportant des informations sur les apprentissages effectués et sur les compétences développées par un étudiant au cours d'une période : • -récits de problèmes complets ou de certains évènements (échecs, incidents,...), notes d'analyse bibliographique, résumés d'entretiens avec des personnes ressources, descriptions de projets en cours, "journaux de bord" d'activités professionnelles, vidéo-clips d'entretiens avec des patients ou de tâches procédurales, .... ; • -une analyse réflexive développée à partir de cette base d’information.

20. De quels outils d’évaluation des apprentissages en stage dispose t-on? • Quels sont les enjeux et quel est l’objet de l’évaluation des apprentissages en stage? • Y a-t-il des bons et des mauvais outils pour l’évaluation des apprentissages en stage?

21. La démarche évaluative • 1. Recueillir des informations relatives aux apprentissages réalisés pendant et/ou à l’issue d’une période de stage • 2. Interpréter ces informations afin de porter un jugement quant à la valeur de ces apprentissages • 3. Dans le but de prendre une décision

22. Quelques conceptions et/ou pratiques erronées en matière d’évaluation (1) • L’évaluation se limite au recueil des informations (souvent à l’aide d’une mesure) 9, 5 /20 (mesure) mauvais (jugement) ajourné (décision) 10, 5 /20 (mesure) bon (jugement) reçu (décision)

23. Quelques conceptions et/ou pratiques erronées en matière d’évaluation (2) • L’évaluation se limite au jugement (les informations qui l’étayent ne sont pas connues ou ne sont pas explicites) « trèsbon stage » «étudiant intelligent très motivé » «travail insuffisant »

24. Quelques conceptions et/ou pratiques erronées en matière d’évaluation (3) • La mesure est confondue avec la note Le résultat d’une mesure est un score (résultat ou somme des résultats à des tests) La note est une manière codifiée de communiquer le résultat d’une évaluation (décision) et de le rendre public - valeur numérique [8/20, 80/100] - ou cote littérale : A, B, …

25. La perspective DOCIMOLOGIQUE de l ’évaluation La perspective de l ’évaluation « AUTHENTIQUE » (in-training assessment) • Les informations relatives aux apprentissages résultent de procédures éclectiques • Les critères de rigueur sont ceux de l’approche qualitative • Les apprentissages sont appréciés directement à partir de performances, de travaux personnels des étudiants • Enchâssement de l’évaluation dans les situations d’apprentissage • Les informations relatives aux apprentissages doivent résulter d’une mesure • La qualité métrologique des instruments de mesure est le garant de la rigueur de l’évaluation • Les apprentissages sont mesurés indirectement grâce à des tests (tâches) standardisés • Clivage entre les situations d ’apprentissage et les situations d ’évaluation

26. Problème à résoudre • Problème simple • (well structured problem) • tous les indices sont disponibles d ’emblée • la solution requiert des tâches familières • peuvent être résolus avec un haut degré de certitude • les experts s’accordent sur la nature de la solution correcte • Problème complexe • (ill structured problem) • les indices nécessaires à la solution ne sont pas (tous) disponibles d ’emblée • le problème évolue au cours de son investigation • la solution n ’est pas standardisée mais unique • ne peuvent pas être résolus avec un haut degré de certitude • Les experts sont souvent en désaccord quant à la meilleure solution à mettre en œuvre, même quand le problème peut être considéré comme ayant été résolu • But visé : appliquer la « bonne » solution • But visé : élaborer et argumenter l’une des solutions raisonnables possibles

27. RAISONNEMENT CLINIQUE Un processus général qui s ’opère sur et grâce à des connaissances spécifiques Acquisition initiale d ’informations Genèse d ’hypothèses Cueillette orientée de données Evaluation des hypothèses Sélection Confirmation du diagnostic Planification du traitement

29. De quels outils d’évaluation des apprentissages en stage dispose t-on? • Quels sont les enjeux et quel est l’objet de l’évaluation des apprentissages en stage? • Y a-t-il des bons et des mauvais outilspour l’évaluation des apprentissages en stage? • Quelles recommandations peut-on formuler pour l’évaluation des apprentissages en stage?

30. L ’introuvable « étalon or » (1)Le problème des outils pour évaluer la compétence • Aucun outil d ’évaluation utilisé isolément n’est capable d ’évaluer adéquatement les connaissances, habiletés et attitudes d ’un résident. • Holmboe ES, Hawkins RE. 1998 • Il est peu encourageant mais probablement véridique de dire que nous n ’avons aucune méthode raisonnablement fiable pour évaluer la compétence clinique. • Newble D, Norman G, Van der Vleuten. 2000 • Il n ’y a aucune méthode idéale pour évaluer la compétence médicale • -Donabedian A. 2000

31. L ’introuvable « étalon or » (2)Le problème de la définition des « standards » • Malheureusement, nous ne disposons pas de critère de référence objectif pour déterminer quels devraient être les standards ; de ce fait, nous n ’avons aucune méthode probante pour décider si un standard est trop haut ou trop bas. • Kane MT, Crooks TJ et Cohen AS., 1999 • La plupart des procédures d ’établissement des standards pour l ’évaluation des compétences sont discutables en raison de leur caractère arbitraire et de leur non-fidélité. • Friedman BenDavid M. 2000

32. 8 recommandations pragmatiques • Utiliser plusieurs outils d’évaluation des apprentissages en stage • Tâches standardisées et tâches authentiques • Tâches explorant à la fois le processus et le résultat • Utiliser chaque outil plusieurs fois au cours d’un stage • Echantillon varié et représentatif de « cas cliniques » • Nombre suffisant d’interactions avec des patients ou des patients « standardisés » • Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants. • Cotation selon jugement global vs cotation avec check-list

33. 8 recommandations pragmatiques • Utiliser des procédures d ’évaluation cohérentes avec les options pédagogiques conceptuelles du programme, compte tenu des conséquences attendues chez les étudiants. • Raisonnement clinique vs recueil protocolaire de l’observation • Problèmes complexes vs problèmes simples • Lorsque des entrevues avec des patients sont exploitées pour l’évaluation des apprentissages en stage • Observer directement l’étudiant pendant son interaction avec le patient • Faire verbaliser à haute voix l’étudiant sur le processus qu’il a développé

34. 8 recommandations pragmatiques • Si l’auto-évaluation des étudiants est sollicitée dans le cadre de la démarche évaluative, l’accompagner systématiquement d’un dispositif de rétro-action (supervisions cliniques récurrentes, tutorat, … • Rendre explicite aux étudiants, dès le début du stage, la nature des tâches d’évaluation et les critères qui seront pris en compte pour la correction et/ou pour la détermination de la réussite. • Développer des procédures d ’évaluation cohérentes avec les ressources du programmes (évaluateurs, budget, temps, logistique de soutien,…) et avec les valeurs culturelles et sociales

35. Conclusions • Peut-on se dispenser d ’évaluer les compétences cliniques et professionnelles?. • Dispose t-on d ’un outil « idéal » d ’évaluation des apprentissages en stage? • Quels sont les « moins  mauvais » outils d ’évaluation des compétences cliniques et professionnelles ? • Faut-il «uniformiser» les procédures d ’évaluation des compétences dans toutes les facultés? • Comment répondre à « l ’exigence sociale de qualité » • Comment peut-on améliorer le dispositif?

36. Quelques questions de recherche actuelles concernant l’évaluation en stage Combien d’observateurs et combien d’évaluations sont-elles nécessaires pour fournir des renseignements valides et fidèles sur la compétence clinique ? Quels attributs comportementaux faut-il évaluer pour prédire avec sécurité un niveau acceptable de compétence clinique ? D’autres modèles théoriques de la compétence clinique permettraient –ils de développer des procédures plus acceptables en termes de faisabilité ?

37. Questions d’ordre épistémologique : quelle relation l’évaluateur doit-il entretenir avec l’apprenant à évaluer ? • Questions d’ordre ontologique : quelle est la nature des apprentissages à évaluer ? • Questions d’ordre méthodologique : quels sont les outils qui offrent le meilleur compromis entre qualités psychométriques et qualités éducationnelle ? • Processus de nature éthique : au nom de quoi avons-nous pris nos décisions ?