Définition générale de la démarche évaluative

1. Définition générale de la démarche évaluative • 1- Recueillir des informations relatives aux apprentissages effectués (compétences développées) • 2 -Interpréter ces informations afin de porter un jugement • 3- Dans le but de prendre une décision

2. Quelques conceptions et/ou pratiques erronées en matière d’évaluation (1) • L’évaluation se limite au recueil des informations (souvent à l’aide d’une mesure) 9, 5 /20 (mesure) mauvais (jugement) ajourné (décision) 10, 5 /20 (mesure) bon (jugement) reçu (décision)

3. Quelques conceptions et/ou pratiques erronées en matière d’évaluation (2) • L’évaluation se limite au jugement (les informations qui l’étayent ne sont pas connues ou ne sont pas explicites) « trèsbon stage » «travail insuffisant » «étudiant intelligent très motivé »

4. Quelques conceptions et/ou pratiques erronées en matière d’évaluation (3) • La mesure est confondue avec la note Le résultat d’une mesure est un score (résultat ou somme des résultats à des tests) La note est une manière codifiée de communiquer le résultat d’une évaluation (décision) et de le rendre public - valeur numérique [8/20, 80/100] - ou cote litérale : A, B, …

6. Evaluation à interprétation normative Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats se fait en fonction de la position relative d’une étudiante par rapport à un groupe-norme. Décision fondée sur la performance relative de l’étudiant par rapport à la performance du groupe. Evaluation à interprétation critériée Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats porte uniquement sur la performance de l’étudiant par rapport à la tâche, sans référence aux autres étudiants. Décision fondée sur la performance de l’étudiant par rapport à des critères prédéterminés 2.Interpréter ces informations afin de porter un jugement

7. 2. Interpréter ces informations afin de porter un jugement Nécessité d ’adosser le processus d ’évaluation à une (plusieurs) théorie(s) • Théorie de l ’évaluation • Ex : La perspective docimologique postule : • la « décomposabilité » et la « normativité » des compétences • Théorie de la formation • Ex : Le paradigme d ’enseignement postule : • la « fixité » et la « stabilité» des connaissances • Théorie de l  ’expertise professionnelle • Ex : Certaines procédures d ’évaluation standardisées peuvent « surcoter » des comportements novices par rapport à des comportements experts

8. 3. Dans le but de prendre une décision • Ajuster des stratégies d ’apprentissage et d ’enseignement EVALUATION FORMATIVE • Valider une séquence d ’enseignement ou de stage et/ou autoriser le passage en année supérieure EVALUATION SOMMATIVE • Délivrer une autorisation d ’exercice professionnel EVALUATION CERTIFICATIVE (Licence ou certification)

9. Apprentissage Enseignement Etudiant Evaluation

10. « Evaluation drives curriculum » G. Miller, 1961 «  Si vous voulez savoir ce que font les professeurs, regardez le programme … » « …Si vous voulez savoir ce que font les étudiants, regardez le système d’évaluation» G. Norman, 1991

11. Fondements de l’évaluation des apprentissages 1. Approche centrée sur les différences individuelles (1950-60) (Approche endogène) • Objet central de la démarche : -Les aptitudes, l’intelligence de l’individu • Changement observé : -Les habiletés reliées aux aptitudes ou à l’intelligence -Traits unidimensionnels -Interprétation normative (position de l’individu par rapport aux autres) • Postulat : -La somme des réponses aux questions est un indicateur suffisant de l’importance du changement

12. Fondements de l’évaluation des apprentissages 2. Approche entrée sur un contenu externe à l’individu (1970-90) (Approche exogène) • Objet central de la démarche : -Le contenu du programme d’étude • Changement observé : -Les objectifs pédagogiques -Traits unidimensionnels -Interprétation critériée (individu en rapport avec la tâche) • Postulat : -La nombre d’objectifs réussis est un indicateur suffisant de la performance (amplitude du changement)

13. Fondements de l’évaluation des apprentissages 3. Approche centrée sur le développement de la personne (2000-…) (Approche écologique) • Objet central de la démarche : -L’interaction personne/environnement • Changement observé : -L’adaptation à l’environnement (prévisible et imprévisible) -Traits multidimensionnels -Interprétation à partir du profil de fonctionnement de l’individu dans un contexte donné (contrôlé ou aléatoire) • Postulat : -Le contexte influence (positivement ou négativement) l’accomplissement d’une tâche -La démarche évaluative doit solliciter des contextes « authentiques »

15. Compétence clinique Connaissances Habiletés Connaissances hautement organisées Processus de contrôle de haut niveau Attitudes Raisonnement clinique (Résolution de problèmes)     Performances cliniques  Pratiques médicales réelles Modifié d ’après Newble, Norman et Van der Vleuten, 2000

16. Questions à choix multiple (1960) • Question dont la partie initiale (le tronc) peut prendre la forme d ’une question directe ou d ’un énoncé incomplet et qui comprend un certain nombre de réponses suggérées parmi lesquelles l ’étudiant doit choisir • Points forts • Objectivité grande • Validité de contenu possiblement élevée • Fidelité • Correction automatisable • Points faibles • Validité de construit faible • Explore essentiellement des connaissances déclaratives décontextualisées • Favorise des apprentissages superficiels et peu transférables • Elaboration difficile et souvent caricaturale

17. Cartes conceptuelles(Concept mapping) 1990 • Représentations visuelles et propositionnelles de concepts thématisés, liés entre eux par une relation explicitement nommée (causalité, conditionnalité, identité,…), organisés hiérarchiquement. • Appréciation qualitative et/ou semi-quantitative des concepts, des liens, des niveaux hiérarchiques. • Points forts • Permet d ’accéder à l ’organisation des connaissances • Favorise des apprentissages en profondeur • Outil puissant pour dépister les conceptions erronées • Contextualisation à un problème de santé possible • Validité de contenu vraisemblable • Points faibles • Outil d ’évaluation sommative récent • Recherche évaluative encore restreinte. • N ’évalue pas les connaissances procédurales.

18. Grégoire, DCEM1 Carte conceptuelle Extrait Manque de communication dans l’équipe soignante liés à un L ’information du malade : (annoncer une « mauvaise nouvelle ») se heurte àdes Obstacles a trait aux a trait au a trait au investigations a trait au dus à des dus à la dus à des diagnostic traitement pronostic Situation particulière du patient « Mentalités » particulières Mécanismes de défense liée à sa liée à son liée à sa famille telles que le vécu présents chez le telles que le présents chez le culture malade médecin Paternalisme médical Conformisme du patient : signale les concepts ou « items » illustrés dans la situation d’étude

19. secret professionnel qui est opposable à la famille Respect de L’autonomie du patient une relation médecin-malade fondée sur la Confiance qui prévoit l’information de qui prescrit le est essentielle pour le Contraintes matérielles (temps, locaux, disponibilité) est essentielle pour Code de déontologie Charte du malade hospitalisé Code pénal telles que liés à des telles que telles que L ’information du malade : (annoncer une « mauvaise nouvelle ») qui prescrit une information doit prendre en compte des se heurte àdes Obstacles Dispositions réglementaires a trait aux Manque de communication dans l’équipe soignante liés à un a trait au claire a trait au a trait au investigations appropriée diagnostic exige la mise en œuvre de dus à des dus à des dus à la loyale traitement pronostic Stratégies Situation particulière du patient « Mentalités » particulières Mécanismes de défense préservant l’ prévoyant un espérance intégrant la respectant le utilisant un Environnement adapté liée à son telles que le telles que le durée liée à sa présents chez le présents chez le liée à sa Plan de discussion contrôle de la vitesse de fourniture de l’information par le patient Conformisme du patient malade vécu Paternalisme médical médecin famille culture tel que tel que tel que tel que Sublimation tel que tel que fausse réassurance tel que tel que tel que Déni mensonge tel que Déplacement évitement Agressivité rationalisation Régression fuite en avant : signale les concepts ou « items » illustrés dans la situation d’étude

20. Grilles d’évaluation comportementales 1980 • Des échelles de notation (de 1 à 9) sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, l ’interrogatoire, l ’examen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, l ’humanisme, le professionnalisme, la compétence générale. • Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3),satisfaisantes (4-6),supérieures (7-9). • Points forts • Instrument facile à utiliser • Peu consommateur de temps • Plusieurs dimensions appréciées sur un même période de temps • Des grilles peuvent être adaptées à l ’évaluation par des pairs ou par des patients • Points faibles • Discrimination faible entre étudiants forts et faibles (96% des notes entre 6 et 9) • Effet halo : l ’appréciation de certaines dimensions contamine celle de toutes les autres • Critères parfois peu standardisés voire non directement observés.

21. Patients standardisés et ECOS 1975 • Une personne (bien portant, patient stabilisé, comédien) est entraînée à jouer de manière reproductible le rôle standardisé d ’un patient. • Les activités d ’interrogatoire, d ’examen physique, d ’éducation et de conseil de l ’étudiant sont appréciées à l ’aide de « checklists », d ’échelles de cotation élémentaires ou globales. • Des tâches procédurales complémentaires exploitant divers matériels (Mannequins, RX, Labo, ECG,…) sont prescrites et côtées . • L ’ensemble fait l ’objet de « stations » d ’évaluation (isolées ou complémentaires) codifiées. • Points forts • Evaluation de l’interrogatoire, de l’examen physique et des habiletés de communication. • Fidélité et validité (de contenu+, de construit +/-) sous certaines conditions • Observation directe • Standardisation et planification possibles • Environnement « contrôlé ». • Points faibles • Compétences logistiques difficile à homogénéiser • Caractère non complètement authentique • Pénalisation des étudiants « experts » • Fidélité médiocre pour les tâches de haut niveau (raisonnement clinique, jugement et décision) • Exigences docimologiques contraignantes • Vécu parfois « stressé » des étudiants • Coût

22. Grilles d’évaluation longitudinale 1980 • Des échelles de notation (de 1 à 9) sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, l ’interrogatoire, l ’examen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, l ’humanisme, le professionnalisme, la compétence générale. • Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3),satisfaisantes (4-6),supérieures (7-9). • Points forts • Instrument facile à utiliser • Peu consommateur de temps • Plusieurs dimensions appréciées sur un même période de temps • Des formulaires peuvent être adaptées à l ’évaluation par des pairs ou par des patients • Points faibles • Discrimination faible entre étudiants forts et faibles (96% des notes entre 6 et 9) • Effet halo : l ’appréciation de certaines dimensions contamine celle de toutes les autres • Critères parfois peu standardisés voire non directement observés.

23. Clinical Evaluation Exercise (CEX) ou mini CEX 1990 • L’étudiant est observé pendant qu’il interroge et examine un patient puis il présente le cas et en discute la gestion. • Rétro-action + Echelle d ’évaluation à 9 points • Points forts • Observation directe • Objectivité • Coût minime • Vrais patients • Interaction directe « enseignant-étudiant » • Satisfaction élevée des étudiants • Points faibles • Fidélité inter-correcteur médiocre • Discrimination faible entre étudiants faibles et forts • Validité externe (généralisabilité) faible • Nécessité de répétition ( 10 à 14 séances) • Consommation de temps

24. Test de concordance de script 1998 • . Un problème clinique est soumis à l’étudiant qui doit interpréter des données et prendre des décisions. Des hypothèses d’interprétation ou de décisions lui sont fournies en même temps que des informations nouvelles lui sont communiquées. L’étudiant doit indiquer à l’aide d’une échelle l’importance du crédit ou du discrédit que l’information nouvelle apporte à l’hypothèse. • Points forts • Evaluation objective du processus et non pas seulement du résultat du raisonnement clinique • Authenticité de la situation cherchée • (problèmes mal structurés) • Validité de construit et validité prédictive documentées • Facilité raisonnable de mise en œuvre • Coût acceptable • Points faibles • Conception un peu normative du raisonnement clinique • Se réfère à une décomposabilité du processus de raisonnement clinique

25. Analyse de « cas cliniques »Patient Management Problem (PMP) 1967Sequential Management Problem (SMP) 1974Modified Essay Question (MEQ) 1975 • Dossier clinique (sous forme « papier » ou « numérique ») dont les informations sont fournies de manière séquentielle, linéaire ou bien algorithmique, à la demande de l ’étudiant, après chacune de ses réponses (ouvertes ou fermées) • Comparaison de la démarche employée par l ’étudiant à celle d ’un groupe de référence ou d ’un expert. • Formulation de l ’appréciation à l ’aide de scores +/- combinés. • Points forts • Objectivité dans l ’appréciation d ’un « raisonnement ». • Points faibles • Hétérogénéité des formats • Effet « indice » • Nature « comptable » des scores • Pénalisation des étudiants « experts » • Validité externe (généralisabilité) très médiocre (spécificité de contenu).

26. Objective Structured Long Examination Record (OSLER) 1987 • L’étudiant est observé par 2 examinateurs pendant qu ’il interroge et examine un patient puis il argumente sa prise en charge. • Les examinateurs fondent leur jugement en appréciant 10 items (dont 4 concernent l’interrogatoire, 3 l ’examen physique, 1 la démarche d ’investigation, 1 la gestion et le jugement clinique. Chaque item fait l ’objet d ’une cotation (en 3 grades) et d’une note ( en 9 paliers de 35 à 80), étayée par des descripteurs critériés. • Les problèmes sont classés en trois niveaux de difficultés. • Au total 138 possibilités théoriques de cotation sont disponibles. • Points forts • Observation directe • Authenticité de la situation • Objectivité • Validité de contenu et de construit satisfaisante • Jugement des examinateurs fortement sollicité • Facilité de mise en œuvre • Coût faible • Points faibles • Validité externe (généralisabilité) faible • Consommation de temps • Peu de recherche évaluative

27. Audits de dossiers médicaux 1985 • Des « biopsies » sont effectuées parmi les dossiers des patients pris en charge par les étudiants • Les informations « objectives » du dossier (observations, pancartes, courrier, prescriptions, feuilles de surveillance…) sont analysées et appréciées. • Une rétro-action est éventuellement développée à l ’égard de l ’étudiant. • Points forts • Disponibilité immédiate du matériel • Information directement pertinente par rapport à la prise en charge du patient • Evaluation des pratiques de prévention, de l ’examen physique, de l ’utilisation stratégique des examens complémentaires • Haut degré de fidélité si critères explicites • Points faibles • Qualité variable de la documentation disponible (problème de validité) • Eléments souvent négligés : diagnostic, éducation du patient, procédures • Non observation directe de l ’interaction « étudiant-patient » • Fidélité aléatoire (inter-correcteurs)

28. Portfolio 1995 • Collections organisées de matériel permettant d'obtenir des informations sur les apprentissages effectués et sur les compétences développées par un étudiant au cours d'une période plus ou moins longue d'apprentissage. • Contenu : • - compilation de scripts de problèmes complets ou de certains évènements (échecs, incidents,...), notes d'analyse bibliographique critique, résumés d'entretiens avec des personnes ressources ou de discussions collégiales, descriptions de projets en cours, "journaux de bord" d'activités professionnelles, videoclips d'entretiens avec des patients ou de tâches procédurales,.... • -une analyse réflexive développée à partir de cette banque documentaire. • Points forts • Authenticité • Rigueur de la démarche possible (interprétaton critériée, crédible, transférable, fiable, transparente) • Favorise des apprentissages en profondeur • Coût faible • Points faibles • Processus d ’implantation long • Exigences pédagogiques contraignantes (supervision/tutorat) • Convient parfois mal au style d ’apprentissage de certains étudiants • Nécessite une acceptation et une maîtrise du paradigme « qualitatif »

31. Théorie de la santé Théorie de la compétence Théorie de la formation Théorie de l ’évaluation Evaluation/certification des compétences cliniques

32. Théorie de la santé • Les problèmes de santé rencontrés en stage sont-ils représentatifs des futures pratiques professionnelles des étudiants?

33. Théorie de la formation • Comment conçoit-on l’articulation de la formation par les stages et de la formation par les enseignements formels? • Stages = contextes d’application de connaissances et de compétences développées ailleurs? • Stages = contextes d’apprentissage, d’enseignement et d’évaluation? • Comment conçoit-on la supervision clinique pendant le stage? • Maître de stage = démonstrateur, vérificateur? • Maître de stage = modèle de rôle professionnel explicite, médiateur, motivateur?

34. Théorie de la compétence • Favorise t-on pendant les stages des pratiques cohérentes avec les modèles de compétence que l’on veut développer? • Concernant le processus de raisonnement clinique? • Concernant le processus de décision médicale? • … ?

35. Caractéristiques des évaluations « authentiques » (1) (Adapté d’après Wiggins , 1989) • Concernant la conception des modalités d’évaluation -La production est destinée à un jury -Il n’y a aucune contrainte de temps fixée arbitrairement -La tâche et ses exigences sont connues avant la situation d’évaluation -L’évaluation peut exiger une certaine forme de collaboration avec les pairs -Les tâches d’évaluation sont récurrentes • Concernant l’orientation cognitive des tâches • -L’évaluation n’inclut que des tâches contextualisées • -L’évaluation exige l’utilisation fonctionnelle de connaissances spécifiques • -L’évaluation prend en considération les stratégies cognitives et métacognitives utilisées par les étudiants • -L’évaluation utilise des problèmes complexes visant le traitement en profondeur des informations par l’étudiant

36. Caractéristiques des évaluations « authentiques » (2)(Adapté d’après Wiggins, 1989) • Concernant les critères de correction -La correction ne tient compte que des erreurs importantes dans l’optique de la construction des compétences -Les critères de correction sont multiples et donnent lieu à plusieurs informations sur la compétence évaluée -L’auto-évaluation fait partie de l’évaluation -Les critères de réussite sont démystifiés pour l’étudiant • Concernant l’éthique et la déontologie • -L’évaluation doit déterminer les forces des étudiants • -Les informations obtenues doivent établir un équilibre entre les aptitudes de l’étudiant, ses connaissances antérieures et les nouveaux apprentissages réalisés • -L’évaluation doit minimiser les comparaisons inutiles, injustes et démoralisantes entre les étudiants • -Les mêmes démarches d’évaluation sont exigées de tous les étudiants mais un soutien est nécessaire pour ceux qui éprouvent des difficultés • -L’évaluation est guidée par les exigences de la validité écologique et elle est avant tout au service de l’apprentissage

39. Perspective traditionnelle Théorie de la formation Théorie de l ’évaluation Théorie de la compétence Logique d ’enseignement Perspective docimologique Approche didactique • Corollaires • Les tâches professionnelles réalisées par les étudiants ne peuvent révéler valablement ni les connaissances ni les compétences qu ’ils maîtrisent.  Standardisation • Les enseignants ne sont pas des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se produit.  Externalisation • La rigueur du processus d ’évaluation doit pouvoir être démontrée « expérimentalement ». Mesure

40. QCM Compétence clinique ECOS Connaissances Habiletés Connaissances hautement organisées Processus de contrôle de haut niveau Attitudes Echelles Raisonnement clinique (Résolution de problèmes) « Cas cliniques » Performances cliniques Cex Pratiques médicales réelles Modifié d ’après Newble, Norman et Van der Vleuten, 2000

41. Perspective alternative Théorie de la formation Théorie de l ’évaluation Théorie de la compétence Approche systémique Logique d ’apprentissage Perspective de l’évaluation authentique • Corollaires • Les tâches professionnelles réalisées par les étudiants sont les situations les plus appropriées pour révéler valablement les connaissances et les compétences qu ’ils maîtrisent.Contextualisation • Les enseignants sont des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se produit.Récurrence et interaction • Il est important d ’avoir des informations sur les choses importantes à évaluer et pas seulement sur les choses faciles évaluer (mesurer)Eclectisme

42. Compétence clinique Connaissances1 Habiletés2 Connaissances6 hautement organisées Processus de contrôle de haut niveau7 Attitudes3 Portfolio 1,6.Schémas conceptuels 2,3,4.Enregistrements audio/video 2,3,4.Témoignages écrits 5,6,7.Développements réflexifs …. Raisonnement clinique4 (Résolution de problèmes) Osler Performances cliniques Audits de dossier Pratiques médicales réelles Modifié d ’après Newble, Norman et Van der Vleuten, 2000

43. L ’introuvable « étalon or » (1)Le problème des outils pour évaluer la compétence • Aucun outil d ’évaluation utilisé isolément n’est capable d ’évaluer adéquatement les connaissances, habiletés et attitudes d ’un résident. • Holmboe ES, Hawkins RE. 1998 • Il est peu encourageant mais probablement véridique de dire que nous n ’avons aucune méthode raisonnablement fiable pour évaluer la compétence clinique. • Newble D, Norman G, Van der Vleuten. 2000 • Il n ’y a aucune méthode idéale pour évaluer la compétence médicale • -Donabedian A. 2000

44. L ’introuvable « étalon or » (2)Le problème de la définition des « standards » • Malheureusement, nous ne disposons pas de critère de référence objectif pour déterminer quel devraient être les standards ; de ce fait, nous n ’avons aucune méthode probante pour décider si un standard est trop haut ou trop bas. • Kane MT, Crooks TJ et Cohen AS., 1999 • La plupart des procédures d ’établissement des standards pour l ’évaluation des compétences sont discutables en raison de leur caractère arbitraire et de leur non-fidélité. • Friedman BenDavid M. 2000

45. Recommandations à visée didactique • Développer les tâches d ’évaluation autour de scénarios authentiques, possédant un réel niveau de complexité. • Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants. • Lorsque des méthodes d ’observation directe sont employées, faire verbaliser les étudiants sur le processus développé. • Utiliser des systèmes de cotation simples. • Exposer les étudiants à un nombre suffisant de situations

46. Recommandations à visée « écologique » et déontologique • Développer des procédures d ’évaluation/certification cohérentes avecles ressources du programmes (évaluateurs, budget, temps, logistique de soutien,…) • Développer des procédures d ’évaluation/certification cohérentes avecles options pédagogiques conceptuelles du programme compte tenu des conséquences attendues chez les étudiants.

48. Modèle indicatifde plan d’évaluation 1. But de l’évaluation Pourquoi l’évaluation Type de décision à prendre Diagnostic forces faiblesse étudiants Décision administrative Impact de la formation 2. Compétences à évaluer Aspects du contenu à évaluer Type de compétence à évaluer processus produit processus+produit Décrire: Nature des tâches problèmes simples problèmes complexes bien structurés problèmes complexes mal structurés Décrire: Composantes des tâches connaissances (déclaratives/action) stratégies cognitives stratégies métacognitives stratégies psycho-affectives Décrire:

49. 3. Activités soumises à l’étudiant Mode de présentation Problème écrit Questionnement audio/video Matériel concret Mise en situation Décrire: Contexte d’exécutionRessources Temps alloué Type d’interaction attendu Décrire: 4. Critères d’évaluation Les rubriques Mode de correction Analytique Globale Combinée Décrire: 5. Evaluateur L’enseignant L’étudiant Groupe d’expert Autre Décrire: 6. Nombre d’interventions évaluatives Une fois Plusieurs fois Décrire:

50. Revues générales • Holmboe ES, Hawkins RE. Methods for evaluating clinical competence of residents in internal medicine : a review. Ann Intern Med 1998 ; 129 : 42-48. • Newble D, Norman G, Van der Vleuten. Assessing clinical reasoning. In: Clinical reasoning in the Health Professions. J Higgs and M Jones (Eds), Butterworth Heineman, Oxford : 2000. • LaDuca A. Validation of professional licensure examinations. Professions Theory, Test design and construct validity. Eval Health Professions 1994 ; 17 : 178-197. • Tamblyn R. Is the public being protected? Prevention of suboptimal medical practice through training programs and credentialing examinations. Eval Health Professions 1994 ; 17 : 198-221. • Kane MT, Crooks TJ, Cohen AS. Designing and evaluating standard-setting procedures for licensure and certification tests. Adv Health Sc Ed 1999 ; 4 : 195-207.