230 likes | 475 Views
Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé. Atelier. Grilles d’observation. Serge Normand, M.A. Docimologue. Définir …. Évaluer la compétence clinique ?. Clinical professional competence.
E N D
Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé Atelier Grillesd’observation Serge Normand, M.A. Docimologue
Définir … Évaluer la compétence clinique ?
Clinical professional competence The ability to gather data from the patient by history and physical examination, integrate this information into a diagnostic formulation, select appropriate investigations to confirm the diagnosis, and institute efficacious management ( Norman 1981 ) The habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individual and community being served ( Epstein and Hundert 2002 )
Defining and Assessing Professional Competence: A Framework for Assessment Epstein, RM and EM Hundert, Defining and Assessing Professional Competence, JAMA, Vol 287, No 2, 2002
Évaluer la compétence clinique ? • Observations • Examens oraux • QCM • Patientsstandardisés • ECOS, CPX 75 % préclinique 63 % clinique LCME 2004
Évaluer la compétence clinique Epstein, RM and EM Hundert, Defining and Assessing Professional Competence,JAMA, Vol 287, No 2, 2002
Grille d’évaluation • Critères • Niveaux qualitatifs( échelle descriptive ) • Stratégie de notation • Geste technique • Attitude • Entrevue • Examen physique • Etc.
Observation directe Liste de vérification ( Checklist) Grille d’évaluation ( Rating Form) • Fait / non fait • Présent / absent • Adéquat / inadéquat • Satisfaisant / non satisfaisant • Etc. • Performance supérieure • Réussite certaine • Réussite limite • Échec limite • Échec certain
Observation directe • Fait / non fait • Présent / absent • Adéquat / inadéquat • Satisfaisant / non satisfaisant • Etc. Liste de vérification ( Checklist) • Observation « dichotomique » • Adaptée au contexte • 10 – 30 items • Pondération • Niveau du candidat Whelan and al., Medical Teacher 2005 : 3; Huber and al. Medical Education 2005 : 39; Kogan and al., Teaching and Learning in Medicine 2005 : 17(2); Gorter and al, Academic Medicine 2000 : 75(11)
Grille d’évaluation Critère : coopération ( échange des idées ) SCALLON, Gérard, L’évaluation des apprentissages dans une approche par compétences, Édition du renouveau pédagogique, 2004
Grille d’évaluation Élaboration de la grille Un travail d’équipe !
Grille d’évaluation Échelle descriptive Ou Échelle uniforme Favorise la rétroaction Mieux adaptéeau candidat « expert »
Établir des normes de réussiteSetting Performance Standards Niveau acceptable C o m p é t e n c e s
Déterminer la note de passage - ECOS ( selon la méthode Borderline Group ) Grille Moyennes des scores par examinateurs 1. Hs shjs sjnhss sjhs sjs sj 2. Ksks sksmsiqopql qlqmq q q qkl 3. Lalka kdm ddkk dlkl dlld 4. Keyw dd e r rrmt tmk 5. Jfjfk dd 6. Hskl;s skj sls ska ak akl ald 7. Hdhhddh shs ahhakk as TOTAL 1 = Échec 2 = Limite insuffisant 3 = Limite suffisant 4 = Attendu 5 = Excellent Éval. Globale 1 2 3 4 5
Déterminer la note de passage - ECOS ( selon la méthode Borderline Group )
Déterminer la note de passage ( selon la méthode Borderline Group )
Déterminer la note de passage( selon la méthode de Ebel ) Situez chaque question ou élément de questions qui composent l’examen dans les cellules de cette grille; par exemple, une questions de 3 points comportera 3 entrées dans la grille. Dans chaque cellule, une proportion de questions qu’un candidat à compétence acceptable devrait réussir est proposée. Pour chaque cellule, multipliez le nombre de questions (ou d’éléments) par le pourcentage correspondant et faites ensuite la somme de ces produits. La valeur obtenue divisée par le nombre total de questions (ou d’éléments) constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage.
Déterminer la note de passage( selon la méthode de Ebel ) Nombre de questions : 72 SAP : 61 %
Déterminer la note de passage( selon la méthode « Direct Borderline » ) Question 1 oui non Question 2 oui non Exemple Nombre de questions: 25 Nombre de OUI : 16 SAP : 64 % Question 3 oui non Question … oui non Question … oui non Question 25 oui non Indiquez pour chaque question si un candidat à compétence acceptable devrait répondre correctement à la question. Le nombre total de « OUI » divisé par le nombre total de questions constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage.