140 likes | 235 Views
Faculté de médecine Bureau d’évaluation. Quelques biais possibles liés aux évaluateurs dans l’utilisation des échelles d’appréciation. Serge Normand, M.A. Octobre 2007. Évaluer la compétence clinique.
E N D
Faculté de médecine Bureau d’évaluation Quelques biais possibles liés aux évaluateurs dans l’utilisation des échelles d’appréciation Serge Normand, M.A. Octobre 2007
Évaluer la compétence clinique Most patient encounters require the practitioner to integrate and perform at least 10 separate components capabilities. 16 hours of performance observation across a variety of clinical situations is necessary to achieve reproducible estimates of clinical competence. All reports agree that somewhere between 7 and 11ratings are necessary to achieve a generalizable global estimate of competence when raters are basing ratings on a nonsystematic sample of observations. Williams, R.G. et al., Cognitive, Social and Environmental Sources of Bias in Clinical performance Ratings, Teach Learn Med 2003;15 (4):270-92
Évaluer la compétence clinique Être sensible aux biais de l’évaluation
Threats to the validity of clinical teaching assessments : What about rater error ? Downing, S.M., Medical Education, 2005 In most studies, the variance of raters ( nested in persons or students ) is the largest variance component, typically in the 80-90% range. For example, in a recent study by Kreiter and Ferguson an average of 89% of the total variance was attributable to raters (nested in persons), while only about 10% of the total variance was due the main effect of persons.
+ - Erreur de clémence Error of Leniency Je « sympathise » avec lui Je « m’ identifie » à lui Je tente de corriger ce biais
Erreur de clémence Error of Leniency Correctif Faible Moyen Bon Très bon Excellent
Tendance des examinateurs à ne pas vouloir porter des jugements extrêmes Effet centripète The Error of Central Tendency
+ + + + + Effet de halo The Halo Effect +
Effet de halo The Halo Effect
Erreur de logique A Logical Error L’examinateur présume qu’il existe une relation entre deux variables. Si la première est telle, la seconde sera semblable.
Erreur par contraste A Contrast Error Moins que moi Plus que moi
Effet de proximité A proximity Error Si un observateur évalue deux facteurs différents, l’évaluation de l’un a tendance à influencer l’autre, d’autant plus que le laps de temps entre les deux évaluations est plus court.
Bibliographie Downing, S.M., Threats to the validity of clinical teaching assessments : What about rater error ?, Medical Education 2005;30:350-355 Guilford, J.P., Psychometric Methods, McGraw-Hill Book, New York, 1954, 597p. Williams, R.G. et al., Cognitive, Social and Environmental Sources of Bias in Clinical performance Ratings, Teach Learn Med 2003;15 (4):270-92. (pdf)
Diaporama Documentation Merci de votre attention ! http://www.medbev.umontreal.ca/docimo serge.normand@umontreal.ca