Les bases de l’évaluation

1. Les bases de l’évaluation CCO Tutorat 2008-2009 UFR Paris 7 Denis Diderot

2. Pourquoi évaluer ? UFR Paris 7 Denis Diderot

3. l’ étudiant Élément de motivation Identification erreurs-lacunes l’enseignant Ajustement contenu / outil / méthode l’institution Efficacité et pertinence p/r objectifs institutionnels la société Certification de compétence Evaluer l’étudiant pour… UFR Paris 7 Denis Diderot

4. Evaluer l’étudiant pour… La société L’étudiant • Evaluation sommative ou sanctionnelle • Quantitative : note • Fonction de sélection • Enseignant :juge • Evaluation formative • Qualitative • Fonctiond’enseignement • Enseignant : pédagogue UFR Paris 7 Denis Diderot

5. L'évaluation formative • Met en évidence • Les points forts • Les difficultés et erreurs, • Progressive et continue • Respectueuse de la personne UFR Paris 7 Denis Diderot

6. Stratégie d’apprentissage L’évaluation sommative • Induit toujours chez l’étudiant une stratégie d’apprentissage Type d’évaluation Car la réussite immédiate estl’obsession de tout étudiant UFR Paris 7 Denis Diderot

7. Cursus Evaluation Etudiants Enseignants Tandis que le cursus définit ce qui va être enseigné, c’est l’évaluation qui dicte ce qui va être appris [Miller G., Academic Medicine 1993;68:471-474.] L’évaluation UFR Paris 7 Denis Diderot

8. Les différents outils en PACES • QCM • Questions rédactionnelles UFR Paris 7 Denis Diderot

9. Quelles sont les qualités attendues d’un outil d’évaluation? UFR Paris 7 Denis Diderot

10. Caractéristiques d’un instrument de mesure • Validité • Fiabilité Schuwirth & Van der Vleuten, BMJ 2003;326:643-645. UFR Paris 7 Denis Diderot

11. Validité : • Validité apparente : • Semble adapté à ce que l’on souhaite mesurer • Validité de contenu : • Couvre les aspects importants des dimensions à évaluer • Jugement • Validité de construit : • Statistiquement représentatif du champ de connaissance à évaluer UFR Paris 7 Denis Diderot

12. Fiabilité • Reproductibilité avec laquelle un instrument mesure une variable donnée • Fiabilité interne • Fiabilité inter-juges • Reproductibilité dans le temps • Reproductibilité en fonction des questions UFR Paris 7 Denis Diderot

13. Critères de choix d'un instrument d'évaluation ? UFR Paris 7 Denis Diderot

14. En pratique… Faisabilité, acceptabilité Impact éducatif Stratégies d’apprentissage Stratégies d’enseignement Compétence professionnelle ? Offre de soins ? UFR Paris 7 Denis Diderot

15. Poids Evaluation formative Selection 0% Utilité d’un instrument de mesureVan Der Vleuten C. Advances in Health Sciences Education 1996;1:41-67. • U = pr F x pv V x pv E • F = Fiabilité • V = Validité p = Poids • E = Impact éducatif UFR Paris 7 Denis Diderot

16. Comment faire l’ascension de la pyramide? Faire Montrer comment Savoir comment Savoir Validité : Suggestions • Format de la question • Contexte authentique • Appeler à un raisonnement • Eviter la complexité • Cas courts (à opposer aux questions à tiroir) • Faciles à noter • Plusieurs méthodes Norman, 1987 ; Swanson, 1987 UFR Paris 7 Denis Diderot

17. Domaine à évaluer Echantillon Echantillon Fiabilité : échantillonnage   Swanson, Educational Researcher 1995;24:5-11 UFR Paris 7 Denis Diderot

18. Fiabilité : Suggestions • Durée d’examen suffisante • Choix de l’instrument • Construction des questions • Approche par points clés • Note de passage UFR Paris 7 Denis Diderot

19. Oral Simulations écrites QCM ECOS 0,45 0,36 0,62 0,43 0,46 0,53 0,76 0,76 0,47 0,93 0,69 0,76 0,93 0,82 0,48 0,86 Fiabilité : variation selon la durée de l’examen Durée 1 2 4 8 Norcini, 1985 ; Newble & Swanson, 1987 ; Swanson, 1987 ; Wass, 2001 UFR Paris 7 Denis Diderot