Psychologie de l’évaluation Evaluer les étudiants à l’université

1. Psychologie de l’évaluationEvaluer les étudiants à l’université Caroline Giraudeau MCF Université F. Rabelais de Tours caroline.giraudeau@univ-tours.fr

2. Massification et diversification du public étudiant • Nouvelles capacités de départ • Nouvelles orientations d’apprentissage • Demandes diversifiées • Conceptions différentes • Sources : • OVE • L’évaluation des étudiants à l’Université : point aveugle ou point d’appui ? Rapport - n°2007-072 > juillet 2007 Inspection générale de l’administration de l’Education nationale et de la Recherche

3. Code de l’Education • Loi n°84-52 du 26 janv. 1984 sur l’enseignement supérieur • Décret n°92-657 du 13 juill. 1992 relatif à la procédure disciplinaire dans les établissements publics d’enseignement supérieur placé sous la tutelle du ministre chargéde lﾕenseignement supérieur • Circulaire n°2000-033 du 1er mars 2000, Organisation des examens dans les établissements publics de l’enseignement supérieur • Arrêté du 23 avril 2002 relatif aux études universitaires conduisant au grade de licence • Arrêté du 25 avril 2002 relatif au diplôme national de master • Circulaire n°2003-100 du 25 juin 2003, Organisation des examens et concours de l’enseignement scolaire ou supérieur pour les candidats en situation de handicap. • Arrêté du 26 août 2008 modifiant l’arrêté du 23 avril 2002 relatif aux études universitaires conduisant au grade de licence

4. Que disent les textes réglementaires ? • L’habilitation fixe : • l’ensemble des caractéristiques pédagogiques • de l’offre de formation, • des parcours, • des diplômes, des modalités d’organisation des examens, • les règles de capitalisation et de compensation. • Les règles de constitution et de fonctionnement des sections disciplinaires du CA, ainsi que les sanctions disciplinaires applicables. • Les VAE et VAP

5. Dans quel cadre entend-on parler des examens à l’université ? • Règlement des études et des examens • Le calendrier universitaire • Les modalités de contrôle des connaissances • Le régime général et spécial d’étude et de contrôle des connaissances • L’organisation et le déroulement des épreuves. • Les corrections, délibération du jury et publication des résultats. • Les recours et consultations des copies

6. Les diplômes universitaires • Diplôme : il certifie un niveau de connaissances (ou de compétences, pour les diplômes professionnels) que l'on reconnaît acquis, soit appris des études et la réussiteà un examen, soit par équivalence (VAE). • Certification : Une certification professionnelle est délivrépar une autorité ou un organisme valideur (ministères, chambres consulaires, branches professionnelles etc.) • Un diplôme universitaire (DU) est un diplôme d'université, contrairement à la licence, au master et au doctorat, qui sont des diplômes nationaux, c'est-à-dire des "diplômes d’état". • Le diplôme universitaire correspond à un domaine restreint, à vocation temporaire ou professionnelle.

7. Les grades universitaires • La réforme LMD désigne l'application au système français d'enseignement supérieur de la construction de l'Espace européen de l'enseignement supérieur (dit "processus de Bologne").

8. Le référentiel de compétences • Liste des compétences requises pour un emploi • Quelles sont les tâches et acticités réalisées par les professionnels ? • Description précise de ces tâches et activités • Plan de formation • Compétences, savoirs, savoir-faire et savoir-être

9. Andragogie • L'adulte a besoin • de savoir où il va pour assimiler, • le sujet doit être contextualisé, • les objectifs pédagogiques rigoureusement annoncés, • Il faut mettre en avant le lien logique entre les différentes phases de la formation • L’adulte a besoin • de comprendre les raisons de la formation pour être motivé : les actions doivent êtres justifiés et acceptés par les apprenants • et de s'appuyer sur son expérience: la connaissance doit sembler surgir des connaissances passées, être une adaptation de ce qui est déjà connu • l'enseignement doit être interactif.

10. Objectifs pédagogiques • Performance observable: décrire une activité identifiable par un comportement observable • le verbe doit être un verbe d’action. • Condition(s) : décrire les conditions dans lesquelles le comportement doit se manifester • quel matériel utiliser, en combien de temps, etc. • Critère(s) : décrire le(s) critère(s) permettant de savoir si l’objectif est atteint.

11. Docimologie et Evaluation Construction et déconstruction de la note

12. 1) La place de l’évaluation en question • 2) Quels sont les objectifs de l’évaluation ? • 3) Quelles sont les fonctions de l’évaluation ? • 4) La docimologie • 5) Les sources d’erreur • 6) Le comportement et activité mentale de l’examinateur • 7) Les corrections proposées par la docimologie

13. 1) La place de l’évaluation • L’EVALUATION EN QUELQUES DATES • L’évaluation apparaît au VII éme siècle en Chine, et à l’époque napoléonienne en France. • Invasion de la note • Principe d’égalité entre les enfants • Instrument de mesure et le système métrique • Mise en place et reproduction de corps sociaux très spécifiques (fonctionnaires royaux, administrateurs, conseillers, enseignants, médecins…) • 1808 Mise en place du Baccalauréat • 1881 : Apparition du Certificat d’Etudes • Le diplôme devient peu à peu le lien entre l’école et la société, le marché de l’emploi et la pédagogie. • Avec la révolution, on introduit le souci de la justice dans les examens • C’est un problème de justesse qui va rapidement apparaître.

14. L’EVALUATION ET LES SYSTEMES EDUCATIFS • L’évaluation occupe dans le système éducatif des divers pays une place variable : • Pratiquement inexistante au Danemark et en Suède. • Dans les pays germaniques (Allemagne, Pays-Bas, Luxembourg), l’orientation précoce permet d’éviter la problématique de l’échec et du redoublement. • En France, RU, EU, Canada, la procédure d’évaluation est considérable. • La généralisation des examens peut aussi conduire à des excès, tel que le « bachotage ».

15. 2) Quels sont les objectifs de l’évaluation ? • On distingue trois types d’intentions ou d’objectifs : • 1) Evaluation sommative • Certifier que l’apprenant a atteint un certain niveau de formation • Fin de la période de formation • Mesurer les effets de la formation • 2) Evaluation pronostique • Prévoir l’adaptation de l’apprenant, la réussite de l’apprenant dans une formation à venir • 3) Evaluation formative • Mettre en évidence les difficultés dans le processus d’apprentissage • Réguler le processus de formation • Ces trois fonctions ne se distinguent pas si nettement dans les épreuves universitaires.

16. 3) Quelles sont les fonctions de l’évaluation ? • La fonction sociale • Insertion sociale et professionnelle des jeunes. • Examens, Concours, Qualifications • La fonction institutionnelle • Surveillance des apprenants, mais aussi des enseignants, du système scolaire • La fonction pédagogique • Déterminer le niveau de compétence atteint par les apprenants

17. 4) La docimologie • Le terme docimologie combine deux mots grecs : “ dokimé ” signifie épreuve et “ logos ” qui signifie science. • Ce terme fut proposé par Henri Piéron pour étudier l’étude systématique des examens. • Piéron la définit également dans le Vocabulaire de la Psychologie comme : • “ l’étude systématique des examens (modes de notations, variabilité interindividuelle et intra-individuelle des examinateurs, facteurs subjectifs, etc...). » • Trois aspects de la docimologie apparaissent comme objet d’étude : • Les modalités de la coupure entre « admis » et « refusés » • La formation des examinateurs • Le but des épreuves de sélection

18. Apparition de la docimologie • 1922, PIERON et LAUGIER • La validité des tests utilisés à l’époque dans le cadre de l’orientation scolaire et professionnelle • Ces chercheurs comparent les résultats obtenus par un même groupe d’élèves aux tests et les résultats obtenus au C.E.P. du mois de juin 1922. • Ils constatent que le degré de correspondance entre les deux types de résultats est très, très faible.

19. 1931, La Carnegie Corporation de New York finance une vaste enquête internationale sur les examens et les concours sous la direction du Teacher’s College de l’Université Columbia. • Commissions allemande, américaine, anglaise, écossaise, finlandaise, française et suisse. • LAUGIER & WEINBERG • Baccalauréat de l’année 1932 • « Des séries de 100 copies furent reproduites en 6 exemplaires et appréciées indépendamment par 6 correcteurs. » Reuchlin, 1995.

20. Les principaux résultats

21. Exemple de répartition pour la première copie

22. La note vraie Agazzi, 1967 • Pour arriver à une note vraie, les chercheurs ont tenté de déterminer combien de correcteurs devaient être sollicités : • 13 en mathématiques • 19 en version latine • 28 en anglais • 78 en composition française • 127 en philosophie

23. 1955, PIERON, REUCHLIN, BACHER, DEMANGEON • Comparaison des moyennes des notes attribuées par 17 jurys de philosophie et 13 jurys de mathématiques du baccalauréat. • A l’écrit des mathématiques, les moyennes varient de 5,81 à 9,06, et pour la philosophie de 8,2 à 9,5. • A l’oral de physique (série mathématiques) la variation est 8,3 à 13 et à celui de sciences naturelles (série philosophie) de 9 à 14...

24. CRDP de Lyon – 1967 – Université de Médecine • Un candidat de seconde année de médecine. • Cinq correcteurs traitent ses copies de juin et de septembre.

25. 5) Les sources d’erreur • F. Bacher (1969) • Choix du sujet Evaluation sur un sujet ponctuel, pas représentatif de tous les comportements à évaluer • Les élèves Fluctuation des comportements • Evaluateur Evaluation du travail de l’élève ou de son propre travail ?

26. Problèmes de fidélité, de validité et de sensibilité • Trois questions que se posent les enseignants face à une copie : • Est-ce que dans un mois je considérerais excellent un devoir que je considère excellent aujourd’hui ? Sera-t-il jugé excellent par un collègue ? (Fidélité) • Est-ce que je mesure correctement ce que je cherche à mesurer ? (Validité) • Est-ce que mes notes varient assez finement en fonction des différences de qualité des travaux à évaluer ? (Sensibilité).

27. 6) Le comportement et activité mentale de l’examinateur • Les mêmes copies corrigées par les mêmes évaluateurs étaient dans à peu près 40% des cas évalués différemment à un an d’intervalle. • Ceci peut être expliqué par des phénomènes conscients… et inconscients. • Pour remédier aux imperfections de l’évaluation, il paraît nécessaire d’étudier les déterminants et les mécanismes du comportement de l’évaluateur.

28. Les discordances repérées dans les pratiques d’évaluation • L’effet de contagion ou de contamination des copies • L’effet de halo • L’effet de l’ordre de correction des copies • L’effet d’ancrage ou de relativisation • L’effet de stéréotypie • L’effet de tendance centrale • L’effet de flou • L’effet de trop grande indulgence et de trop grande sévérité

29. 7) Les corrections proposées par la docimologie • AGIR SUR LA NOTE • Gérer l’intervalle de notation • Tenir compte des indices de tendance centrale et de dispersion • La moyenne • L’écart type () • On considère que lorsque que le nombre d’évaluations est suffisant, on doit pouvoir observer une distribution gaussienne normale des notes. • La majorité des notes se situe entre -1 et +1. • Au delà, on trouve les bonnes et les mauvaises notes • La note (moy -1 ) correspond à ce que l’on appelle la note type basse. • La note (moy +1 ) correspond à ce que l’on appelle la note type haute.

31. La moyenne et l’écart type permettent de définir la typologie d’un correcteur. • On peut déterminer ainsi l’importance du travail de l’apprenant.

32. Le coefficient d’examen permet d’apprécier le poids d’une discipline dans un examen. • C’est un coefficient implicite lié à l’attitude de correction de l’évaluateur • On calcule la variance docimologique (dans la formule de la variance, on remplace la moyenne par la médiane). • On en déduit l’écart type docimologique • Le coefficient d’examen E correspond à l’écart type docimologique divisé par l’écart type de référence (3). • Si le coefficient d’examen est supérieur à 1 alors le correcteur accentue le poids de sa discipline. • Si le coefficient d’examen est inférieur à 1 c’est l’inverse.

33. Les procédures dites de « modération » • On suppose que les différences de notation entre les différents correcteurs sont à attribuer aux correcteurs. • On effectue une opération de translation (on replace la moyenne à 10) • On effectue une opération de réduction • On calcule les notes réduites • On ajoute une constante qui devient la nouvelle moyenne • Dans les deux cas, on ne touche pas au classement.

34. S’interroger sur la correction de copies • Revenir aux objectifs que l’on se donne lors d’une évaluation • 1) Objet de l’évaluation • Progrès ? Objectivation des étapes ? Savoir final ? • 2) Finalité • Ajustement ou régulation ? Contrôle ponctuel ? Certification ? Sélection ? Orientation ?

35. 3) Choisir les indicateurs • En fonction du contenu • Sondage • Transcription de ce qui a été proposé • Acquisition de connaissance • 4) Construire l’épreuve • Trouver un moyen de provoquer le comportement, la conduite, la réponse attendue, sans que l’apprenant ait à jouer aux devinettes. • 5) L’élaboration d’un barème • Trouver une valeur numérique • Distribuer les points disponibles entre les parties • Distribuer les points en attribuant une valeur à chaque réponse.

36. 6) Au moment de la correction • Reprendre les premières copies • Si le nombre de copies est petit, reprendre la correction en modifiant l’ordre • Classer les copies en ordre croissant et vérifier la pertinence du classement

37. Les prescriptions de la doxologie • La doxologie s’intéresse à ce qui se produit chez celui qui évalue • Chaque correcteur doit connaître son propre modèle de correction (gestion de l’intervalle de notes, connaissances et expertise, représentations,…) car les écarts produits sont dus à une méconnaissance de son fonctionnement lorsqu’il corrige. Bonniol 1981. • Il est indispensable de proposer une norme avant la correction • L'explication du produit idéal attendu améliore les performances des évalués. • Critères

38. Pistes de réflexion pour les ateliers • Concilier contrôle et aide à l’apprentissage • Noter sans décourager • Utiliser les erreurs des élèves dans l’apprentissage • Corriger les travaux d’élèves et formuler des annotations utiles à l’apprentissage • Mettre l’évaluation au service de l’autonomie • Utiliser l’évaluation pour gérer l’hétérogénéité • Utiliser les référentiels • Construire des épreuves critériées • Harmoniser les pratiques d’évaluation dans une équipe • Analyser sa pratique d’enseignant • Faire évaluer sa pratique par les étudiants

39. Bibliographie • Abernot, Y. (1996). Les méthodes d’évaluation scolaire. Paris, Dunod. • Bacher, F. (1973). La docimologie. In M. Reuchlin (Ed.), Traité de psychologie appliquée, Vol. 6, Paris PUF. • Bloom, B.S. (1979). Caractéristiques individuelles et apprentissages scolaires. Editions Labor / Fernand Nathan. • Bonboir (1972). La docimologie. Paris, PUF. • Ketele (1982). Docimologie. Introduction aux concepts et aux pratiques, Louvain-la-Neuve, Cabay. • Landsheere (1980). Evaluation continue et examens : précis de docimologie. Bruxelles, Editions Labor.

40. Lieury et al. (1996). Manuel de psychologie de l’éducation et de la formation. Paris, Dunod. • Mager, R.F. (1986). Comment mesurer les résultats de l’enseignement. Paris, Bordas. • Noizet, G. & Caverni, J.P. (1978). Psychologie de l’évaluation scolaire. Paris, PUF. • Perrenoud, P. (1996). Enseigner : agir dans l’urgence, décider dans l’incertitude. Paris, ESF. • Piéron (1963). Examens et docimologie. Paris, PUF. • Reuchlin, M. (1974). Problèmes d’évaluation. In M. Debesse & G. Mialaret (Eds.), Traité des sciences pédagogiques, Vol. 4, Psychologie de l’éducation (pp. 207-236). • Vogler, J. (1997). L’évaluation. Paris : Hachette Education. • Weiss, J. (1991). L’évaluation : problème de communication. Cousset, Fribourg : Delval.