Améliorer l’évaluation pour améliorer l’apprentissage : analyses et outils concrets

1. Améliorer l’évaluation pour améliorer l’apprentissage : analyses et outils concrets Marie Coulaud / Jacques Vince INRP, CNRS,Université Lyon 2, ENS-LSH, ENS-Lyon Parcours thématique À quoi peuvent servir les recherches sur l'enseignement et l'apprentissage ? Quelques exemples en physique-chimie Journées nationales de l’UdPPC 2007 Samedi 27 octobre 2007

2. Évaluation : de quoi parle-t-on ? • Évaluation des élèves par les enseignants • Évaluation qui permet de faire le point sur l’apprentissage des élèves (sommative) ET qui donne des informations permettant d’améliorer cet apprentissage (formative)

3. Que veut-on évaluer ? • Leur travail ? • Leur capacité à refaire un exercice ? • Leur connaissance du cours ? • Leur apprentissage ?  La compréhension par les élèves des notions/concepts enseignés et l’acquisition des compétences transversales.

4. Dans quel but ? • Faire un état des lieux de la compréhension des élèves à un instant donné (et donc étudier l’évolution de cette compréhension au cours de l’apprentissage). • Fournir des informations à l’élève pour l’aider à se situer : quel chemin lui reste-t-il à parcourir ? • Fournir des informations à l’enseignant : • sur l’apprentissage de chacun permettant une rétroaction individualisée ; • sur l’apprentissage de la classe permettant une rétroaction d'adaptation à la classe.

5. Des fonctions institutionnelles … et des contraintes • Instructions officielles : obligation d’évaluer les élèves. • Communication à travers cette évaluation : • avec l’équipe pédagogique (conseil de classe) ; • avec les parents et les autres institutions (bulletin et dossier) ; • avec les élèves (notes, annotations, bulletin…). • Peu de temps à consacrer à cette évaluation. • Remarque : en pratique, l’institution met peu l’accent sur l’aspect formatif de l’évaluation

6. Sous quelle forme ? • Alternatives possibles, mais on parle ici de l'évaluation « classique » : • Évaluation écrite. • Temps limité. • Tous les élèves de la classe doivent répondre aux mêmes questions. • Chaque copie est corrigée par l’enseignant et rendue notée et annotée à l’élève.

7. Analyse du processus d’évaluation • du point de vue de l’enseignant ; • du point de vue de l’élève.

8. DU COTE DE L'ENSEIGNANT lecture adéquation écriture DU COTE DE L'ELEVE DS, Test  Exercices  Questions choix de l’ordre de résolution Évaluation : jugement de l’adéquation entre un comportement observé et un comportement attendu Interprétation de la question Idée de ce qui a été fait Cours activités faites en classe Idée de ce qui a été fait en classe Autres connaissances (scolaires ou non) Réponse correcte attendue Contrat / Exigences Idée de réponse Copie  Réponses écrites Idée de sa performance sur le test et lui renvoie une image de lui-même Correction, jugement Note, appréciation Rétroaction sur l’enseignement Apprentissage

9. Quelle utilisation de la recherche ? • Comment produire des outils d’évaluation s'intégrant aux modalités "classiques" en utilisant les travaux de recherche en didactique et en sciences de l’éducation ? • Analyse des différences entre les pratiques des enseignants et les pratiques des chercheurs • Utilisation des travaux sur les conceptions • Utilisation des hypothèses d’apprentissage : modélisation, registres de représentation… • Étudier la cohérence des réponses pour évaluer la compréhension

10. Développement d’outils d’évaluation • Analyse des connaissances à évaluer • Le programme officiel • Le cours de l’enseignant • Prise en compte des contraintes • Moment de l’évaluation • Durée de l’évaluation • Programme à respecter • Étude des exercices existants • Autres sources : Internet, manuels scolaires… • Tests développés dans le cadre de recherches • Hypothèses d’apprentissage (Comment apprend-on ?)  Outils d’évaluation • Découpage du programme en notions/concepts : cohérence inter et intra • Modélisation : passer de l’observable au modèle et inversement • Registres de représentation (forme d’expression de la notion / du concept) : le passage d'un registre à un autre peut être un obstacle • Conceptions : erreurs fréquentes à tester

11. L’évaluation de la compréhension des concepts de mécanique en classe de seconde Références – Site Pégase : http://pegase.inrp.fr – Coulaud, M. (2005). Évaluer la compréhension des concepts de mécanique chez des élèves de seconde : développement d’outils pour les enseignants. Thèse non publiée en sciences de l’éducation, Université Lyon 2.

12. Les travaux de recherche • Travaux sur l’apprentissage de la mécanique en didactique de la physique • Productions de tests et analyse associée (par exemple Force Concept Inventory, Halloun et Hestenes (1985)) • Millar et Hames (2001) Diagnosing pupils’ understanding : développement d’outils « diagnostiques » pour les enseignants • Dumas-Carré et Goffard (1993) ProPhy : développement de problèmes pour la mécanique

13. Un exemple denotion à tester • Ce qu’on veut tester : « Les forces qui s’exercent sur un système se compensent si et seulement si le système est immobile ou est en mouvement rectiligne uniforme (c’est-à-dire si sa vitesse ne varie pas et si sa direction ne change pas). » • Quatre formes possibles : • Immobile ou m. r. u. donc les forces se compensent. • Ni immobile ni m. r. u. donc les forces ne se compensent pas. • Les forces se compensent donc immobile ou m. r. u. • Les forces ne se compensent pas donc ni immobile ni m. r. u.

14. Un exemple : énoncé

15. Un exemple : méthodologie • Choix pour cet exercice : passage du mouvement à la compensation (ou non)des forces. • Utilisation de l’hypothèse sur les registres de représentation : expression des forces et de leur compensation sous forme « langue naturelle » et sous forme vectorielle. • Mesure de la cohérence inter-situations : proposition des mêmes questions pour différentes situations matérielles  utilisation de situations proposées dans les tests existants.

16. Un exemple : but

17. Un exemple : analyse de l’énoncé • À partir d'une situation du champ expérimental, on demande aux élèves de : • décrire le mouvement avec les termes du modèle ; • faire la liste des forces qui s'exercent sur un système donné ; • utiliser les lois de la mécanique pour dire si les forces qui s'exercent sur le système se compensent. • Trois situations afin d'observer l'influence de la situation sur les réponses de l'élève : • Situation 1 (immobilité) : principale difficulté = dire que l'homme exerce une force sur la caisse (puisque celle-ci ne bouge pas). • Situation 2 (mise en mouvement) : difficulté = caractérisation du mouvement. • Situation 3 (m. r. u. ) : permet de vérifier que l'élève sait que les forces se compensent dans le cas d'un mouvement rectiligne uniforme.

18. Un exemple : difficultés a priori (1) • Première ligne : description du mouvement • mauvaise visualisation de la situation ; • non-connaissance de la signification des termes (du modèle) pour décrire un mouvement. • Deuxième ligne : liste des forces • non-connaissance du modèle des interactions ; • confusion Terre et sol ; • raisonnement = force implique mouvement / pas de mouvement implique pas de force.

19. Un exemple : difficultés a priori (2) • Troisième ligne : compensation des forces • erreur dans la réponse sur le mouvement ; • non connaissance des lois de la mécanique ; • raisonnement = nombre de forces impair implique les forces ne peuvent pas se compenser ; • raisonnement = mouvement donc les forces ne se compensent pas.

20. Un exemple : difficultés a priori (3) • Quatrième ligne : schéma des forces • erreur dans la réponse sur la liste des forces ou sur la compensation ; • non-prise en compte de la compensation ; • non-prise en compte d’une ou plusieurs forces ; • non-connaissance des caractéristiques d’une ou plusieurs forces ; • raisonnement du type "mouvement donc résultante dans le sens du mouvement".

21. Un exemple : réponse d’une élève • Élève ayant répondu pour la 1re colonne : • La caisse est immobile. • Force exercée par la Terre sur la caisse, force exercée par le sol sur la caisse, force exercée par l’homme sur la caisse. • Les forces se compensent. • Schéma des forces :

22. Un exemple : interview de l’élève A : Là j’ai mis toutes les forces qu’il y a là et donc je les ai fait toutes de même longueur. Comme les forces elles se compensent, elles devaient être de même longueur mais le problème c’est [...] non mais comme là normalement quand les forces elles se compensent, elles se compensent avec une autre force de sens opposé et là ben elle en a pas » I : Alors il faut nécessairement deux forces pour qu’elles se compensent ou c’est possible avec trois ? A : Ben non je pense qu’il en faut deux I : Il en faut deux pour qu’elles se compensent. Si t’en as quatre c’est possible ? A : Ben oui I : Et si t’en as cinq ? A : Ben non enfin faut qu’on puisse faire des paires.

23. Conclusions temporaires… • Évaluation écrite : limite dans la mesure de la compréhension de l’élève (étapes du raisonnement, obstacles qui n'ont pas été levés, etc.) • Importance d’avoir conscience de cette limite MAIS aussi de se donner les moyens d'accéder plus finement à cette compréhension des difficultés de l'élève (même compétence testée sur plusieurs questions, changement de registre…). « Les contrôles ça devient un petit peu mécanique : on fait des exercices en cours, on a les mêmes en contrôle et on réécrit. Alors que là, ça nous obligeait à réfléchir et à plus appliquer bêtement ce qu’on avait appris en cours. »

24. Pour s'entraîner… Exercice 2 Un palet ayant été lancé par un joueur de hockey sur glace glisse sur la patinoire avec un mouvement rectiligne dans le référentiel terrestre. Il ralentit légèrement. On a représenté le palet par son centre P et la force exercée par la Terre sur le palet (FT/P). Complétezce schéma en indiquant toutes les forces qui s'exercent sur le système palet (On indiquera le sens du mouvement du palet). On négligera l'action de l'air sur le palet. • Liste des compétences testées • Choix du "poids" de l'exercice par rapport aux autres dans le devoir • Estimation du temps nécessaire à un élève pour faire l'exercice • "Fabrication" d'un barème P FT/P

25. Exercice 2 : Forme de l’exercice • Énoncé présentant successivement la situation, des indications sur le schéma et ce qu’on demande à l’élève. • Une seule étape mais complexe : faire le schéma des forces avec indication du sens du mouvement. • Représentation de la situation : mobile soumis à son poids et à la force exercée par la glace (dont frottements), les forces se compensent verticalement mais ne se compensent pas horizontalement. • Remarques : • On a indiqué « toutes les forces » pour insister sur le fait que le schéma doit être complet. • On a demandé le sens du mouvement pour avoir une indication du plan dans lequel l’élève a représenté les forces et pour pouvoir valider l’orientation de la force exercée par la glace ou de la force de frottements.

26. Compétences testées (exercice 2) sens du mouvement • Savoir faire un schéma des forces en indiquant tous les éléments nécessaires à sa compréhension. • Savoir représenter la force exercée par le sol sur un objet en mouvement en tenant compte du sens du mouvement. • Savoir que si un objet n’est soumis qu’à son poids et à la force exercée par le support sur lequel il se déplace et qu’il ralentit alors on tiendra compte des frottements dans la représentation de la force exercée par le support sur l’objet. • Utiliser les lois de la mécanique pour représenter les forces qui s’exercent sur un système dont on connaît le mouvement. • Connaître les lois de la mécanique.

27. Quelques réponses d'élèves Claire Julien Anne Arthur

28. Au sujet du barème… • A-t-on pensé à prendre en compte pour le barème la force dans la direction du mouvement et si oui comment ? • Comment tenir compte des forces "en trop" ? • Comment tenir compte de l'absence éventuelle du sens du mouvement ? • Quelle importance dans cet exercice pour la compensation verticale ? …

29. Des outils pour rendre compte de l’évaluation afin d'aider les élèves Référence Vince J., Coince D., Coulaud M., Déchelette H., Tiberghien A. (2007). Un outil de diagnostic et d’évaluation pour aider l’élève en physique-chimie. Bulletin de l’Union des Physiciens, 893, 427-442.

30. Explicitation et évaluation des compétences "locales" Les compétences sont listées en cours d'apprentissage … puis les mêmes sont évaluées individuellement

31. Évaluation de compétences transversales • Pour l'élève, une efficacité formative accrue • Pour l'enseignant, une façon de mieux connaître l'élève et ses évolution, indépendamment du thème d'étude • Pour l'ensemble de la classe, une façon d'expliciter des exigences générales en construction

32. Quelques résultats d’expérimentation • Sur trois classes une 1re S et deux TS • 98 élèves • 18 se jugent plutôt bons ; • 62 se jugent plutôt moyens ; • 18 se jugent plutôt en difficultés.

33. Sur les 4 inutiles, 2 se jugent moyens et 2 se jugent bons • 78% des répondants "très utile" se jugent moyens (21/27) ; • 4 se jugent en difficultés, 2 se jugent bons

35. 45% du total mais 67% de ceux qui ont jugé la grille très utile

37. 70% 60% 32% 32% 22% 12%

40. Conclusion L'évaluation est une tache qui mobilise énormément les enseignants et les élèves. C'est une tache d'une grande complexité, qui joue surtout un rôle sommatif en pratique. L'enseignant est peu formé à évaluer, il peut difficilement bénéficier des recherches sur le sujet ou des recherches connexes. L'enseignant a intérêt à expliciter : en détail pour l'élève les compétences qu'il va évaluer ; pour lui-même ses hypothèses d'apprentissage et une certaine analyse du savoir en jeu.

41. Conclusion La grille d'évaluation que nous proposons est un des dispositifs permettant de redonner à l'évaluation un rôle formatif sans alourdir les modalités classiques de l'évaluation. Il semble profiter plutôt aux élèves "moyens" et "motivés" (à confirmer). Il est très perfectible et personnalisable…