Les projets Pépite et Lingot

1. Les projets Pépite et Lingot Diagnostic cognitif pour un enseignement différencié de l’algèbre élémentaire Équipe MOCAH Université Pierre et Marie Curie, Sorbonne-Universités Elisabeth.Delozanne@lip6.fr

2. Pépites ? Lingot ? • Dans la boue des productions des élèves… • « x + 8 = 8x » • « Il ne faut pas additionner les puissants » • … trouver les granules de connaissances pour forger • … des connaissances conformes au référentiel des programmes

3. Démarche en EIAH • Partir • De l’expertise de chercheures en didactique • De l’expertise d’ une communauté de pratique : association Sésamath • Des travaux ITS&Maths • Créer des modèles informatiques et des logiciels • En retour • Enrichir l’expertise didactique • Enrichir l’expertise et la plateforme de Sésamath • Enrichir l’expertise en conception d’EIAH

4. Plan • Les projets Pépite et Lingot • Contexte, objectifs • Questions de recherche • Une recherche collaborative et itérative • Diagnostic cognitif • Parcours d’apprentissage différencié • Résultats et perspectives

5. Le projet Lingot • Objectifs • Instrumenter l’enseignement différencié en algèbre élémentaire • 3 axes de recherche • Diagnostic (projet Pépite) • Analyser les réponses à des exercices • Détecter des cohérences dans l’activité d’un élève • bilans : Obstacles/Leviers pour l’apprentissage • Situer un élève/un groupe par rapport à la compétence de référence • Apprentissage • Définir des parcours d’apprentissage adaptés aux bilans • Instrumentation de l’activité des enseignants • Organiser un enseignement différencié

6. Projet pluridisciplinaire Didactique des Mathématiques Environnements Informatiques d’Apprentissage Humain Psychologie et Ergonomie Cognitive IHM GL IA IA EnseignantsFormateursAssociation Informatique

7. L’ équipe (une partie) • Informatique • Sésamath • Didactique des maths • Enseignants …

8. Sésamath • Une communauté de pratiques • Une association (2001) • Un site : http://www.sesamath.net/ • Des manuels en ligne et papier • Très bons et moitié moins chers • 18% du marché français • Financent les frais de fonctionnement • En ligne : des outils libres et gratuits • Pour les profs de maths • 14 643 inscrits • Pour les élèves • 450 000 inscrits • 1,3 millions connections /mois

9. Conception participative La participation des enseignants • Difficile à mettre en œuvre • Nécessite du temps • Temps de la recherche • Temps de l’action • Une réflexion pour faire leur place • Des prototypes pour expérimenter • Collaboration avec l’association Sésamath • "Transformer • une symétrie d'ignorance • en symétrie de participation • et en symétrie de connaissances" [Muller 03]

10. Cadres conceptuels • Informatique • Conception centrée utilisateur-participative (Schuller 93, Mackay 04) • Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003) • Ingénierie dirigée par les modèles (Favre et al. 06) • Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010) • EIAH • Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00, Caroll 00) • Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04) • Analyse de traces (Dimitracopoulos09, Choquet07, Marty&Mille09) • Didactique des mathématiques • Dialectique outils/objets, jeu de cadres et registres, ingénierie didactique , approche anthropologique • (Douady 90, Grugeon 95, Artigue 91, Chevallard, Kieran 92,07) • Ergonomie • Activité instrumentée (Rabardel 95, Rogalski 03)

11. Questions de recherche • Comment modéliser les connaissances d’un élève ? • Modèle de référence : didactique/enseignants/informatique • Quelles situations mettre en place pour recueillir des observables ? • Modélisation des tâches diagnostiques, Banque de tests • Comment inférer les descripteurs à partir des observables ? • Typer et coder les réponses : diagnostic individuel local • Détecter les cohérences : diagnostic individuel global • Situer l’élève par rapport à une référence : stéréotypes/groupes • Comment exploiter le diagnostic en prenant des décisions à partir des observables ? • Prise de décisions didactiques (enseignants ou machine) • Aide à la décision pour organiser des parcours • Réflexion métacognitive avec l’élève

12. Cycles de recherche • Une analyse didactique cognitive et épistémologique • un outil de diagnostic papier (Grugeon 95) • Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic • Prototype preuve de concept : Pépite (Jean 2000) • Une nouvelle modélisation de l’élève • 3 niveaux : PépiStéréo(Vincent et al. 2005) • Une modélisation générique du diagnostic • Génération des exercices et de l’analyse automatique des raisonnements : PépiGen et Pépinière (Prévit 2008) • Dissémination : association Sésamath-MathEnPoche • Prototype/application disponible à large échelle : PépiMep (Darwesh et al. 2010) • Parcours d’apprentissage différencié (Pilet 2011, El-Kechaï 2011)

13. Plan • Les projets Pépite et Lingot • Diagnostic cognitif • Modèle de l’élève • Exercices de diagnostic • Diagnostic local/global • Parcours d’apprentissage différencié • Résultats et perspectives

14. Diagnostic cognitif • Analyse (automatique) de l’activité d’un sujet • Performance : réussite/échec • Connaissances, procédures et stratégies • Correctes ou inadaptées • Objectifs • Intervention • Améliorer la performance, certifier • Réguler les apprentissages • Scientifique • Comprendre • des processus de résolution de problèmes, d’apprentissage, d’enseignement, de conception • Modéliser pour simuler, prédire, classifier

15. Différents modèles • Approches symboliques • Psychologie cognitive • ACT : geometrytutor, Algebratutor(équipe de Pittsburg 1983 … 2011) • Diane : problèmes additifs école primaire (Hakem ,Sander, Labat, 2005) • Plasturgie (Richard, Pastré, Labat et al. 2006) • Didactiques des disciplines • Balacheff (1995), Stacey (2003) , Luengo (2010) • Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011) • Approches numériques • IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009) • Réseaux bayésiens (Labat, Hibou 2007)

16. Q1 : Modéliser les connaissances d’un élève • Enseignants • Connaissance de référence : capacités (Programmes scolaires) • ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquables • Connaissances d’un élève : Réussite/Erreurs classiques de calcul • Recherche en didactique des mathématiques • Connaissance de référence • Composantes de la compétence algébrique • Des problèmes variés pour couvrir l’ensemble des composantes • trous, capacités implicites • Connaissances d’un élève • Cohérences dans l’activité mathématique des élèves • Pas seulement des erreurs • Rupture entre pensée algébrique et arithmétique • Leviers et obstacles pour l’apprentissage

17. Modèle de l’élève dans Pépite • Bilan cognitif : 3 niveaux de description

18. Q2 : Recueillir des observables ? • Un élève passe un test • Un ensemble d’exercices conçus pour détecter des cohérences dans l’activité mathématique des élèves • Erreurs/réussites • Des indices de misconceptions/leviers d’apprentissage • Un exercice diagnostique • Énoncé et questions • Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement) • Une grille de codage des réponses • Types de réponses anticipées • Évaluation multidimensionnelle de ces réponses

19. Un exercice diagnostique

20. Diagnostic local(1) Dimensions d’évaluation Validité Usage des Lettres Signe d’Égalité Justification Traduction Écritures Numériques Écritures Algébriques

21. Diagnostic local(2) Dimensions d’évaluation Validité Usage des Lettres Signe d’Égalité Justification Traduction Écritures Numériques Écritures Algébriques

22. Diagnostic local (3)

23. Diagnostic local (4)

24. Q2(suite) : Recueillir des observables • Définir une banque d’exercices et de tests diagnostiques Thèse de D. Prévit (2008) • Travail didactique et premier prototype • Ensemble figé d’exercices figés • Utilisable une seule fois à un seul niveau de classe

25. Un outil auteur : PépiGen • Problème : • Comment passer d’un diagnostic ad hoc à un diagnostic plus générique ? • Caractérisation des exercices équivalents du point de vue diagnostique (clones) • Génération des clones • Analyse multicritère automatique des réponses ouvertes à chacun de ces clones

26. Classe d’exercices diagnostiques Ensemble d’exercices équivalents du point de vue du diagnostic Clones = Exercices similaires (paramètres, invariants)  • solutions plausibles anticipées (correctes et incorrectes): • de même nature • diagnostic Utilisations • Didacticien : • conçoit un exercice+réponses anticipées • Informaticien : • conçoit le modèle de classe d’exercices • Système : • génère des clones à partir des paramètres (générés aléatoirement ou saisis) • analyse les réponses des élèves

27. Classe d’exercices

28. PépiGen Pépinière arbre des solutions anticipées expression algébrique produit un clone saisit les paramètres Système auteur PépiGen XM L Auteur Banquesd’exercices est chargé XM L Modèle de Classe exercices

30. Fichier du clone (x + 6)* 3 - 3 * x <Solution> <Interprétation>- Expressions partielles avec écriture pas à pas enchaînée en succession d’opérations</Interprétation> <Code>V3,L3,T4,J3</Code> <Expression>(x+6)*3</Expression> <Expression>x*3+18</Expression> <Regle>V,7</Regle> <Expression>3*x</Expression> <Expression>3*x+18-3*x</Expression> <Expression>18</Expression> <Regle>V,31</Regle> </Solution> (X+6)*3=3x+18-3x=18

31. Pépinière Un logiciel de calcul formel qui manipule des arbres pour : • Analyse syntaxique des expressions algébriques • Grammaire algébrique • Transformations algébriques • Règles de réécriture correctes ou incorrectes • Génération des solutions plausibles anticipées • Unification et heuristiques • Comparaison des expressions algébriques • Arbres superposables

32. Arbre des solutions anticipées (x+6)*3-3x Règles correctes R1 R2 R1 : (A+B)C AC+BC R3 : AB+AC A(B+C) x*3+6*3-3x x+6*3-3x Erreur de parenthèse avec mémoire Règles erronées R3 R2: (A+B)C A+BC R4: AB+C B(A+C) 3x+18-3x 3x+18-3x -2x+18 R3 R4 R3 R4 18 21x-3x 18 21x-3x R3 R3 18x 18x V3,EA3142 V1,EA1 V3,EA42 V3,EA31 V3,EA32

33. PépiGen :Résultats Avancée significative pour le projet Lingot • Fondement d’une chaîne logicielle • Pour diversifier les tests diagnostiques • Création d’un module de calcul formel réutilisable • Analyse des réponses ouvertes • Développement de classes paramétrées d’exercices diagnostiques • Définition de modèles et d’un métamodèle qui réifie une analyse didactique • Diffusion sur la plateforme Sésamath

34. Q3 : Construction du Bilan ? • L’élève passe un test PépiTest • Ses réponses sont mémorisées • PépiDiag construit le diagnostic en 3 étapes • Analyse multidimensionnelle de chaque réponse : • type de réponse et vecteur de codes (diagnostic local) • Agrégation des codes • Bilan cognitif : caractéristiques personnelles + stéréotype • Formation d’un groupe pour parcours d’apprentissage

35. Étape 1 : Analyse des réponses • Diagnostic local : PépiDiag • Compare la réponse de l’élève à une des réponses anticipées de la grille de codage • Utilise d’un logiciel de calcul formel : Pépinière • Traite les problèmes de commutativité • Détecte les règles (correctes/incorrectes) • Teste l’équivalence des expressions

36. Interpréteur : PépiTest Enregistre le test avec les réponses de l’élève Résout les exercices Interpréteur PépiTest XM L Charge le test avec les réponses de l’élève Elève Réponse de l‘élève est chargé XM L Test constitué d’exercices

37. Diagnostiqueur : PépiDiag XM L Enregistre les réponses avec le diagnostic local (type et codes) est chargé Réponse de l’élève Diagnostiqueur PépiDiag XM L est chargé Tester l’équivalence de 2 arbres d’expression retourne vrai/faux XM L grille de codage Module Pépinière

38. Conception • Fondée sur les réponses anticipées et le fichier grille de codage • Réponses ouvertes • ~10-15 % de réponses non diagnostiquées par le logiciel • Erreur de saisie • Réponses imprévisibles • Couteux • En expertise didactique + Analyse de corpus • Efficace pour les réponses avec une seule expression algébrique • Ajout facile d’un type de réponse • Complexe pour les raisonnements

39. Évaluation du diagnostic local • Dépend du type de question (ouverte/fermée) • N = 360 élèves • 3 experts • trouvent le travail fastidieux (7 à 10 h pour un seul exercice) • se trompent plus que le logiciel • Résultats • Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag • Réponses imprévisibles • 2/3 des réponses incorrectes non analysées par le logiciel, ne sont pas non plus analysées par les experts

40. Étape 2 : Bilan cognitif • Un bilan = • Un stéréotype • niveau de compétence sur les 3 composantes • Usage de l’algèbre, calcul algébrique et traduction d’une représentation dans une autre • Des caractéristiques personnelles • taux de réussite • leviers • fragilités • liste des erreurs • liste des réussites • Ex. : bilan d’Elie

41. Étape 3 : groupes de travail • Gérer la diversité cognitive dans une classe • Apprentissage différencié • Dynamique de l’ensemble • Groupes de stéréotypes • 36 stéréotypes, 15 en pratique • Regroupement des stéréotypes voisins selon la composante sur laquelle l’enseignant veut travailler • Ex. Groupe A (élèves en CA1) contrôlent leur calcul et commencent à choisir les outils adaptés au problème • A+ : savent traduire algébriquement des situations diverses • A- : erreurs de traduction • Ex. : groupes en 2nde

42. Évaluation des groupements • En cours • 1 expérimentation passée • Points de vue Usage • Le prof a fait 3 groupes A, B , C • Travail par 2 : (A+, A-), (B+, B-), (C+, C-) • Pour favoriser les explications entre pairs • Travail en classe, puis devoir à la maison • Nécessité de définir • Des étapes (ex. introduction, révision) • Un objectif commun à la classe • Point de vue Élève • Évolution locale importante • 4 expérimentation en cours

43. Q4 : Exploitation du diagnostic • Tutorat individuel • Réflexion métacognitive avec l’élève • Travail dans la classe • Projet avec Sésamath • Parcours d’apprentissage différencié (Pad) • Thèse en didactique des mathématiques de Julia Pilet • Mise au point des parcours d’apprentissage différencié • Expérimentations en classe • Post-doc en informatique : Naima El-Kechai • Modèle de connaissances • Logiciel PépiPad : aide à la mise en place

44. PépiPad : Un scénario • Qui ? • Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep • Contexte : • MF va aborder le chapitre calcul littéral dans la classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables • Prérequis • MF demande à ses élèves de passer le test à la maison • Sur LaboMep, Pépite lui propose 6 groupes • MF lance PepiPad

45. Scénario (suite) • Paramétrage : MF choisit • L’étape : Prendre un bon départ • L’objectif principal : Donner du sens aux lettres et aux expressions • PépiPad affiche pour chaque groupe • les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités • Adaptation • MF qui ne dispose que de 30 min sélectionne un seul objectif secondaire/groupe • PépiPad met à jour les capacités et exercices associés • MF valide • PépiPad construit des séances pour chaque groupe • Une liste d’élèves • Une liste de ressources • écran

46. Modèle de connaissance • Exercice caractérisé • Capacités • Niveau scolaire • Variables didactiques • Objets mathématiques • Cadre et registres en jeu • Degré de guidage • Identifiant • Origine • Titre

47. Capacité • Composante de la compétence • Ex. calcul algébrique • Groupe de capacités • Ex. calculer, tester, factoriser • Capacité • Ex. calculer l’image d’un nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable • Exemple : capacités liées au calcul algébrique

48. Ontologie simplifiée

49. Expertise didactique • Fait : Pour chaque groupe • Expliciter les objectifs principaux et secondaires • Les lier avec les capacités • En cours : • Indexer les ressources • Associer les objectifs aux étapes

50. PépiPad Parcours générés Générateur de Parcours Bilans cognitifs des élèves Règles de calcul de parcours construit paramètre Utilise l'ontologie des exercices Banque d’exercices prof Pépite