Les projets Pépite et Lingot

1. Les projets Pépite et Lingot M2-Didactique des mathématiques 25-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Université Pierre et Marie Curie http://lutes.upmc.fr/delozanne/2012-2013/Lingot/M2-P7-Lingot.htm

2. Plan • Les projets Pépite et Lingot • Contexte, objectifs • Démo • Une recherche collaborative et itérative • Questions de recherche • Diagnostic cognitif • Parcours d’apprentissage différencié • Résultats et perspectives

3. Des Pépites et des Lingots ? • Dans la boue des productions des élèves… • x + 8 = 8x • Il ne faut pas additionner les puissants • … trouver les granules de connaissances pour forger • … des connaissances conformes au référentiel des programmes

4. Le projet Lingot • Objectifs • Instrumenter la gestion de la diversité cognitive des élèves dans une classe en algèbre élémentaire • 3 axes de recherche • Diagnostic (Pépite) • Analyser les réponses à des exercices • Détecter des cohérences • Obstacles/Leviers pour l’apprentissage • Situer un élève (un groupe d’élèves) par rapport à la compétence de référence • Apprentissage • Parcours d’apprentissage adaptées au diagnostic • Instrumentation de l’activité des enseignants (PépiPad) • Organiser en classe un enseignement différencié

5. Une équipe pluridisciplinaire • Informatique • Sésamath • Didactique des maths • Ergonomie • Enseignants …

6. Démo • Contexte • 3° collège Lingot de Terre Adélie • plateforme LaboMep de Sesamath • Consignes • Toujours cliquer sur OK avant de changer d’exo • Ne pas revenir en arrière • Scénario • Prof : prépare la séance de test diagnostique • Élève : • se connecte sur LaboMep • passe le test (N’oubliez pas de cliquer sur OK) • Prof : regarde les bilans et choisit un thème • PépiPad : génère une séance différenciée • Élève : travaille sur les exercices de sa séance (rafraichir pour voir sa séance)

7. Démarche de recherche itérative • Partir • De recherches en didactique des maths (LDAR) • De l’expertise de l’association Sésamath • Des l’état des recherches en EIAH • Créer des modèles informatiques et des prototypes • Tester les prototypes dans les classes • En retour enrichir • l’expertise didactique • l’expertise et la plateforme de Sésamath • l’expertise en conception d’EIAH • Être utile aux élèves et aux professeurs ?

8. Cycles de recherche • Une analyse didactique cognitive et épistémologique • un outil de diagnostic papier (Grugeon 95) • Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic • Prototype preuve de concept : Pépite (Jean 2000) • Une nouvelle modélisation de l’élève • 3 niveaux : PépiStéréo(Vincent et al. 2005) • Une modélisation générique du diagnostic • Génération des exercices et de l’analyse automatique des raisonnements : PépiGen et Pépinière(Prévit 2008) • Dissémination : association Sésamath-MathEnPoche • Prototype/application disponible à large échelle : PépiMep (Darwesh et al. 2010) • Parcours d’apprentissage différencié (Pilet 2011, El-Kechaï 2011) PépiPad

9. Questions de recherche • Comment modéliser les connaissances d’un élève ? • Modèle de référence : didactique/enseignants/informatique • Quelles situations mettre en place pour recueillir des observables ? • Modélisation des tâches diagnostiques, Banque de tests • Comment inférer les descripteurs à partir des observables ? • Typer et coder les réponses : diagnostic individuel local • Détecter les cohérences : diagnostic individuel global • Situer l’élève par rapport à une référence : stéréotypes/groupes • Comment exploiter le diagnostic en prenant des décisions à partir des observables ? • Prise de décisions didactiques (enseignants ou machine) • Aide à la décision pour organiser des parcours • Réflexion métacognitive avec l’élève • Comment évaluer les outils produits ?

10. Plan • Les projets Pépite et Lingot • Diagnostic cognitif ? • Définitions • Dans Pépite • Q1-Modèle de l’élève • Q2-Exercices de diagnostic et génération de clones • Q3-Diagnostic local/global • Q4-Parcours d’apprentissage différencié • Différents types et formats de modèles • Résultats et perspectives

11. Diagnostic cognitif en EIAH ? • Processus « Processus qui consiste à produire de façon automatique une description des connaissances ou des savoir-faire qu’un système a cru déceler chez un élève en analysant les traces de son activité » (Delozanne et al. 2010) • Résultats du processus • Diagnostic cognitif • Modèle de l’élève • Profil cognitif • Bilan des connaissances et des compétences

12. Architecture de Pépite Exploite PépiDiag PépiDiagLocal PépiDiagGlobal

13. Q1 : Modéliser les connaissances d’un élève • Enseignants • Connaissance de référence : capacités (Programmes scolaires) • ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable • Connaissances d’un élève : Réussite/Erreurs classiques de calcul • Recherche en didactique des mathématiques • Connaissance de référence • Organisation mathématique/didactique • Composantes de la compétence algébrique • Des problèmes variés pour couvrir l’ensemble des composantes • trous, capacités implicites • Connaissances d’un élève • Cohérences dans l’activité mathématique des élèves • Pas seulement des erreurs • Rupture entre pensée algébrique et arithmétique • Leviers et obstacles pour l’apprentissage • Dimensions d’évaluation

14. Modèle de l’élève dans Pépite • Bilan cognitif : 3 niveaux de description

15. Q2 : Recueillir des observables ? • Un élève passe un test • Un ensemble d’exercices conçus pour détecter des cohérences dans l’activité mathématique des élèves • Erreurs/réussites • Des indices de misconceptions/leviers d’apprentissage • Un exercice diagnostique • Énoncéet questions • Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement) • Une grille d’analyse des réponses • Types de réponses anticipées à un exercice • Évaluation multidimensionnelle de ces réponses

16. Un exercice diagnostique

17. Diagnostic local(1) Dimensions d’évaluation Validité Usage des Lettres Signe d’Égalité Justification Traduction Écritures Numériques Écritures Algébriques

18. Diagnostic local(2) Dimensions d’évaluation Validité Usage des Lettres Signe d’Égalité Justification Traduction Écritures Numériques Écritures Algébriques

19. Diagnostic local (3)

20. Q2(suite) : Recueillir des observables • Définir une banque d’exercices et de tests diagnostiques Thèse de D. Prévit (2008) • Travail didactique et premier prototype Pépite1 • Ensemble figé d’exercices figés • Utilisable une seule fois à un seul niveau de classe • Logiciel PépiGen • Caractérisation des exercices équivalents du point de vue diagnostique (clones) • Génération des clones • Analyse multicritère automatique des réponses ouvertes à chacun de ces clones

21. Pépinière Un logiciel de calcul formel qui manipule des arbres pour : • Analyse syntaxique des expressions algébriques • Grammaire algébrique • Transformations algébriques • Règles de réécriture correctes ou incorrectes • Génération des solutions plausibles anticipées • Unification et heuristiques • Comparaison des expressions algébriques • Arbres superposables

22. Plan • Les projets Pépite et Lingot • Diagnostic cognitif ? • Définitions • Dans Pépite • Q1-Modèle de l’élève • Q2-Exercices de diagnostic et génération de clones • Q3-Diagnostic local/global • Q4-Parcours d’apprentissage différencié • Résultats et perspectives

23. Q3 : Analyser les observables ? Comment construire le modèle des compétences d’un élève • L’élève passe un test PépiTest • Ses réponses sont mémorisées • PépiDiag construit le diagnostic en 3 étapes • Analyse multidimensionnelle de chaque réponse : • type de réponse et vecteur de codes (diagnostic local) • Agrégation des codes • Bilan cognitif : caractéristiques personnelles + stéréotype • Formation d’un groupe pour parcours d’apprentissage

24. Étape 1 : Analyse des réponses • Diagnostic local : PépiDiag • Compare la réponse de l’élève à une des réponses anticipées de la grille de codage • Utilise d’un logiciel de calcul formel : Pépinière • Traite les problèmes de commutativité • Détecte les règles (correctes/incorrectes) • Teste l’équivalence des expressions

25. Diagnostiqueur : PépiDiag XM L Enregistre les réponses avec le diagnostic local (type et codes) est chargé Réponse de l’élève Diagnostiqueur PépiDiag XM L est chargé Tester l’équivalence de 2 arbres d’expression retourne vrai/faux XM L grille de codage Module Pépinière

26. Évaluation du diagnostic local • Dépend du type de question (ouverte/fermée) • Comparaison Diagnostic machine/humain • N = 360 élèves • 3 experts • trouvent le travail fastidieux (7 à 10 h pour un seul exercice) • se trompent plus que le logiciel • Critères • Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag • Réponses en une seule expression : OK • Raisonnement : presque mais à améliorer • Réponses imprévisibles (~10 % rep. ouvertes) • 2/3 des réponses incorrectes non analysées par le logiciel, ne sont pas non plus analysées par les experts

27. Étape 2 : Bilan cognitif • Un bilan = • Un stéréotype • niveau de compétence sur les 3 composantes • Usage de l’algèbre, calcul algébrique et traduction d’une représentation dans une autre • Des caractéristiques personnelles • taux de réussite • leviers • fragilités • liste des erreurs • liste des réussites

28. Étape 3 : Groupes de travail • Gérer la diversité cognitive dans une classe • Apprentissage différencié • Dynamique de l’ensemble • Groupes de stéréotypes • 36 stéréotypes, 15 en pratique • Regroupement des stéréotypes voisins selon la composante sur laquelle l’enseignant veut travailler • Ex. Groupe A (élèves en CA1) contrôlent leur calcul et commencent à choisir les outils adaptés au problème • A+ : savent traduire algébriquement des situations diverses • A- : erreurs de traduction • Ex. : groupes en 2nde

29. Plan • Les projets Pépite et Lingot • Diagnostic cognitif ? • Définitions • Dans Pépite • Q1-Modèle de l’élève • Q2-Exercices de diagnostic et génération de clones • Q3-Diagnostic local/global • Q4-Parcours d’apprentissage différencié • Résultats et perspectives

30. Q4 : Exploitation du diagnostic • Tutorat individuel • Réflexion métacognitive avec l’élève • Travail dans la classe • Projet avec Sésamath • Parcours d’apprentissage différencié (Pad) • Thèse en didactique des mathématiques de Julia Pilet • Mise au point des parcours d’apprentissage différencié • Expérimentations en classe • Post-doc en informatique : Naima El-Kechai • Modèle de connaissances • Logiciel PépiPad : aide à la mise en place

31. PépiPad Parcours générés Générateur de Parcours Bilans cognitifs des élèves Règles de calcul de parcours construit paramètre Utilise l'ontologie des exercices Banque d’exercices prof Pépite

32. Capacité • Composante de la compétence • Ex. calcul algébrique • Groupe de capacités • Ex. calculer, tester, factoriser • Capacité • Ex. calculer l’image d’un nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable • Exemple : capacités (document de travail) liées au calcul algébrique (fichier xml)

33. Indexation des exercices • Classe (3, 2) • Complexité • élémentaire, conceptuel simple, complexe, multipas • Capacité • Objet d’entrée/sortie • expression littérale, numérique, figure etc. • Cadre et registres d’entrée et de sortie • Écriture algébrique, programme de calcul etc.

34. Résultats (actuels) du projet • Une recherche pluridisciplinaire et participative • Une méthode de diagnostic • Fondée sur une analyse didactique • 3 étapes : analyse des réponses, bilan personnel, positionnement par rapport à la référence • Typage des réponses anticipées • Des parcours d’apprentissage différenciés • Des logiciels accessibles sur LaboMep • Un test • Un diagnostic automatique • Des exercices adaptés à chaque groupe d’élèves en fonction des objectifs de travail de l’enseignant • Des corpus de réponses importants

35. Méthode de diagnostic • Trois temps • Diagnostic local • Analyse de la réponse à une question • Types de réponses anticipées + vecteur de codes • Diagnostic global individuel • Cohérences entre les réponses • Par composante : taux de réussite + leviers, fragilités, règles fausses et correctes • Diagnostic global collectif • Position de l’élève par rapport à une référence/au groupe • Niveau sur chaque composante • Caractéristiques communes à un groupe

36. Perspectives • Court terme(fin du financement 2012) • Fiabiliser complètement PépiDiag et PépiPad • Long terme (prochain projet) • Articuler • Les parcours fondés sur les stéréotypes • Avec des aides interactives fondées sur l’historique et les caractéristiques personnelles • Des scénarios plus ludiques

37. Résumé • Coté recherche : • Comprendre les difficultés des élèves • Récolter des corpus • Produire des modélisations exécutables d’une expertise didactique pour l’enrichir et l’approfondir • Coté application : • Disséminer des résultats de recherche • Produire des logiciels pour faciliter l’insertion dans/ l’évolution des pratiques enseignantes • www.labomep.net/

38. Diagnostic local (pour le prof)

39. Diagnostic local (pour le chercheur)

40. Diagnostic local pour le logiciel

41. Diagnostic personnel global Bilan Personnel de Sam Eugène Sam est dans le groupe A- Profil du groupe A- : Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu l’algèbre pour résoudre des problèmes

42. Diagnostic collectif global