1 / 64

Guillaume Durand Université de Savoie, laboratoire SysCom, équipe Scénario Odile Jacob Education

La scénarisation de l'évaluation des activités pédagogiques utilisant les Environnements Informatiques d'Apprentissage Humain. Guillaume Durand Université de Savoie, laboratoire SysCom, équipe Scénario Odile Jacob Education. Introduction.

asis
Download Presentation

Guillaume Durand Université de Savoie, laboratoire SysCom, équipe Scénario Odile Jacob Education

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. La scénarisation de l'évaluation des activités pédagogiques utilisant les Environnements Informatiques d'Apprentissage Humain Guillaume Durand Université de Savoie, laboratoire SysCom, équipe Scénario Odile Jacob Education Chambéry le 24 octobre 2006

  2. Introduction • Thèse Cifre entre Université de Savoie (SysCom) et Odile Jacob Education (OJE). Problème: Les enseignants ne tiennent pas compte des résultats d’évaluation [Dinet &al 02]. Chambéry le 24 octobre 2006

  3. Le laboratoire 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Thèmes de recherche du laboratoire SysCom (équipe scénario) : • Les Espaces Numériques de Travail (ENT) (Cartable électronique), • La Scénarisation des Activités Coopératives dans le domaine de l’éducation (Modèle de Participation), • Les Langages de Modélisation Pédagogique (LMP), (Learning Design Language - LDL). Chambéry le 24 octobre 2006

  4. L’évaluation scolaireUn objet d’étude 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse • Fait l’objet de nombreux travaux dans des domaines de recherche divers (sciences de l’éducation, docimologie, …). • Pas une, mais plusieurs définitions de l’évaluation. • Selon Hadji [Hadji 90], évaluer, c’est « mettre en relation des éléments issus d’un observable appelés référé et un référent pour produire de l’information éclairante sur le référé » Chambéry le 24 octobre 2006

  5. L’évaluation scolairePas une évaluation mais des évaluations 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Chambéry le 24 octobre 2006

  6. L’évaluation dans les EIAHLa même diversité 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Chambéry le 24 octobre 2006

  7. L’évaluation dans les EIAHLes limites (I) 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Un seul type d’évaluation Exemple: OASYS [Ward &al 04] • Evaluation formatrice • Co-évaluation Chambéry le 24 octobre 2006

  8. L’évaluation dans les EIAH Les limites (II) 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Pas de paramétrage possible Exemple : TDmaths [OJE 03] • Comment modérer une évaluation sommative en fonction des compétences de l’apprenant ? Chambéry le 24 octobre 2006

  9. L’évaluation dans les EIAH Les limites (III) 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Des résultats difficiles à interpréter Exemple : Pépite [Delozanne &al 04] Leur signification ? Comment ont-ils été obtenus ? Chambéry le 24 octobre 2006

  10. L’évaluation dans les EIAH Les freins à l’utilisation 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse • Unicité du modèle d’évaluation vs choix des modèles • Fixité de la méthode d’évaluation vs paramétrage • Résultat incompréhensible vs résultat explicable. Chambéry le 24 octobre 2006

  11. L’évaluation dans les EIAH Un autre frein, plus trivial 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Difficulté pour les enseignants d’utiliser les résultats de l’EIAH dans les évaluations obligatoires qu’ils ont à fournir. Chambéry le 24 octobre 2006

  12. Les ENT La réponse de l’institution 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse • Interopérabilité des services, • Urbanisation des systèmes d’information, • Agrégation de services métiers (scolarité), • Fédération des acteurs : administratifs, parents, élèves, enseignants. Chambéry le 24 octobre 2006

  13. Les ENTInteropérabilité avec les EIAH 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Très rares sont les EIAH répondant à ces caractéristiques Chambéry le 24 octobre 2006

  14. Dans la perspective des ENT Deux problèmes peuvent être résolus 1ère partie Contexte L’évaluation scolaire L’évaluation et les EIAH Les ENT Les LMP Synthèse • Compréhension des résultats • Capitalisation des résultats (Interopérabilité des EIAH avec les services) Chambéry le 24 octobre 2006

  15. L’évaluation dans les ENTUn premier objectif de recherche 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Proposer un format de résultats commun aux EIAH. Chambéry le 24 octobre 2006

  16. L’évaluation dans les ENT Lebesoin d’une évaluation dynamique 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse « Intégrer l’évaluation aussi souplement que possible dans les activités pédagogiques en conservant les moyens de l’adapter » Quels sont les moyens de modéliser les activités pédagogiques ? Chambéry le 24 octobre 2006

  17. Les LMP 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse • Les LMP (IMS-LD, LDL) permettent de scénariser les activités pédagogiques. • Un scénario pédagogique est la « description du déroulement d’une situation d’apprentissage en terme de rôles, d’activités et l’environnement nécessaire à sa mise en oeuvre, mais aussi en termes de connaissances manipulées » [Pernin 03] Chambéry le 24 octobre 2006

  18. Les LMPLe cycle de vie du scénario 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Chambéry le 24 octobre 2006

  19. Les LMPLDL 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Learning Design Language (LDL) [Martel &al06] comprend un petit nombre d'éléments. Chambéry le 24 octobre 2006

  20. Les LMPLDL, des scénarios réels 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse • La chasse au trésor (école d’été EIAH 2005) • L’apprentissage de l’électricité au collège (Kaleidoscope, SVL 2006) • Le jeu des planètes (Workshop ICALT 2006) Chambéry le 24 octobre 2006

  21. Les LMPPeuvent-ils aider à s’affranchir de : 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse • L’unicité du modèle d’évaluation. • La fixité de la méthode d’évaluation. Chambéry le 24 octobre 2006

  22. Les LMPUn second objectif de recherche 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Utiliser les langages de modélisation pour scénariser l’évaluation. Chambéry le 24 octobre 2006

  23. Synthèse 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Pb initial : Les résultats ne sont pas utilisés par les enseignants dans TDmaths. Les hypothèses : • Unicité du modèle d’évaluation, • Fixité de la méthode d’évaluation, • Résultat incompréhensible, • Interopérabilité des EIAH avec les services. Les objectifs : • Proposer un format de résultats • Utiliser les LMP pour décrire des évaluations Chambéry le 24 octobre 2006

  24. Modèle de résultatsMéthodologie 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives • Formats existants (IMS-QTI, IMS-LIP, SCORM, etc.) • EIAH (TDmaths, Pépite, etc.) • ENT (Portail de l’Univ. Savoie, Moodle, Sakaï, etc.) • Les projets spécialisés (TenCompetence, Kaleidoscope) • Formats de traces (Musette, MTSA, UTL, etc.) • Enseignants (Auteurs OJE) Itératif Modèle de résultats Format de résultats Chambéry le 24 octobre 2006

  25. Modèle de résultatsObtention des résultats 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives • Exemples : Chambéry le 24 octobre 2006

  26. Modèle de résultatsEvaluer quoi et comment ? 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

  27. Modèle de résultatsExemple 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives • Un système de CAT: Chambéry le 24 octobre 2006

  28. Modèle de résultatsPlace des acteurs 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives • Des acteurs différents dans l’obtention d’un résultat d’évaluation. Chambéry le 24 octobre 2006

  29. Modèle de résultatsNotion de compétence 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives • Des résultats qui sont en relation avec des compétences et des échelles de compétences : Chambéry le 24 octobre 2006

  30. Modèle de résultats Modèle de Résultat Commun (MRC) 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

  31. Modèle de résultats MRC avec TDmaths 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

  32. Modèle de résultats MRC avec Pépite 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

  33. Format de résultatsTransformation de MRC en XML. 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Exemple: Evaluation d’une dictée <Resultat> .... <Evaluation typeEvaluation="Sommative"> <methode>Recherche de fautes d'orthographe</methode> <evalue> <laCaracteristique>Orthographe_dictée</laCaracteristique> </evalue> <realiseePar> <Acteur id="gdura"> <role>enseignant</role> <nom>Guillaume Durand</nom> </Acteur> </realiseePar> Chambéry le 24 octobre 2006

  34. Format de résultats <reposeSur> <Critere id="1123"> <description>retrait d'un point par faute d'orthographe</description> <bareme typeValeur="integer" max="20" min="0">-1</bareme> </Critere> </reposeSur> </Evaluation> .... <valeurResultat> <valeur typeValeur="integer" max="20" min="0" pas="1">1>18</valeur> <seJustifiePar> <Erreur caractref="11" critereref="1123"> <description>chaîne au lieu de chêne</description> </Erreur> <Erreur caractref="11" critereref="1123"> <description>Attention plages et au pluriel!</description> </Erreur> </seJustifiePar> <commentaire>En progrès seulement deux fautes !</commentaire> </valeurResultat> .... </Resultat> 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

  35. Format de résultatsExpression des compétences 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives • S ’appuie sur IMS-RDCEO. • Formalisme d’expression de compétences. Chambéry le 24 octobre 2006

  36. Format de résultatsLien avec IMS-RDCEO 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives <Resultat> .... <competences> <competence rdceoid="http://ld.pentila.com/rdceo_cat1.xml#cpa_eg"> </competences> …. </Resultat> Chambéry le 24 octobre 2006

  37. Format de résultatsSynthèse 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Le format de résultat : • Permet d ’exprimer les résultats produits par les EIAH, • Donne une signification aux résultats. Premier objectif : • Interopérabilité des résultats, • Compréhension des résultats. Ma Première contribution. Chambéry le 24 octobre 2006

  38. Scénariser l’évaluationMéthodologie 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives • Prouver conceptuellement qu’un LMP peut exprimer une activité comportant une évaluation, • Implémenter et jouer ces scénarios, • Lever les verrous et adapter le LMP et/ou son infrastructure. Chambéry le 24 octobre 2006

  39. Scénariser l’évaluationPreuve conceptuelle 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Une activité différente pour chaque type d’évaluation. Exemple: • Evaluation diagnostique qui vise à construire des groupes de compétence. • L’enseignant propose un questionnaire aux apprenants et les inscrit dans un groupe suivant leurs scores. Chambéry le 24 octobre 2006

  40. Scénariser l’évaluationModélisation de l’exemple 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Preuve Conceptuelle Chambéry le 24 octobre 2006

  41. Scénariser l’évaluationExécution de l’exemple 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Non Exécutable Chambéry le 24 octobre 2006

  42. Scénariser l’évaluationLes verrous de l’exemple 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Premier verrou Chambéry le 24 octobre 2006

  43. Scénariser l’évaluationPremier verrou 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Le problème de l’association des positions aux produits et résultats de l’apprenant. <scenario> …. <Position id= score> …. <Position> …. </scenario> Lien ? Chambéry le 24 octobre 2006

  44. Scénariser l’évaluationLes positions dont la valeur est obtenue par l’observation 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives <scenario> <Position id= score> <valeur> <observer> resultatTDmaths <observer> </valeur>…. <Position> </scenario> Chambéry le 24 octobre 2006

  45. Scénariser l’évaluationSecond verrou Second verrou 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

  46. Scénariser l’évaluationLes enceintes de type méthode 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives <Enceinte kindOfEnceinte="method"> <title>Voir la réponse de l'élève</title> <source> <URL> http://ld.pentila.com/result_view&{reponse} </URL> </source> </Enceinte> Chambéry le 24 octobre 2006

  47. Scénariser l’évaluationSynthèse intermédiaire 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Utiliser les LMP pour décrire des évaluations : • Permet de choisir un modèle d’évaluation, • Permet d’adapter la méthode d’évaluation. Deuxième objectif : • Choix du modèle d’évaluation, • Paramétrage de la méthode d’évaluation. Notre seconde contribution. Chambéry le 24 octobre 2006

  48. Scénariser l’évaluationLimites de cette première approche 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Un seul scénario pour décrire les phases d’évaluation et d’apprentissage : • Scénarios très complexes, • Non réutilisables, • Evaluation non modifiable en cours d’activité. Chambéry le 24 octobre 2006

  49. Scénariser l’évaluationUn nouvel Objectif 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Hypothèse: L’évaluation est une activité. Nouvel Objectif : Scénariser l’évaluation dans un scénario autonome. Intérêts: • Réutilisabilité des scénarios, • Adapter l’évaluation durant l’activité (et non lors de la conception), • Simplifier l’écriture des scénarios. Chambéry le 24 octobre 2006

  50. Scénariser l’évaluationMéthodologie 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives • Prouver conceptuellement qu’un LMP peut exprimer un scénario d’évaluation, • Implémenter et jouer ces scénarios, • Lever les verrous et adapter le LMP et/ou son infrastructure. Chambéry le 24 octobre 2006

More Related