Quelle évaluation des ressources pédagogiques ?

1. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Quelle évaluation des ressources pédagogiques ?

2. Un peu d’imagination • Mettons-nous un instant dans la peau d’un enseignant de biologie. • Pour illustrer son cours, M. Denis-Norbert Allien souhaite trouver une simulation montrant que l’ADN est sous forme de double hélice Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

3. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Comment va-t-il faire ?

4. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Ou bien ?

5. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

6. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Qu’est qu’une ressource pédagogique ? Notion floue : • Les articles scientifiques sont-ils des ressources pédagogiques ? • Non, communication de l’avancée d’une recherche • Oui, sert la réflexion et l’apprentissage → c’est l’usage de la ressource, sa caractérisation qui la détermine

7. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Quelques définitions • Définition de Gérard Puimatto « La notion de ressource pédagogique (ou éducative) est fortement liée à celle de document, et aux approches documentaires. Dans le domaine du multimédia, les "ressources multimédias pour l'éducation" constituent l'ensemble des informations, documents, logiciels, programmes, banques de données, etc. qui permettent de véhiculer, de transmettre ou d'appréhender des concepts et contenus d'enseignements »

8. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 • Robert Bibeau « Toute entité numérique ou non susceptible d'être utilisée, réutilisée ou évoquée dans un contexte d'apprentissage à support technologique.  Le contenu numérique, les applications et les didacticiels utilisés dans un contexte d'apprentissage à support technologique. »

9. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 La plus répandue • LOM « Toute entité (numérique ou non) utilisée dans un processus d'enseignement, de formation ou d'apprentissage. » Tout est alors objet pédagogique !

10. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 D’autres introduisent la durée et la taille • Wisconsin Online Resource Center « les objets pédagogiques sont des petites unités d’apprentissage d’une durée comprise entre 2 et 5 minutes »

11. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Du coté des canadiens • Philippe Flamand « Pour certains, un OA [objet d'apprentissage], c’est une image, un bouton, un petit script Java, une séquence audio ou vidéo, un fichier PDF, un Flash, un Axel ou un site Web. Pour d’autres, c’est un scénario d’apprentissage, une activité pédagogique, une leçon, un module ou un cours complet. Le tout est sûrement sur support numérique? Est-ce adéquat uniquement pour la formation en entreprise? C’est vert ou c’est bleu? C’est grand ou petit, poilu ou pas? »

12. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Et surtout • Le même « Afin d’être significatif et promoteur d’apprentissage, l’OA doit posséder intrinsèquement une intention, mais pas n’importe laquelle : une intention pédagogique».

13. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Une notion floue • L’essentiel, intégrer les particularités de cet objet spécifique, à savoir le contexte d'usage de la ressource : pour quel niveau, quel age, dans quel type d'activité …? • L’indexation peut-elle être utile pour définir ces points ?

14. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Revenons à Denis-Norbert • Notre ami ne trouve rien de pertinent sur Google ! • Il s’oriente alors vers des sites institutionnels

15. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Educnet • Label RIP (Reconnu d'Intérêt Pédagogique ) • Dans la liste des produits labellisés, il trouve celui-ci Collection d'animations scientifiquesdistributeur : CARRE MULTIMEDIA

16. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Oui mais… • Il n’accède qu’au résumé, pas à la ressource • Et rien n’indique le niveau des étudiants auxquels les animations sont destinées

17. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 • Notre ami se souvient d’un site dont on lui a parlé lors d’un colloque aux USA • MERLOT http://www.merlot.org Et là, miracle, il peut faire une recherche par type de ressources pédagogiques

18. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

19. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Ce qu’il ne sait pas • MERLOT utilise le LOM pour l’indexation des ressources pédagogiques

20. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Le LOMLearning Object Metadat • LOM IEEE, standard • LOMFR, norme française, profil d’application du LOM • Objectifs : • Retrouver les ressources pédagogiques

21. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Le LOM, structure • Classe 1. Général – description et identification de la ressource. • Classe 2. Cycle de vie –histoire de la ressource et sur ses contributeurs. • Classe 3. Meta-métadonnées – trace du schéma de métadonnées utilisé. • Classe 4. Technique – Caractéristiques techniques pour l’exécution de la ressource sur un système informatique.

22. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Le LOM, structure • Classe 5. Pédagogique – « Cette catégorie accomplit une fonction de description pédagogique de la ressource. S‘y retrouvent, pour ne citer que certains des éléments, le contexte d’utilisation (scolaire, secondaire, supérieur, formation continue, etc.), le type de public cible (enseignant, auteur, apprenant, gestionnaire), la difficulté, l’âge des apprenants auxquels la ressource est destinée, le temps d’apprentissage type, la langue des apprenants, le niveau et le type d’interactivité. »

23. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Le LOM, structure • Classe 6. Droits – Conditions légales d’utilisation de la ressource : coût, licences, droits d’auteur. • Classe 7. Relation – Relations entre deux ressources physiques (est partie de, est version de, est format de, est référencée par, etc.) • Classe 8. Commentaire – Remarques à propos de la ressource. « Cette catégorie apporte des informations complémentaires utiles à l’évaluation de la ressource ». • Classe 9. Classification – Catégorie qui permet d’assigner des classifications et des vocabulaires contrôlés à une ressource.

24. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Limites du LOM • Approche behavioriste • Problème des vocabulaires : comment garantir l’interoperabilité en gardant la spécificité des domaines et des disciplines

25. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Normalisation de la pédagogie en cours • SCORM (Sharable Content Object Reference Model), pour créer des ressources pédagogiques structurées et garantir l'interoperabilité d'une plate-forme à l'autre • IMS Learning design, pour modéliser les scénarios d'apprentissage • CDM (course description metadata), pour décrire les formations

26. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 • C’est grâce à l’indexation LOM que la ressource est retrouvée • Mais est-ce la meilleure ressource, la plus adaptée à ses besoins ? Peut-il trouver des éléments qualitatifs d’évaluation ?

27. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Ce qu’il ne sait pas • MERLOT évalue les ressources pédagogiques proposées • peer review process • Comments • Assignments

28. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

29. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Circuits d’évaluation de ressources pédagogiques Une analyse fine [Mahé, 2006] des circuits met à jour plusieurs types d’évaluation : • une évaluation a priori, implicite : • une évaluation par validation de la conformité (technique ou descriptive) • une évaluation par comité scientifique (peer-review) • une évaluation par les utilisateurs • une évaluation croisée, par peer-review et par les utilisateurs

30. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Quels critères d’évaluation ? • Évaluation technique  • Évaluation du contenu  • Évaluation du design • Évaluation de la description 

31. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Des exemples FORMIST (http://formist.enssib.fr ) utilise 6 critères dans son peer-review • crédibilité, contenu, description • pertinence, contenu, design • contenu, contenu • pédagogie, contenu • structuration, design • présentation design, technique

32. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Commentaires d’évaluation

33. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 MERLOT • Quality of Content Contenu • Potential Effectiveness as a Teaching-Learning Tool contenu, technique • easy of use design

34. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Les moments de l’évaluation • Dès la création • Guide de qualité • Avant publication • Processus de peer-review, avec les mêmes critiques • Après publication • Commentaires ouverts • Intégration des pratiques réelles et du contexte d’usage

35. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 • Ainsi, notre ami peut trouver des exemples d’utilisation réelle de la ressource, et des commentaires

36. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Comments

37. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Et enfin, après quelques détours, il trouve son animation

38. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Une question jamais posée Qui sont réellement les pairs ? • Les créateurs de ressources pédagogiques • Les experts • Les utilisateurs (enseignants, étudiants)

39. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Les limites • A part par les commentaires, pas de réel retour d’usage, ni de contextualisation de la ressource • Des recherches en cours pour introduire l’intentionnalité pédagogique (T. Kreczanic ), en modifiant le sens des vocabulaires (7, 5.1) du LOM

40. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Et bientôt • Indexation sociale ? • Restituerait le sens donné par l’usager • Evaluation web 2.0 ? • Commentaires, notations

41. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 tutmarks

42. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 L’évaluation des ressources pédagogiques • est dans la lignée de celle de l'ensemble des ressources web • Particularité : l’intentionnalité pédagogique et le contexte d’usage

43. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 L’évaluation des ressources pédagogiques • L’évolution des systèmes d’évaluation permet-tra aux utilisateurs de jouer leur rôle de « pair » (peer-commenting » • Pas possible de faire l'économie de l'appropriation de la ressource par l'enseignant et par l'étudiant

44. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007 Et maintenant Questions ?