Modèles et outils logiciels pour l’annotation sémantique de documents pédagogiques

1. Modèles et outils logiciels pour l’annotation sémantique dedocuments pédagogiques Dominique Mille Laboratoire CLIPS Equipe ARCADE GRENOBLE Jury Cyrille DESMOULINS Florence MICHAU Jean-Pierre PEYRIN Philippe TRIGANO Maïa WENTLAND

2. Contexte Formalisation Développement Expérimentation Spécification Conclusion Utilité des annotations • Usage fréquent sur papier [Marshall 97] • Annotation permet de • S’approprier et personnaliser un document [Robert 01] • Activité de la lecture active • Soulager la mémoire humaine [Wolfe 00] • Objet de la mémoire externe • Annotation utile pour [O’Hara 97] • Comprendre le document lors de la lecture • Retrouver des informations • Retrouver une démarche de compréhension • Annotation électronique ?

3. Contexte Formalisation Développement Expérimentation Spécification Conclusion Annotation électronique Faiblement utilisée • Inconfort de lecture [Marshall 01] • Manque de mobilité • Manque de confort d’affichage • Inconfort d’annotation [O’Hara 97] • Impossibilité de reporter les habitudes papier • Contrainte de la souris et du clavier • Manque de variété dans les formes  Mais volonté de conservation électronique [Marshall 01]

4. Contexte Formalisation Développement Expérimentation Spécification Conclusion Solutions aux inconforts • Qualité d’affichage [Gibbs 00] • Réduction des problèmes de lisibilité avancées technologiques • Taille d’écran confortable • Mobilité : deux aspects [Schilit 99] • Transport de la machine : bus, salle d’attente, parc, etc. • Position libre pour la lecture : assis, allongé, debout, etc. • Contrainte de la souris et du clavier [Schilit 99] • Machine avec stylet  report des habitudes papier possible Rejet • Ordinateur de bureau  trop encombrant • Ordinateur portable  interaction pas avec stylet • PDA  écran trop petit

5. Contexte Formalisation Développement Expérimentation Spécification Conclusion Solutions imparfaites • Confort papier inatteignable • Recommandation [Marchall 99] • Conserver les habitudes papiers • Compenser l’inconfort par des avantages informatiques • Déterminer quels sont ces avantages • Étude de l’annotation : ambiguïté du terme • Objet • De la mémoire externe • Quelles sont ses caractéristiques ? • Activité • De la lecture active • Quels en sont les besoins ?

6. Contexte Formalisation Développement Expérimentation Spécification Conclusion Sémantique • Annotation = forme + ancre • Mais pas que cela : auteur, date, etc. • Mais aussi sémantique • Perte de la sémantique • Ex : surlignages bleus et jaunes • L’auteur sait • Autrui ne sait pas • L’auteur ne saura plus • Sémantique implicite • L’expliciter pour la conserver Avantage informatique

7. Contexte Formalisation Développement Expérimentation Spécification Conclusion Objectif • Objectif • Proposer des formalismes et des outils efficaces pour l’annotation électronique de ressources pédagogiques par des apprenants Efficacité = l’apprenant atteint entièrement son but (annoter son document avec toute l’expressivité désirée), dans de bonnes conditions (avec le moins de contraintes, avec le plus de confort) • Permettre une annotation électronique • Conservant les habitudes papier • Offrant des avantages électroniques • Explicitant et conservant la sémantique Outil de transition

8. Contexte Formalisation Développement Expérimentation Spécification Conclusion Contributions • Formalisation de l’annotation • Développement d’un premier annoteur • Expérimentation de l’annoteur • Spécification d’un annoteur final

9. Contexte Formalisation Développement Expérimentation Spécification Conclusion Définition • Annotation Trace de l’activité du lecteur perceptible sur un document en tant que marque placée dans un but spécifique et en un lieu spécifique dont elle ne peut être dissociée • Cette définition • Permet de déterminer si un objet est une annotation ou pas • Rejette • Notes sur pages volantes, synthèses de documents : non placées « en un lieu spécifique dont elles ne peuvent être dissociées » • Annotationsobjectives visant une indexation : non « perceptibles sur un document » • Gribouillages en marge : non placés « dans un but spécifique » • Ne liste pas toutes les caractéristiques des annotations

10. Contexte Formalisation Développement Expérimentation Spécification Conclusion Représentation formelle • Complète • Couvrant toutes les annotations productibles • Contenant tout ce qui constitue une annotation • Non limitée aux apprenants • Confrontation avec • Les représentations existantes • Les descriptions existantes • Les usages observés • Computable et adaptable Représentation structurée de l’annotation à base d’attributs hiérarchisés

11. Contexte Formalisation Développement Expérimentation Spécification Conclusion Objet d’annotation Attributs fixes • Attributs physiques • Attributs circonstanciels • Attributs sémantiques Attributs évolutifs • De transmission • Personnels • Evènement • Point de vue annotateur • Valeurs non modifiables Caractéristiques visibles Circonstances spatiales et temporelles Sens de l’annotation Caractéristiques de don et de réception Apport du nouveau possesseur • Evolution • Point de vue possesseur • Valeurs modifiées à chaque transmission

12. Attributs fixes physiques Ancre physiqueemplacement de l’annotation URL du document Emplacement de l’annotation dans le document Forme visuelleaspect de l’annotation Ancre syntaxique passage annoté Spatiale Structurelle Sémantique Attributs fixes circonstanciels Auteur Date Lieu Situation de réutilisation Situation d’enseignement  discipline, niveau, formation, etc. Contexte Formalisation Développement Expérimentation Spécification Conclusion Attributs fixes Décomposition structurelle et sémantique du document

13. Attributs fixes sémantiques Contenu libre contenu textuel de l’annotation Destinataire(s) Objectif(s) raisons pour lesquelles l’annotation est créée Objectif(s) de lecture active Objectif(s) de mémorisation Importance Confiance Effet Ex : provoquer une sonnerie modifié par le système Contexte Formalisation Développement Expérimentation Spécification Conclusion Attributs fixes • Justifie la présence de l’annotation fortement chargé de sémantique • Annotation : activité de lecture active et objet de mémoire externe deux niveaux d’objectifs • But du marquage sur le document • But de la mémorisation du marquage • Objectif de mémorisation : objectif de l’objectif de lecture active Exemple : « donner un titre » pour « mémoriser des repères dans le document » Permettent unehiérarchisation

14. Attributs évolutifs De transmission Donneur Possesseur Droits Personnels Importance Confiance Contexte Formalisation Développement Expérimentation Spécification Conclusion Attributs évolutifs • Modifiés automatiquement lors d’une transmission • Détermine à qui le nouveau possesseur peut donner l’annotation • Le nouveau possesseur peut donner des droits plus faibles ou égaux à ceux reçus • Du nouveau possesseur • Permettent au nouveau possesseur de s’exprimer par rapport à l’annotation • Permettent au nouveau possesseur de s’approprier l’annotation

15. Contexte Formalisation Développement Expérimentation Spécification Conclusion Valeurs des attributs • Valuation par le lecteur • Valuation par saisie libre • Lent lors de la création • Problème de synonymie • Pas de généralisation des valeurs • Valuation par sélection dans une arborescence • Plus rapide • Homogénéisation du vocabulaire employé • Généralisation possible Prédéfinir les domaines de valeurs des attributs

16. ▬Ajout ▬De texte ▬D’un dessin explicatif ▬D’une marque ▬Unaire ▬Binaire ▬Mise en évidence ▬En surlignant ▬En soulignant ▬En entourant ▬En barrant ▬En changeant la couleur Formes visuelles Aucun objectif contenu Uniquement l’aspect visuel Parfois objectif implicitement contenu Ajout d’une marque binaire a pour objectif Créer une relation entre deux passages Mise en évidence Modification de l’apparence d’une information afin qu’elle soit plus facilement visible Aucun objectif contenu Un trait en marge n’est pas une forme de Mise en évidence Rejet des signets et des liens hypertextes Contexte Formalisation Développement Expérimentation Spécification Conclusion Formes d’annotation

17. Premier niveau d’objectifs ▬Restructurer ▬Ajouter une remarque personnelle ▬Catégoriser ▬Planifier une action ▬Créer une relation entre deux passages ▬Soutenir l’attention Dépendance forte au domaine d’étude pour les niveaux les plus fins Arborescence des objectifs de lecture active génériques : non spécifiques à une communauté Classification exhaustive : couvre tous les objectifs et classifications des auteurs Soutenir l’attention : n’appartient pas à la mémorisation Contexte Formalisation Développement Expérimentation Spécification Conclusion Objectifs de lecture active

18. Détail « Catégoriser » ▬Restructurer ▬Ajouter une remarque personnelle ▬Catégoriser ▬Planifier une action ▬Créer une relation entre deux passages Contexte Formalisation Développement Expérimentation Spécification Conclusion Catégorisation des objectifs Organisation de la forme Restructurer Planifier Organisation du sens Catégoriser Planifier Créer une relation Interprétation Ajouter une remarque Planifier Objectifs de lecture active ▬Objectivement ▬Par type prédéfini▬Par similarité de forme ▬Subjectivement ▬Par valeur d'importance▬Par similarité de sens

19. Détail « Planifier une action » ▬Restructurer ▬Ajouter une remarque personnelle ▬Catégoriser ▬Planifier une action ▬Créer une relation entre deux passages Contexte Formalisation Développement Expérimentation Spécification Conclusion Objectifs de lecture active • Catégorisation des objectifs • Organisation de la forme • Restructurer • Planifier (Réviser) • Organisation du sens • Catégoriser • Planifier (Réviser) • Créer une relation • Interprétation • Ajouter une remarque • Planifier ▬Approfondir ▬Réviser ▬Supprimer ▬Insérer ▬ Reformuler ▬ Déplacer

20. Contexte Formalisation Développement Expérimentation Spécification Conclusion Objectifs de mémorisation • But d’une annotation dans le cadre d’un apprentissage • Retrouver une information contenue dans le document • Faciliter et réutiliser le travail de compréhension • Annotations de révision • Non produites par les apprenants • But : corriger le document • Trois valeurs pour l’objectif de mémorisation • Comprendre • Mémoriser la démarche de compréhension effectuée • Retrouver • Mémoriser des repères dans le document • Corriger • Mémoriser des modifications à réaliser

21. Contexte Formalisation Développement Expérimentation Spécification Conclusion Valuation des attributs • Valuation facultative • Valuation impossible l’effet n’a de valeur que si l’objectif est de planifier une tâche • Ne pas contraindre le lecteur  la valuation rebute [Denoue 00] • Valuation multiple • Ex : surligner un terme à la fois parce qu’il est important et parce qu’il se rapporte à la notion de cellule • Valuation multiple : objectif, destinataire et effet • Valuation unique (ex : auteur et lieu) • Restreindre la valuation par le lecteur • Récupération des valeurs par le système • Dépendances entre attributs • Patrons individuels personnalisables

22. Contexte Formalisation Développement Expérimentation Spécification Conclusion Valuation par le système • Ancre physique, ancre syntaxique, date facile et courant • Auteur, donneur et possesseur si reconnaissance du lecteur par le système • Situation d’enseignement si informations sur le document • Lieu si capture par le système (GPS) • Effet  lorsqu’il a eu lieu

23. Contexte Formalisation Développement Expérimentation Spécification Conclusion Dépendances entre attributs • Valuer un attribut • Value automatiquement d’autres attributs • Restreint les choix de valeurs d’autres attributs Définir ces dépendances • Ontologies des valeurs • Domaine de valeurs des attributs • Relations entre ces valeurs • Relations établies • Formes – ancres syntaxiques spatiales • Formes – ancres physiques • Objectifs de lecture active – ancres syntaxiques spatiales • Objectifs de lecture active – formes • Objectifs de lecture active – objectifs de mémorisation

24. Contexte Formalisation Développement Expérimentation Spécification Conclusion Objectifs – ancres spatiales • Objectifs de restructuration • Annoter tout ou partie du document • Cas particulier de la hiérarchisation • Relative à d’autres passages • Ne peut donc pas concerner le document entier • Objectifs de catégorisation et de mise en relation • Typer et mettre en relation des passages du document  Pas le document entier

25. Contexte Formalisation Développement Expérimentation Spécification Conclusion Objectifs – formes • Intérêt Restreindre les objectifs disponibles après sélection d’une forme • Les formes d’ajout de texte supportent tous les objectifs • Aperçu des restrictions des objectifs • Ajout de dessin explicatif exclut la catégorisation, la mise en relation et la planification • Ajout de marques binaires exclut la mise en relation • Mise en évidence exclut l’ajout de remarque personnelle, la mise en relation, la planification et la reformulation • Mise en évidence en barrant permet uniquement la catégorisation

26. Contexte Formalisation Développement Expérimentation Spécification Conclusion Patrons personnalisables • Légende des annotateurs • Couleurs et/ou forme ↔sémantique (objectif) • Patrons personnalisables • Pour lier automatiquement la forme d’une annotation aux valeurs de ses attributs sémantiques • Intérêts • Activité d’annotation électronique • Très proche de l’activité d’annotation papier • Tout en conservant la sémantique • Partage d’annotation • Adapter la forme aux patrons du receveur • Etudes des pratiques annotatoires • Identification des patrons de base • Patrons affinés par les annotateurs

27. ContexteFormalisation Développement Expérimentation Spécification Conclusion Développement d’un annoteur • Annoteur • Logiciel permettant l’annotation de documents numériques • Version antérieure du formalisme • Implantée en vue • De valider nos formalismes • D’observer les pratiques annotatoires • Besoins • Machine adaptée • Logiciel de lecture

28. ContexteFormalisation Développement Expérimentation Spécification Conclusion Choix matériel et logiciel • Choix du matériel et du logiciel interdépendants • Matériel : tablette PC • Equivalente à un véritable ordinateur de bureau • Norme Microsoft : fonctionnalités prévues au départ (orientation de l’écran, stylet magnétique, …) • Windows XP • Logiciel : Mobipocket Reader • Logiciel de lecture active (avec annotations) pour assistants électroniques • Conversions oeb (norme xml), html, doc vers prc possibles • Développé en France  facilite les échanges en vue de le compléter • Possibilité de surligner, souligner, barrer du texte, de différentes couleurs • Confort de lecture et ergonomie

29. ContexteFormalisation Développement Expérimentation Spécification Conclusion Spécifications de l'annoteur • Faire un prototype • A partir du logiciel Mobipocket Reader (dll) • En supprimant leurs fonctionnalités d’annotation • En ajoutant nos propres fonctionnalités d’annotation • Spécifications : mémorisation • Ouverture, fermeture de session • Création, modification, suppression d’annotations • Sémantique explicite des annotations • Utilisabilité similaire à un document papier • Utilisation intuitive • Pas d’enregistrement pour l’utilisateur

30. ContexteFormalisation Développement Expérimentation Spécification Conclusion Réalisation de l'annoteur • Microsoft Visual C++ • Représentation des données • Externe : Surlignage + fenêtre d’attribut • Interne : fichier XML pour les annotations et les ontologies • Difficultés : pas le code source • Formes • Navigation • Aspect • Première version non optimale

31. ContexteFormalisation Développement Expérimentation Spécification Conclusion Contexted’expérimentation • Appel ENT “Ecrit, nouvelles technologies, communication et cognition”, ACI Cognitique & Programme CNRS Société de l’Information • Modélisation d’activités d’annotation sur des e-books pour la formalisation de patrons d’annotation informatiques • Cyrille Desmoulins et Michel Dubois • Partenariats • Equipe pédagogique de Chimie en DEUG, Isabelle Girault (LIDSET) • Laboratoire de Psychologie Sociale, Michel Dubois

32. ContexteFormalisation Développement Expérimentation Spécification Conclusion Protocole • Population • Etudiants de première année de chimie et de psychologie • Volontaires et annotant habituellement leurs documents • Ecologique : TP de Chimie (20 sujets) • Laboratoire : texte de psychologie (20 sujets) • Déroulement • Utilisation du dispositif pour préparer le TP et pendant la séance pour le réaliser • Utilisation du dispositif pour lire et annoter un texte de psychologie, selon des consignes données par les expérimentateurs • 8 annotateurs en parallèle (8 ordinateurs tablettes) • Expérimentation papier 2003 • Idem 2004 mais sur papier

33. ContexteFormalisation Développement Expérimentation Spécification Conclusion Objectifs • Observations • Comment et pourquoi les étudiants annotent-ils? • Quelles sont les pratiques individuelles/communes? • Quels sont les liens entre formes et objectifs ? • Afinde • Valider notre représentation formelle • Etablir des liens entre forme et objectif • Proposer des patrons personnalisables • Pour les psychologues : comparer l’annotation papier et l’annotation électronique

34. ContexteFormalisation Développement Expérimentation Spécification Conclusion Résultats : formes et couleurs • Formes employées • Grande variabilité interindividuelle • Couleurs employées • Couleurs les plus fréquentes : jaune et vert • Utilisation de une à six couleurs • Plus nombreuses avec annoteur • Probablement parce que l’annoteur ne propose que le surlignage • Couleur principale • Si plusieurs couleurs, alors toujours une couleur privilégiée • Varie d’un étudiant à l’autre, souvent jaune, jamais bleu Grande variabilité interindividuelle • Nécessité d’une interface personnalisable • Accès rapide aux formes et couleurs • Sans être encombré par des formes et des couleurs superflues

35. ContexteFormalisation Développement Expérimentation Spécification Conclusion Résultats : pratiques régulières • Spécificité du contenu annoté • Très différent entre chimie et psychologie  • Lié à la discipline et au type du document  Dépend de la situation d’enseignement et de la situation de réutilisation • Pratiques individuelles et communautaires • Au sein de chaque discipline • Pratiques communes et divergences entre étudiants • Régularités individuelles : forme/objectif et forme contenu/annoté Régularités utilisables • Pour simplifier la tâche de valuation du lecteur • Par des patrons personnalisables

36. ContexteFormalisation Développement Expérimentation Spécification Conclusion Résultats : utilités des annotations • Création d’un nouveau document • Prédominance du surlignage pour tous les sujets  transformer le document pour qu’il réponde aux besoins de l’étudiant • Importance de l’objectif Synthétiser  ne voir que ce qui est utile • Remémoration : visualisation du nouveau document construit • Lecture active • Soulager la mémoire humaine • Objectifs les plus fréquents • Restructuration : retrouver plus facilement des informations • Interprétation : comprendre et retrouver une démarche de compréhension • Les étudiants annotent pour • comprendre le document • mémoriser une démarche de compréhension • retrouver des informations  mémoire externe

37. ContexteFormalisation Développement Expérimentation Spécification Conclusion Résultats : manipulation du dispositif • Motivation des étudiants • Tâche demandée non fictive  utile pour leur formation • Étudiants de Chimie motivés par la machine • Étudiants de Psychologie motivés par un bonus sur leur moyenne • Fenêtre d’attributs • Valeurs des objectifs peu comprises par les étudiants • Surcharge, mais acceptation de valuer les attributs • 70% des objectifs valués en chimie, 46% en psychologie • Écart lié à différence de tâche entre les étudiants • Réutilisation en Chimie lors du TP • Problèmes avec la machine • Peu de difficultés dans la manipulation • Un seul dysfonctionnement de l’ordinateur lors des prêts  validation de nos choix matériel et logiciel

38. ContexteFormalisation Développement Expérimentation Spécification Conclusion Pertinences des données • Limitation de formes avec annoteur • Utilisation massive des formes de mises en évidence sur papier • Augmente la pertinence des résultats avec annoteur • Étudiants peu contraints par la limitation • Contenu libre proche d’une note • Étudiants peu affectés par la restriction des formes • Expérimentation avec annoteur valide • Annotation proche des possibilités papier • Étudiants • Réellement impliqués car réalisant une tâche utile pour leur formation

39. ContexteFormalisation Développement Expérimentation Spécification Conclusion Annoteur final • Outil de transition • Fonctionnalités nécessaires • Activités de mémorisation • Création, suppression, modification d’annotation • Visualisation dans le document • Activités de remémoration • Recherche d’annotation • Visualisation séparément du document • Activités de partage • Don et réception d’annotations • Annoteur doit concilier • La conservation des habitudes papier  métaphore du papier • L’explicitation de la sémantique des annotations

40. ContexteFormalisation Développement Expérimentation Spécification Conclusion Sémantisation • Valuation des attributs • Automatiquement par le système • Manuelle avec restriction des valeurs • Automatiquement par report de valeurs • Automatiquement avec les patrons • Connexion • Nom d’utilisateur et mot de passe • Situation d’enseignement • Accès à quatre espaces après connexion • Bibliothèque • Mémorisation • Remémoration • Partage

41. Visualisation d’annotation Forme : type + couleur Fenêtre d’attributs Création de patrons Fenêtre d’attributs Spécificité d’une situation d’enseignement Création d’annotation Procédure outil/objet Trousse + plan de travail Application puis ouverture de la fenêtre d’attribut Application d’un patron Modification d’annotation Uniquement pendant la session de création Sélection puis modification dans la fenêtre d’attributs Vérification de la compatibilité des valeurs Suppression annotation Uniquement pendant la session de création Gomme Annulation des actions ContexteFormalisation Développement Expérimentation Spécification Conclusion Mémorisation

42. Trois sous-espaces Recherche Tri Visualisation Recherche = filtre Sélection des critères via une arborescence Valeurs multiples (ET) Exclusion (non) Modification et réinitialisation des critères Tri Définition de relation d’ordre Utilisation de plusieurs attributs Modification et réinitialisation des critères Visualisation Table : une ligne = une annotation Ouverture de l’annotation Fenêtre d’attributs Affichage en contexte Ouverture du document source ContexteFormalisation Développement Expérimentation Spécification Conclusion Remémoration

43. ContexteFormalisation Développement Expérimentation Spécification Conclusion Partage • Don • Tout ou partie des annotations • Choix d’un document • Sélection des annotations • Liste avec outil de tri • Définition des droits • Par défaut : droits les plus élevés • Réception • Mise à jour des attributs évolutifs • Possesseur : par le système • Valeur et confiance : par le nouveau possesseur • Annotation du document par le nouveau possesseur

44. ContexteFormalisation Développement Expérimentation Spécification Conclusion Synthèse • Objectif • Proposer des formalismes et des outils efficaces pour l’annotation électronique de ressources pédagogiques par des apprenants • Réponse • Outil de transition conciliant la métaphore du papier avec l’explicitation de la sémantique • Formalisation • Computable • Représentation formelle  d’attributs hiérarchisés • Ontologies (domaines de valeurs, relations) • Complète • Explicitant toute la sémantique des annotations • Permettant de représenter toute leur variété • Adaptable à toute communauté d’apprenants • Partie générique et partie spécifique à chaque communauté

45. ContexteFormalisation Développement Expérimentation Spécification Conclusion Synthèse • Implantation d’un annoteur • Proposant une annotation par surlignage, avec fenêtre d’attributs • Installé sur des ordinateurs tablettes  confort de lecture et d’annotation • Expérimentation écologique du dispositif avec des apprenants de chimie et de psychologie • Système individuel liant la forme de l’annotation et la valeur de certains attributs (principalement l’ancre syntaxique et l’objectif) • Grande variabilité interindividuelle quant aux pratiques annotatoires • Acceptation de l’annoteur, malgré la surcharge liée à la valuation des attributs

46. ContexteFormalisation Développement Expérimentation Spécification Conclusion Synthèse • Spécification d’annoteur efficace • Conservation des habitudes papier • Lecture et création • Métaphores du papier et de la trousse • Avantages d’un traitement informatisé • Valuation, recherche et partage • Mise en œuvre de la totalité de notre formalisation • Couvre toutes les activités d’annotation • Interdépendances et patrons pour alléger la tâche du lecteur • Personnalisation du dispositif • Interface personnalisable (variabilité interindividuelle) • Patrons personnalisables (régularité individuelle)

47. ContexteFormalisation Développement Expérimentation Spécification Conclusion Perspectives • Implantation de la nouvelle version de l’annoteur • Logiciel libre • Standards en vigueur : annotations en RDF et ontologies en OWL • Validation par expérimentation grandeur nature • Adaptation de l’annoteur à d’autres communautés • Étude didactique des disciplines (parties spécifiques) • Étude des besoins d’apprenants non étudiants • Formalisation = indexation • Attributs = champs d’indexation • Annotation = objet physique indexé par des concepts • Confronter notre représentation aux modèles d’indexation • Annotation = trace • Rétroaction pour les enseignants • Aide au suivi des étudiants