Mulce : échange de corpus d’apprentissage multimodaux

1. Mulce : échange de corpus d’apprentissage multimodaux Workshop Psychologie et Apprentissage 28 mai 2010, Paris Thierry Chanier, Marie-Laure Betbeder, Maud Ciekanski, Marie-Noelle Lamy, Christophe Reffay

2. Rappel des objectifs et attendus scientifiques et opérationnels

3. Hypothèses Questions recherche Dispositif Descrip.Acteurs Publi. Prod. outil Traces Instanciation t0 t1 Cycle expérimental Hypothèse -> Expérience -> Résultat Scénario pédagogique Analyses Hypothèses Questions recherche Communauté de recherche (Reffay, 2008)

4. Cycle expérimental ou impressionnisme ? • En épistémologie des sciences, opposition entre sciences de l’exemplum et sciences du datum (Laks, 2007) • En AL&SIC (didactique ?), une certaine habitude d’analyser données parcellaires. Sous prétexte d’analyse « qualitative », on risque de publier des impressions • Impression de chercheur1 + impression de cherch2 = Recherche scientifique ?

5. Recherche et scientificité (1/2) • Quelle validité accordée à une expérimentation rapportée dans un article (cf. Henri, 2005 sur situations collaboratives en FAD) ? S'applique-t-elle : • A un contexte donné ? Avec un dispositif fixé ? Pour une population donnée ? Pour une culture ? Pour un type d’apprentissage spécifique ? • Données et contexte manquent aux chercheurs qui lisent publication (voir cycle IST)

6. Recherche et scientificité (2/2) • Il faudrait pouvoir • reproduireune expérimentation à partir d'un scénario explicité • Sur des données sources identiques ; refaire des analyses suivant même étude des variables, suivant autres variables (invalider, confirmer, compléter) : cas rares, cf. Kern • Construire de nouvelles analyses sur d'autres faites précédemment : cf. (Corbel, Girardot, Lund)

7. Objectifs initiaux • Création et la diffusion de corpus d’apprentissage (LETEC - Learning and Teaching Corpus -) : non seulement les données résultats d’une formation mais également son contexte • échanges entre les communautés de chercheurs : • 1) les structurer et les formater suivant un modèle (à inventer) compatible avec les standards existants pour les corpus et les langages de conception pédagogique ; •  2) les déposer sur un serveur répondant aux principes d’interopérabilité et d’accès libre ; •  3) élaborer une charte éthique (car nous travaillons sur des productions d’individus) et des contrats de cession des droits et d’utilisation en rapport. • Méthodologie : la chaîne de traitement, transcription, annotations, étiquetages, analyses, et aux outils associés.

8. 1) Corpus d’apprentissage , corpus global Point sur les travaux

9. Notion de corpus

10. Schéma simplifié des parties d’un corpus global - Questions - Objet - Problématique - Observables - Protocole de recueil des donnés - Activités - Rôles - Environnements Scénario pédagogique • - Acteurs • Outils • Traces • Interactions • Logs • produits Contexte Observations du contexte Licence publique - Termes cession des droits - Contrats d’utilisation - Lien propriétaire Instanciation Analyses - Transcriptions - Analyses Licence privée Protocole de recherche • Ensemble de données et de traces issues d’une expérimentation, enrichies par des informations techniques, humaines, pédagogiques et scientifiques permettant leur analyse en contexte.

11. Structure d’un corpus

12. Scénario pédagogique : exemple Simuligne Niveau activité : activités apprentissage / support, environnements, rôles Logiciel Motplus (Licef, 2007)

13. Instanciation des acteurs et des environnements • Description des acteurs : qui sont les acteurs de la situation (tuteurs, apprenants), quels sont les groupes. • Description des environnements technologiques : déterminer quels sont les outils utilisés et déterminer comment (selon quelles caractéristiques) les traces / transcriptions seront organisées. • Incorporation des traces / transcriptions dans ces environnements

14. Schéma de structuration des données recueillies Spécifications proposées par MULCE. Plate-forme, espaces de travail, type d'acte

15. 2) Le corpus global et ses objets associés Point sur les travaux

16. Granularités autour d’un LETEC • Corpus global • Données + contexte liées à une formation considérée dans son ensemble • Corpus distinguable • Sous-corpus rassemblant un ensemble de données d'une taille suffisante pour être l'objet d'une recherche spécifique, données dont on veut caractériser la cohésion d'ensemble par rapport au corpus de références (global de base) + contexte • Corpus étendu • 1 ou plusieurs niveaux de description / analyse + corpus de base • Transcriptions font partie du corpus de base et corpus distinguables

17. Objectifs variés de ces corpus distinguables • 1) Rassembler des données prêtes à l’analyse avec mise en forme pour outils / logiciels libres • 2) Partager analyses avec outils associés • 3) Publication et réplication

18. Type 3 : Publication et réplication “Replication data sets include the original data and any other information needed to reproduce the numerical results in a published work. […] makingpubliclyavailable a replication data set for each of their empirical articles or books. Citation credit should be apportioned both for the original article and separately for the data. “ Gary King (2007). "An Introduction to the Dataverse Network as an Infrastructure for Data Sharing," Sociological Methods and Research, Vol. 32, No. 2

19. Simuligne et réseaux sociaux Reffay, C. & Chanier, T. (2003a). How social network analysis can help to measure cohesion in collaborative distance-learning", in (CSCL'2003) http://edutice.archives-ouvertes.fr/edutice-00000422 Voir corpus mce-simu-sna.xml sur notre site http://mulce-pf.univ-fcomte.fr/PlateFormeMulce/

20. Type 1 Rassembler des données prêtes à l’analyse avec mise en forme pour outils / logiciels libres • Formation Simuligne • Forums • Outil Calico

21. Type 1 exemple fiche méta corpus Corpus mce-simu-forum-all, voir http://mulce-pf.univ-fcomte.fr/PlateFormeMulce/

22. Exemple forum Simuligne Déposé sur site Calico http://woops.crashdump.net/calico/index.php

23. Type 1 Rassembler des données prêtes à l’analyse avec mise en forme pour outils / logiciels libres • Formation Copéas • Environnement audio-graphique synchrone • Outil Tatiana

24. Exemple Lyceum (Open University) 1 composant spatial 2 outils de communication 3 outils de production collaborative

25. Textuel Parole Graphique Iconique Spatial Chat, Traitement de texte, Carte conceptuelle, Tableau banc Audio Carte conceptuelle, Tableau banc Vote, entrée/sortie, absence momentanée Déplacement (salle + module) Modes et modalités dans Lyceum Modes Modalités (Chanier & Vetter, 2006)

26. Transcription interactions multimodales Learner asking for help Tutor

27. Liens entre tours de parole et actes Réponse + Question, AR4(aud79) Réponse, AR7 (vot21) Explication, AR6 (clav23) Question,TutR(aud80) Réponse, AR3,AR2,AR6(vot22,23,24) Explication, AR4(aud82) Réponse, TutR, AR1(vot25,26) Synthèse, Question, TutR(aud83) Explication, AR3, AR2 (clav24,25) Explication, AR4 (clav26) Acceptation, AR1 (clav27) Reponse,AR4(vot27) Question,TutR(aud85) Réponse,AR1 (aud86) Commentaire,TutR (aud88) Acceptation,AR1(aud89) Commentaire,TutR(aud90) Clavardage Audio Vote

28. Exemple d’analyse : repartitionof participation betweenlearners(false beginners) AP13 Chat Audio

29. Du corpus d’apprentissage à l’outil d’analyse Corpus d’apprentissage (format Tatiana) Corpus d’apprentissage (interactions format Mulce-struct) Analyses Conversions

30. vidéo Transcription Mulce simplifiée au format Tatiana Alignement vidéo et transcription

31. Type 2 : Partager analyses avec outil Tatiana

32. 3) Banque de corpus, aspects techniques Point sur les travaux

33. Données primaires avant incorporation dans Corpus • Expérimentation Simuligne: 30 000 fichiers répartis dans 2708 dossiers correspondant, entre autres à : Interactions: 2686 mess. forum, 4062 courriels, 5680 tours de clavardage ; Productions : 93 doc. textuels, 28 fichiers audio ; Productions affichées : 342 pages web incluant 115 images et 44 fichiers audio ; guide apprenant, guide tuteur, guide natifs. • Expérimentation Copéas: 37 vidéos (27h), 512 autres fichiers dans 117 dossiers., 180 000 lignes de traces et transcription dans Mulce-struct. Ceux-ci correspondent à : Interactions : 5506 tours de parole audio (8h29 en temps cumulé), 1529 tours de clavardage, 16 séances Lyceum ; Protocole recherche : 14 questionnaires apprenants, 9 entretiens, 9 CriticalEventRecall (vidéos et audio) ; guide apprenant.

34. Construction de la banque de corpus • Difficultés • Recrutements ingénieur et technicien informatique

35. Architecture plate-forme / banque de corpus Indexer Chercher Télécharger OLAC Moissonneur Parcourir Informer http://mulce-pf.univ-fcomte.fr/ http://mulce.org Repository MULCE BD Description Banque de Corpus MULCE Metadata Tomcat, Mysql, Linux, Debian

36. Résultats scientifiques

37. http://mulce-pf.univ-fcomte.fr/ Banque de corpus : Mulce-pf

38. Sélection des corpus

39. Résultat sélection : listage corpus

40. Fiche d’un corpus

41. Ressource extérieure

42. Site de documentation : Mulce.org Méthodologie Mulce

43. Mulce.org : site de documentation

44. Exemple : éthique Et droit

45. Démo sur outils

46. Communications en 2009 • EPAL : colloque Echanger pour apprendre en ligne (EPAL). Grenoble, juin 2009. • CSCL’2009, juin à Rhodes : • Workshop “CommonObjects for Productive Multivocality in Analysis” • Workshop “Interaction Analysis and Visualization for Asynchronous Communication • Conférence OASPA “Open Access ScholarlyPublishing”. : Représentation de Mulce et de la revue STICEF , septembre 2009 à Lund, Suède. • Conférence EC-TEL (EuropeanConference on TechnologyEnhance Learning), Nice, oct. 2009 : “Sharing corpora and tools to improve interaction analysis”

47. Autres résultats • Publications • Revues, conférences, etc. dépôt dans edutice.archives-ouvertes.fr Sélection par noms auteurs Mulce • Partenariats • Voir section suivante

48. Impacts Dépôts corpus par auteurs hors Mulce Atelier international Eurocall 2010 Retombées et perspectives

49. Impact : cluster ISLE Rhônes-Alpes

50. Corpus non Mulce en préparation : Collaborative Inquiry in Maths • Gerry Stahl, Stephen Weimar, Wesley Shumar, DrexelUniversity • Outils travail collaboratif : Virtual Math Forum (VMF) • SID Mulce : Memberlist : 6 learners, 2 tutors (one active), 1 technical, 3 researchers ; 12 synchronous sessions totalizing 5 hours of interaction spanned on 6 not empty working days => 12 workspaces; 2487 acts: enter/leave(72), chat acts (1404), production acts in the white board (1011) Virtual math teams are small groups of learners of mathematics who meet online to discuss math. They encounter stimulating math problems and engage in intense discussions of math issues among peers. The online meeting of students from different backgrounds can spark interchanges and collaborative inquiry that lead to creative insight. The meeting can also produce records of the interactions, which researchers can study to understand the group processes involved in collaborative math exploration."