Session de transfert 2013

1. Session de transfert 2013 Atelier 23 - L’évaluation de la collaboration et de la créativité des élèves dans le Knowledge Forum (KF) Christian Perreault, Université Laval

2. Plan de la rencontre • Présentation • Discussion: vos attentes • Collaboration, créativité & résolution de problèmes en collaboration • Regard prospectif : le traitement du langage naturel • Présentation des différents outils d’analyse intégrés au KF • Temps d’essai des outils d’analyse • Discussion • Conclusion

3. Discussion: vos attentes Vos attentes Quelles sont vos attentes pour cet atelier? Qu’aimeriez-vous apprendre? Que connaissez-vous des outils d’analyse? De l’évaluation de la collaboration, de la créativité, de la résolution de problèmes en collaboration?

4. Collaboration, créativité & résolution de problèmes en collaboration • PFÉQ: • Mettre en œuvre sa pensée créatrice • Collaborer • ATC21S, 12 compétences du 21e siècle, dont • Collaboration • Créativité et innovation • > Le Knowledge Forum est cité comme un environnement prometteur pour l’évaluation de la collaboration et de la créativité, notamment par les données qui y sont recueillies • PISA 2015 : Collaborative Problem-Solving (CPS) Résolution de problèmes en collaboration (RPE): • dimensions cognitives et affectives • Résolution de problèmes individuelle (2012) « adaptée » à l’échelle collaborative (2015) • > Analyse du discours collectif

5. Regard prospectif Quelles mesures pour la collaboration, la créativité, la RPE? • Jugement humain – Évaluation assistée par l’ordinateur • Combiner et mieux étudier les mesures actuelles pour en développer de nouvelles • Avancements de l’analyse de l’apprentissage (learninganalytics) • Nouvelle avenue: Traitement du langage naturel / analyse sémantique • Contribution des élèves au discours collectif • Mesurer l’influence des contributions sur le discours collectif • Mesures individuelles et collectives • Comparaison à des textes d’experts • Tout un chantier – Champ de recherche actif!

6. Outils d’analyse du KF: pourquoi? • Pour suivre la progression des élèves et informer leur évaluation à la lumière de mesures quantitatives et qualitatives du contenu du Knowledge Forum • Les plugiciels s’adressent aux élèves et aux enseignants, selon leur nature. • Un peu de sémantique: outils d’observation, de mesure, d’analyse ou d’évaluation, applets ou plugiciels? = à vous de juger!

7. Outils d’analyse du KF • Contributions de base • Progression des notes • SocialNetwork • ARSL : Analyse de réseaux sociaux-Lexiques • Analyse Lexicale • Lexique Émergent • Grilles d’observation v2

8. Nous n’aborderons pas… • SemanticOverlap • SequencesContenu • SequencesEchafaudages • VocabularyGrowth • Writing • Pourquoi? • Fonctionnalités intégrées dans d’autres outils • Conçus pour la recherche; • Données non fiables;

9. Où sont ces outils?

10. Quelques règles communes Avant tout, il faut s’assurer… • que les groupes soient bien constitués; (ex. : l’enseignant n’est pas dans le même groupe que ses élèves, généralement le « Groupe par défaut » natif) • d’utiliser les outils pour les groupes qu’on connaît et pour lesquels on peut interpréter adéquatement les données; • d’avoir repéré les perspectives que vous souhaitez analyser, le cas échéant. • de choisir une plage de temps

11. Contributions de base • Pour obtenir des mesures quantitatives simples sur l’activité des participants, c.-à.-d. nombre : • de contributions (notes) • d’annotations • d’élaborations • d’échafaudages utilisés • etc. • Met en lumière les pratiques de lecture et d’écriture des participants dans les différentes perspectives du KF. • Aide précieuse pour donner des rétroactions aux participants sur la progression de leur discours à des moments précis, variés et de différentes durées.

12. Contributions de base

13. Contributions de base

14. Progression des notes Rend compte de l’évolution du nombre de notes contribuéesau fil du temps. L'analyse peut être effectuée selon trois périodes : par semaine, par mois ou par année.

15. SocialNetwork / Réseau social Utilité : observer la répartition des interactions élève-élève et élève-enseignantdans une perspective du KF. « Qui lit qui » « Qui répond à qui »

16. ARSL : Analyse de réseaux “sociolexicaux” Permet de visualiser le partage du lexique entre les participants. On peut utiliser des lexiques natifs (Micro Larousse Bonifié, etc.) ou personnalisés.

17. Analyse Lexicale Utilité : observer l’utilisation d’un lexique lié à un domaine (l’utilisation du lexique approprié témoigne d’une appropriation des concepts du domaine).

18. Lexique émergent • Utilité : observer l’émergence de nouveaux mots dans les notes écrites par les élèves sur le KF au fil du temps. Dictionnaire proposé : • Micro Larousse Bonifié (47 809 mots) • Les mots ont été mis au féminin et au pluriel • Seuls les mots écrits correctement sont considérés • Verbes conjugués et les noms propres ne sont pas pris en considération • Il est possible de construire votre propre lexique.

19. Lexique émergent

20. Grilles d’observation (v2) Permet de conserver des traces de l’appréciation du contenu des notes écrites par les élèves. L’enseignant crée ses propres grilles d’observation (critères, échelle), voire échelle des niveaux de compétence Permet de faire le bilan des appréciations du travail de l’élève sur le KF. La version 2 corrige plusieurs bogues de la version 1 (la version 2 n’est pas rétrocompatible).

21. Grilles d’observation (v2)

22. Regard prospectif • KSV : C’est un prototype d’une nouvelle interface graphiquedu KF ajoutant la « dimension » des idées • vise à donner plus de pouvoir d’action aux participants en améliorant l’évaluation formative. • L’analyse sémantique et le traitement du langage naturel (intelligence artificielle) sont de nouvelles approches pour soutenir, mesurer et analyser la contribution des élèves (analyse sémantique / intelligence articifielle). • Avancement rapidement pour l’anglais!

23. KSV : Le visualiseur d’espaces de connaissances Usage répéré (Perreault, 2013): appuyer les pratiques d’écritures = incitatif à écrire des notes plus élaborées et précises Les liens d’élaboration (actuels) sont conceptualisés comme des liens (sémantiques) explicites Il permet s’afficher des liens issus de l’analyse sémantique, dits des liens sémantiques implicites.

24. KSV : Le visualiseur d’espaces de connaissances

25. Temps d’exploration / Mains sur les touches (? min) • Temps pour essayer les différents outils d’analyses • URL des bases de connaissances archivées (2006-2013) :http://kf.fse.ulaval.ca:27318/ • URL de la base de connaissances pour la Session de transfert:http://kf.fse.ulaval.ca:27320Base: Session-de-transfert

26. Discussion Quelles améliorations proposez-vous pour les outils actuels? Quels outils d’observation, de mesure ou d’analyse aimeriez-vous avoir dans une prochaine génération du Knowledge Forum?

27. Conclusion Pour aller plus loin… • Les ateliers de développement professionnel plusieurs midis cette année • L’équipe de soutien ou accompagnement ÉER • Tutoriels sur le site Web • Salle de soutien juste-à-temps ÉER! • christian.perreault@fse.ulaval.ca