Atelier sur l'évaluation des compétences informationnelles et les technologies de l'information

1. Atelier sur l'évaluation des compétences informationnelles et les technologies de l'information Jean Allard et Michel Pronovost, collège Jean-de-Brébeuf Évaluationautomatiséed’habiletés TIC en traitement de texte, tableur, environnement et rechercheinformationnelle

2. Problématique • Les compétences TIC font partie des programmes collégiaux (MELS, 2012) • Peu de collèges ont développé des moyens de certifier ces compétences • Il y a peu d’outils d’évaluation des compétences au Québec • Hétérogénéité des compétences TIC des étudiants arrivant à l’Université • Besoin d’une correction automatisée

3. DÉFIS • Évaluer les compétences en situation réelle (in situ) Éviter le plus possible des évaluations trop théoriques qui tendent à mesurer des connaissances plutôt que des compétences. • Évaluer les compétences TIC associées aux champs d’études de l’étudiant Reconnaître que les compétences requises diffèrent souvent d’un champ d’études à un autre et surtout associer l’évaluation au champ d’études de l’étudiant. • Assurer une correction automatisée Le défi des défis: assurer une correction automatisée tout en relevant les deux autres défis.

4. Types de questions disponibles • Questions à choix multiples • Évaluation de la compréhension (Bravard, 2005 ; Leclercq, 2006) • Types (Morissette, 1996) • Appariement • QCM et vrai ou faux • QCM - quête • Questions à trou • Simulations • In situ

5. ÉTAPES • Définir des référentiels de compétences    Un référentiel commun à partir duquel sont déclinés • un référentiel pour les sciences de la nature • un référentiel pour les sciences humaines et administratives • un référentiel pour les arts et lettres • Développer une plateforme de production et de passation    Une plateforme pour • définir les référentiels • produire les questions et les associer aux éléments de compétences • composer des tests et des évaluations (diagnostiques, formatifs ou certificatifs) • assurer la passation et la correction des tests • Produire une banque de questions et de tests    Questions diversifiées, nombreuses et principalement in situ • Valider la banque de questions  Par des tests statistiques reconnus

6. Référentiels

7. Référentiel REPTIC

8. Référentiel MAGELLAN

9. Référentiels et questions

10. Référentiel CERTITUDE (o-tutor)

11. Référentiel CERTITUDE (Moodle)

12. Qualités de la plateforme idéale

13. Fonctionnalités recherchées • DÉFINITION DES RÉFÉRENTIELS DE COMPÉTENCES • Un référentiel commun • Un référentiel pour chaque champ d’études qui comprend le référentiel commun et les éléments spécifiques au champs d’études • Toute mise à jour du référentiel commun est répercutée sur les référentiels spécifiques aux champs d’études • PRODUCTION DE QUESTIONS • Type de questions à produire • QCM à choix unique • QCM à choix multiples • Vrai ou faux • Appariement • Questions à réponse courte • Questions in situ Excel • Questions in situ Word • Questions avec simulation • Questions à intervalle

14. Fonctionnalités recherchées • PRODUCTION DE QUESTIONS • Fonctionnalités associées à la production de questions • Afficher l’état de la banque (nombre de questions) par champs d’études et éléments de référentiels • Associer une question à un champ d’études • Associer une question à une catégorie technologique • Associer une question à un élément d’un référentiel de compétences (commun ou spécifique à un champ d’études) • Idéalement, associations multiples • Identifier l’auteur de la question • Faire passer une question (par défaut dans l’espace du concepteur) à l’espace public commun (banque) à tous les concepteurs et au coordonnateur • Produire une question par duplication d’une question existante • Recevoir des commentaires par question

15. Fonctionnalités recherchées • PRODUCTION ET COMPILATION D’ÉVALUATIONS • Fonctionnalités associées à la production d’évaluations • Sélectionner des questions par champ d'études • Sélectionner des questions par éléments de référentiel • Sélectionner des questions par catégories technologiques • Afficher les questions sélectionnées par ligne avec icones • Afficher les questions sélectionnées par question avec boutons de navigations • Fournir les options d’évaluation suivantes • avec feedback instantané et explication possible (formatif) • avec remise de résultats à la fin (sommatif ou certificatif) • Exportation des résultats par groupe, par étudiant et par question • Regrouper des tests en une seule et même évaluation

16. Fonctionnalités recherchées • PASSATION D’ÉVALUATIONS • Fonctionnalités associées à la passation d’évaluations • Afficher les questions sélectionnées par ligne avec icones par type • Afficher les questions sélectionnées par question avec boutons de navigation • Fournir un filtre sur les questions non répondues • Afficher le temps restant • Afficher la réponse à la question et une explication (fin formative) • Afficher une ressource externe • Afficher la note globale sans afficher le détail des questions (fin sommative)

17. Fonctionnalités recherchées • GESTION • Fonctionnalités associées à la gestion de la banque • Créer des comptes professeurs • Créer un ou plusieurs groupes-cours par un professeur • Inscrire des étudiants dans un groupe par lot ou à l’unité • Permettre l’approbation ou le retrait de l’approbation d’une question • Professeur • Créer des comptes étudiants • Créer un ou plusieurs groupes-cours • Inscrire des étudiants dans un groupe par lot ou à l’unité • Récupérer les résultats par groupe ou étudiant

18. Exigences minimales • Différents modes de gestion • Concepteur de questions • Commentateurs de questions • Professeurs producteurs de questions • Étudiants inscrits • Membres du comité de gouvernance • Exportation des questions en format XML pour l’arrimage avec d’autres plateformes

19. Évolution des plateformes 140 360 Passations 2010 2011 2012 2013

20. Banque de questions

21. État de la banque de questions • Compétences technologiques visées: • Recherche informationnelle • Texteur (production de documents) • Tableur (traitement de données) • Environnement • Présentation et traitement de l’image • 1268 questions dont : • 325 communes à tous les champs d’études • 943 spécifiques à l’un ou l’autre champ d’études • 140 type QCM+ • 1128 in situ avec texteur ou tableur

22. Types de questions

23. Exemples de questions

24. Printemps 2011 Plateforme Adobe Captivate

25. Question associative avec images

26. Question de type « chasse au trésor »

27. Question de simulation

28. Mise en situation avec le tableur

29. Mise en situation avec le tableur

30. Le tableur :: Exemples de questions • Formater des cellules • Faire la conversion 0C en 0F • Ajouter des lignes • Ajouter des colonnes • Faire un tri • Faire des calculs simples : sommes, moyennes • Utiliser des fonctions plus évoluées : dénombrements (simples et complexes) ou des dénombrements conditionnels • Calculer des fréquences • Produire un graphique, vérifier des hypothèses, etc. Plusieurs compétences peuvent être vérifiées à partir d’une mise en situation simple

31. Printemps 2012 Plateforme o-Tutor

32. o-tutor.com/instances/certitude

33. Liste des tests à effectuer

34. Test :: traitement de texte

36. Résultats instantanés

37. Traitement de texte :: balises • Nombre de saut de page, saut de section, saut de ligne, etc. • Gras, italique, exposant, couleur, etc. • Alignement horizontal et vertical • Interligne, retraits, justification, tabulation, etc. • Marges, orientation, bordure de page, etc. • Présence de tableau, table des matières, image, note de bas de page, trame, etc. • « Entrez le texte… »

39. Test :: tableur

44. Résultats instantanés

45. Autres tests

46. Choix multiples (quête)

47. Réponse ouverte (quête)

48. Réponse ouverte avec fichier

49. Associations

50. Résultats instantanés