Solutions et problèmes, évaluation et technologies

1. Solutions et problèmes, évaluation et technologies ACFAS 2006 Synthèse Jean-Guy Blais Université de Montréal

2. Solutions et problèmes, évaluation et technologies Qu’est-ce que la technologie lorsqu’on parle d’évaluation ? • Qu’est-ce que la technologie ? • La technologie aide l’humain à réaliser des tâches plus facilement… • Creuser un trou : ses mains, un bout de bois, une pelle, une «pépine»

3. Du tableau noir à l’ordinateur… • Depuis 20 ans seulement, qu’est-ce qui se passait avant… • Une technologie en remplace une autre

4. Sous-utilisation des TIC pour l’évaluation : pourquoi ? • Déjà sous utilisés en enseignement • «Oversold and underused…!!

5. Ordinateur de poche • Portabilité : + pour l’observation, on élimine les fils… • Synthèse pour le diagnostic : + • Outils type Palm : ++ le coût, la manipulation,

6. Les situations d’observation…. • Type de tâches limité • Autres outils portatifs….pour les élèves…??

7. Mise à l’essai d’une plate-forme d’évaluation sur mesure : webQuiz • Quelles conditions pour le développement de ces tests ? • Banque d’items calibrés, génération automatisée d’items !!

8. Applications en plein développement actuellement • Mais malgré tout, le champ est encore à la phase de l’enfance • Champs à défricher

9. Apprentissage en milieu non formel • Éducation muséale : • Évaluation de programmes : musée et exposition, parcs et sites historiques • Évaluation des apprentissages en milieu non formel (méthodes formelles ou informelles ?)

10. Pourquoi est-ce qu’on évalue ? • Qu’est-ce qui est visé ? • Les individus qui visitent ? • Les programmes offerts aux visiteurs ?

11. Évaluation automatisée des cheminements d’apprentissage • Recherche exploratoire • Couplage ExAO – SAO (expérimentation et simulation) • Environnement naturel et démarche réelle

12. Apprentissage ET évaluation avec la même technologie • Apprentissage sans techno et évaluation avec technologie ?? • Apprentissage avec technologie et évaluation sans technologie «nouvelle»….. • À qui le système peut-il profiter : pour l’enseignant, l’élève, le parent, la C.S., le ministère…

13. L’avenir des tests adaptatifs en langue • Banque d’items : combien d’items, de tâches? • Calibrage préalable, «en ligne», expansion de la banque

14. Plusieurs décisions: • Modèles pour le calibrage • Critères de départ, de suite et d’arrêt • Quelle plateforme ? Fermée – Ouverte

15. Détection de configurations inhabituelles • Prise en compte d’informations «conjointes» pour…le départ, pour l’estimation, pour el diagnostic • Mesure en temps réel • Dépendance des items (testlet)

16. Détection de configurations inhabituelles Détection des réponses suspectes Plagiat, sous performance… Situation non adaptative: en général, bonnes performances des indices pour détecter…. Situation adaptative : plus difficile de détecter, mais…plus difficile de «mal» répondre

17. Plus court ou plus long ? • Quelle distribution pour la difficulté des items? • Ajouter des paramètres au modèle pour tenir compte de la «déviance» selon le niveau d’ajustement de la personne (person fit)

18. Merci