Les tests adaptatifs en langue: quel est leur avenir ?

1. Les tests adaptatifs en langue: quel est leur avenir ? Michel D. LAURIER Université de Montréal Colloque ACFAS 2006 Solutions apportées et problèmes engendrés par l’évaluation assistée par les technologies de l’information et des communication en éducation

2. Plan de la présentation • Fonctionnement d’un test adaptatif • Développements en langue seconde • Avantages des tests adaptatifs • Limites et problèmes • Une nouvelle vision de l’adaptabilité • Un projet…

3. Éléments d’un test adaptatif • Une banque d’items: ensemble de tâches • dont les caractéristiques sont identifiées • qui mesurent un attribut (unidimensionalité) L’invariance des items de TRI permet l’expansion. • Une procédure de passation • pour récupérer les tâches les plus appropriées • pour déterminer le niveau de compétence L’invariance des sujets de TRI permet l’estimation.

4. Déroulement d’un test adaptatif Début Niveau de départ Sélection Présentation Estimation Trop grande Erreur? OK Résultat Fin

5. Décisions de conceptions (avec TRI) • Organisation : une ou plusieurs banques ? • Modèle : 1, 2 ou 3 paramètres ? • Critère d’arrêt : nombre d’items ou erreur ? • Estimation de θ : ML ou méthode bayésienne ? • Stratégie pour la sélection des tâches • Plateforme informatique : progiciel ?

6. Les tests adaptatifs en L2 • S-Cape (Larson, 1987) • Computest (Madsen, 1989) • Test de l’ACTFL (Kaya-Carton et al., 1991) • TOEFL – CBT (Educational Testing Service) • French CAPT (Laurier, 1993, 1995) • DIALANG (Alderson, Huhta, 2005) • BULATS (Business Language Testing Service)

7. Exemple : French CAPT • Questions préalables • Courts paragraphes • Énoncés appropriés • Phrases lacunaires • Écoute de documents • Autoévaluation de l’oral Profil Dichotomique Polychotomique French CAPT

8. Résultats de French CAPT Your classification is : Low Intermediate

9. Avantages psychométriques • Amélioration de la fidélité • Estimation plus juste du niveau • Meilleure validité • tâches pertinentes • nouveau type de tâches • Détection de configurations inhabituelles • Prise en compte de l’information préalable

10. Avantages psychologiques • Élimination des tâches trop difficiles • Élimination des tâches trop faciles • Environnement moins menaçant • Dimension ludique

11. Avantages administratifs • Traitement immédiat des réponses • Sécurité • Passation individuelle • Mise en ligne • Réduction du temps de passation • Expérimentation de nouveaux items

12. Limites des tests adaptatifs • Postulats de la TRI • Taille des échantillons requis • Interaction limitée • Environnements peu familiers • Coûts de développement

13. Enjeux de recherche • Grappes d’items (testlets) • Application de modèles polychotomiques • Couverture du contenu • Surexposition de certains items • Variance attribuable au mode de passation • Ancrage des nouveaux items de la banque

14. Les tendances en L2 • Prédominance de la fonction de classement • Recherche d’une interaction plus authentique • Élargissement de la notion d’adaptabilité • Intérêts du candidat • Langue maternelle • Orientation professionnelle • …

15. MICCPré-test en L1 Début Introduction et identification de L1 Reconnaissance de mots Autoévaluation en IO, CE et EE Niv. < 1 ? Fin

16. MICCProcédure adaptative Phrases à compléter Antonymes / Synonymes Lecture de courts documents Réponse à une situation simulée

17. MICCTâches adaptées au stade Écoute d’un document I Écoute d’un document II Écoute d’un document III Lecture d’un document I Lecture d’un document II Lecture d’un document III Révision d’un texte Production d’un texteI Production d’un texteII Production d’un texteIII

18. MICCTâche IO adaptée au niveau T 2 T 3 T 4 T 5 T 6 T 7 T 8 T 9-10 T 11-12 Fin Fin Fin Estimation du niveau en IO, CE et EE

19. Merci de votre attention Michel D. LAURIER Faculté des sciences de l’éducation Université de Montréal Courriel: michel.d.laurier@umontreal.ca Téléphone: (514) 343-6658