Processus de validation d’un test diagnostique du français

1. Processus de validation d’un test diagnostique du français Colloque de l’AQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep de Rivière-du-Loup

2. Collaboration entre deux collèges • Les cégeps de Victoriaville et de Rivière-du-Loup collaborent à la production et à la validation d’un test diagnostique du français écrit. • Cégep de Victoriaville, en fournissant la première version du test à valider. • Cégep de Rivière-du-Loup, en validant cette première version et en produisant deux autres versions aussi validées. • Conjointement, les deux cégeps invitent les cégeps du réseau des collèges à collaborer à ce projet.

3. Sommaire • Contexte • Les outils de la validation • Première validation du construit (1ère version) • Première validation de contenu • Deuxième validation du construit (2e version) • Deuxième validation de contenu • Troisième validation du construit : TRI (3e version) • Améliorations à venir • invitation

4. Sommaire • Contexte • Les outils de la validation • Première validation du construit (1ère version) • Première validation de contenu • Deuxième validation du construit (2e version) • Deuxième validation de contenu • Troisième validation du construit : TRI (3e version) • Améliorations à venir • Invitation

5. Genèse de la réflexion sur la maîtrise du français écrit • Les tableaux de bord du Cégep RDL indiquent des taux d’échecs élevés dans les premiers cours de français • Ils indiquent aussi un abandon des cours de français par certains étudiants • Ce constat nous a conduits à : • caractériser ces étudiants ; • développer une stratégie intégrée d’actions favorisant la maîtrise du français écrit : • Le cours propre au programme en français devenant le premier cours de la séquence • Un cours propre destiné spécifiquement aux étudiants ayant une MGS < 70 • Un Centre d’entraînement en français (atelier 416) • Le dépistage des fautes récurrentes par un test diagnostique • Des stratégies d’autocorrection et de révision communes au département de français • (…)

6. Contexte : la situation au cégep de Rivière-du-Loup

7. Contexte : recherche d’un test diagnostique • Objectifs poursuivis : • cibler les erreurs récurrentes de la langue écrite (catégories de fautes) • intervenir prioritairement sur ces difficultés récurrentes • uniformiser les tests des enseignants du département • Le test du Cégep de Victoriaville : entente entre nos deux collèges • Mise en ligne du test du Cégep de Victoriaville au mois d’août 2011 • 100 questions du Cégep de Victoriaville • 11 catégories

8. Sommaire • Contexte • Les outils de la validation • Première validation du construit (1ère version) • Première validation de contenu • Deuxième validation du construit (2e version) • Deuxième validation de contenu • Troisième validation du construit : TRI (3e version) • Améliorations à venir • invitation

9. Les outils de validation du test • Le logiciel : R (gratuit, malléable, documenté) • La validation du construit • La théorie classique • fiabilité de l’échelle de mesure • La dimensionnalité du test et des catégories (sous-dimensions) • Trois paramètres de la TRI • La capacité discriminative de l’item (questions) • La difficulté de l’item • Le facteur «pseudo-chance» de l’item • La validation du contenu • Rédaction de nouvelles questions : enseignants • Affectation des items aux catégories : enseignants • Analyse des choix de réponse par item : linguiste • La validité prédictive • La relation à l’ÉUF

10. Les outils de validation du test – concept TRI Objectifs de la validation Choisir un ensemble de questions qui mesurent bien une habileté. Choisir les questions selon les paramètres TRI Choisir les questions qui échappent à certains facteurs (variables démographiques, hasard). Créer des banques de questions. Créer des versions équivalentes d’un même test. Modèle simple (Rasch) Effort de limiter la probabilité de trouver la bonne réponse à un item à l’habileté de la personne et au niveau de difficultéde l’item.

11. Sommaire • Contexte • Les outils de la validation • Première validation du construit (1e version) • Première validation de contenu • Deuxième validation du construit (2e version) • Deuxième validation de contenu • Troisième validation du construit : TRI (3e version) • Améliorations à venir • Invitation

12. Première validation : théorie classique (1ère version- Automne 2011) Groupes faibles Groupes forts

13. Sommaire • Contexte • Les outils de la validation • Première validation du construit (1ère version) • Première validation de contenu • Deuxième validation du construit (2e version) • Deuxième validation de contenu • Troisième validation du construit : TRI (3e version) • Améliorations à venir • Invitation

14. Première validation de contenu – Automne 2011 • À la suite des analyses statistiques, nous avons : • Analysé les questions les moins liées au construit : celles diminuant le pourcentage de fiabilité de chaque catégorie • Retranché 33 questions sur les 100 • Associé les questions du test d’origine à de nouvelles catégories : • 9 catégories du « Codes de correction du français écrit et du style » • Un degré d’accord de 61 % pour 4 personnes associant les 67 questions aux 9 catégories • Écriture de 23 nouvelles questions pour un test de 90 questions : 67+23 • Mise en ligne de ce nouveau questionnaire sur Moodle

15. Sommaire • Contexte • Les outils de la validation • Première validation du construit (1ère version) • Première validation de contenu • Deuxième validation du construit (2e version) • Deuxième validation de contenu • Troisième validation du construit : TRI (3e version) • Améliorations à venir • Invitation

16. Deuxième validation : théorie classique (2e version – Hiver 2012) Groupes faibles Groupe fort

17. Deuxième validation : théorie classique (2e version – Hiver 2012) Révision des items selon la fiabilité de l’échelle de mesure Règle Alpha total = 0,31 Révision de la question dont la suppression améliore la fiabilité de l’échelle de mesure

18. Deuxième validation : théorie classique (2e version – Hiver 2012) Révision des items par l’analyse factorielle exploratoire Contribution commune minimale acceptable : > 0,30 Révision des questions - 1, 4, 5 - 2,6 conjugaison

19. Sommaire • Contexte • Les outils de la validation • Première validation du construit (1ère version) • Première validation de contenu • Deuxième validation du construit (2e version) • Deuxième validation de contenu • Troisième validation du construit : TRI (3e version) • Améliorations à venir • invitation

20. Deuxième validation de contenu – hiver 2012 • À la suite des résultats du test fait en février 2012 • Révision des questions : emploi usuel et respect des catégories • Retrait de 40 questions et suppression de 4 catégories • Majuscule et minuscule • Ponctuation • Structure de phrase • Vocabulaire • Donc, un test de 50 questions • 31 questions (62 %) dont le choix de réponse est modifié • Suppression de certains choix : participes passés, vocabulaire.

21. Sommaire • Contexte • Les outils de la validation • Première validation du construit (1ère version) • Première validation de contenu • Deuxième validation du construit (2e version) • Deuxième validation de contenu • Troisième validation du construit : TRI (3e version) • Améliorations à venir • Invitation

22. Rappel : la théorie de la réponse aux items • Le logiciel : R (gratuit, malléable, documenté) • La validation du construit • La théorie classique • fiabilité de l’échelle de mesure • La dimensionnalité du test et des catégories (sous-dimensions) • Trois paramètres de la TRI • La capacité discriminative de l’item (questions) • La difficulté de l’item • Le facteur pseudo-chance de l’item • La validation du contenu • Rédaction de nouvelles questions : enseignants • Affectation des items aux catégories : enseignants • Analyse des choix de réponse par item : linguiste • La validité prédictive • La relation à l’ÉUF

23. Troisième validation Automne 2012 • Question 7 : Si tu m’(…), il me fera plaisir de te parler • appelles • appel • appeles • appele • appelle • Question 9 : Vous voulez (…) vos vacances en famille. • passer • passées • passez • passés • passé

24. Troisième validation du construit (automne 2012) Paramètre 1 La question 9 est peu discriminante

25. Troisième validation du construit (automne 2012) Paramètre 2 La question 9 est la plus facile

26. Troisième validation du construit (automne 2012) Paramètre 3 La question 9 « hasard » la plus élevé

27. Troisième validation du construit Fonctionnement différentiel (selon le sexe) La question 66 • Question 66 : Julie a (…) les vidanges. • sortie • sorti • sorties • sortis +0,70 Les garçons -0,20 Les filles Test du rapport de vraisemblance d’Andersen

28. Troisième validation du construit La qualité de l’échantillon de calibration • Répondants inappropriés • leurs scores ne correspondent pas à leur habileté

29. Sommaire • Contexte • Les outils de la validation • Première validation du construit (1ère version) • Première validation de contenu • Deuxième validation du construit (2e version) • Deuxième validation de contenu • Troisième validation du construit : TRI (3e version) • Améliorations à venir • Invitation

30. Améliorations à venir • Échantillonnage • Augmenter l’échantillon pour le modèle à trois paramètres • Purifier l’échantillon de calibration • Items • Ajouter continuellement de nouveaux items • Réviser les items qui ne sont pas ajustés au modèle • Réviser les items dysfonctionnels • Test • Établir un score de réussite par catégorie • Proposer plusieurs versions équivalentes du test • Identifier les réponses inappropriées • Établir la valeur prédictive du test par rapport à l’EUF • Plateforme • Afficher les scores par catégories

31. Cas d’amélioration : affichage des scores par catégorie

32. Cas d’amélioration : affichage des scores par catégorie

33. sommaire • Contexte • Les outils de la validation • Première validation du construit (1ère version) • Première validation de contenu • Deuxième validation du construit (2e version) • Deuxième validation de contenu • Troisième validation du construit : TRI (3e version) • Améliorations à venir • invitation

34. Invitation aux collèges Le modèle de Rasch une centaine d’étudiants Le modèle à deux paramètres un ratio de 1 (item) sur 10 (sujets) : 1000 étudiants et plus

35. Propositionde collaboration • Utiliser le même test diagnostique en ligne sur Moodle • L’utiliser en prétest, post-test • Indiquer le cours porteur du test • Communiquer les résultats des tests : • MGS des étudiants • Le sexe : M ou F • Résultats aux tests dans un fichier Excel • Produire 25 nouvelles questions par année