Le Centre international d’études pédagogiques CIEP

1. Quand les psychométriciens s’en mêlent… Patrick Riba Le Centre international d’études pédagogiques CIEP Ministère de l’Education nationale

2. Objectifs des analyses statistiques Déterminer la qualité du matériel (qualités psychométriques des items) Déterminer le niveau de difficulté des items Vérifier les biais potentiels liés au sexe, à la langue maternelle des candidats … Mise en banque des items

3. Outils d’analyse (1) Modèle de mesure classique Difficulté de l’item (taux de réussite) Fonctionnement de la clé Rôle des distracteurs Discrimination de l’item (coefficient de corrélation bisérial) Fidélité du test (α de Cronback) Les items non conformes sont exclus.

4. Exemple Item validé Item rejeté On doit observer une progression du taux de réussite entre le groupe 1 et 2, entre le groupe 2 et 3 … Seule la clé doit avoir un rptbis supérieur à 0.

5. Item rejeté Ce distracteur est à modifier car il attire les réponses de candidats dont le niveau (ici A1) est bon.

6. Outils d’analyse (2) Modèle de Rasch Caractère unidimensionnel des données : les items évaluent uniquement le niveau en langue française. Vérification de la cohérence des données : la difficulté de l’item par rapport à la compétence du candidat. Fonctionnement différentiel de l’item : Bais liés au sexe, à la langue maternelle des candidats … Comportement de l’item : Comparaison entre les probabilités prévues par le modèle et les probabilités observées. Les items non conformes sont exclus.

7. Exemple Item validé Item rejeté Il semble qu’il y a trop de réponses inattendues. Les probabilités de succès prévues par le modèle doivent être le plus proche possible des probabilités observées. Les indices infit et outfit doivent être compris entre 0,7 et 1,3.

8. Item rejeté Vous voulez voir …

9. Banque d’items (1) Concept d’une banque d’items Elle est constituée d’un grand nombre d’items On connaît la difficulté des items et leurs qualités psychométriques. Les items peuvent être utilisés plusieurs fois. Une échelle de niveau de difficulté commune pour tous les items Objectifs Elle facilite la fabrication d’une grande variété de tests. Fabrication de versions de tests de niveaux équivalents.

10. Banque d’items (2) Avantages Flexibilité Caractère dynamique de la banque d’items Sécurité et économie Validation et expérimentation Contraintes Contraintes de construction Contrôle continu de la qualité Coût et rentabilité à long terme

11. La banque d’items du DELF-DALF Constitution de la banque d’items Chaque diplôme a sa propre banque d’items. Chaque banque d’items comporte uniquement les items qui auront été validés par le modèle de Rasch. Création d’items ancres : équivalence des versions du DELF-DALF.