260 likes | 372 Views
Enquêtes internationales et indicateurs d’équité. Trois exemples. Disparités filles garçons Indicateurs relatifs et non pas absolus Disparités entre natifs et immigrés Dangers des indicateurs issus d’analyses bivariées Disparités entre établissements
E N D
Trois exemples • Disparités filles garçons • Indicateurs relatifs et non pas absolus • Disparités entre natifs et immigrés • Dangers des indicateurs issus d’analyses bivariées • Disparités entre établissements • Erreurs d’interprétation qui peuvent conduire à des désastres pédagogiques • Resituer l’interprétation des indicateurs dans le contexte méthodologique de la recherche
Disparités filles garçons • OCDE rapport initial: tables 5.1.a & 5.1.b • Echelle combinée: 32 points • Echelle Retrieving information: 24 points • Echelle Interpreting texts: 29 points • Echelle Reflecting: 45 points • OECD Reading for change • Echelle Textes continus: 39 points • Echelle Textes non continus: 17 points
Inconsistance de résultats • Choix des textes support pour les tâches de lecture • Type de démarches évaluées • Différence de populations • Grade versus âge • Format des questions
Distribution des questions en fonction du type de questions et du type de démarches
Disparités Filles Garçons et nature des questions • QCM: 0.19 écart-type • Question ouverte: 0.29 • D’où à quoi peut-on attribuer les différences entre filles et garçons? • Nature des questions • Type de démarches
Génération de nouvelles PVs • Six échelles • Retrouver des informations QCM (12) • Retrouver des informations QO (24) • Interpréter des textes QCM (43) • Interpréter des textes QO (21) • Réfléchir et évaluer QCM (5) • Réfléchir et évaluer QO (24)
Résultats France • Six échelles • Retrouver des informations QCM: 506.3 (14) • Retrouver des informations QO: 519.3 (10) • Interpréter des textes QCM: 504.4 (15) • Interpréter des textes QO: 512.2 (14) • Réfléchir et évaluer QCM: 519.4 (11) • Réfléchir et évaluer QO: 496.8 (17)
Disparités F-G: conclusions • Disparités variables selon: • Définition de la population • Nature des questions • Type de démarches • Type de textes • Absence d’indépendance statistique de la répartition des questions selon ces différentes dimensions • Ne pas s’engager trop rapidement dans des interprétations théoriques
Disparités Natifs-Immigrés • Question 16 • Es-tu né en France ? • Ta mère est-elle née en France ? • Ton père est-il né en France ? • Question 17 • Parles-tu le français à la maison ?
Résultats publiés par l’OCDE • Au départ de la question 16; • Natif, 1ère génération, non natif • Au départ de la question 17 • Parle la langue du test à la maison, ne parle pas la langue du test à la maison
On peut lire: • …. Concern about such differences is especially justified in those countries with significant performance gaps and comparatively large percentage of first generation students, including Belgium, France and Luxembourg. (…) • Australia and Canada provide interesting exceptions to the general pattern
Réanalyse des données PISA • Répartition des élèves en 4 catégories en fonction de la question 16 et de la question 17 • Elèves autochtones même langue • Elèves autochtones autre langue • Autres élèves même langue • Autres élèves autre langue
Disparités entre établissements • Décomposition de la variance (rapport initial (F2.6)) • Analyse multi niveaux • Chap 8 rapport initial • Chap 7 Reading for change • Aucune définition du concept école
Disparités entre établissements • Belgique • Etablissement et Implantation • Pisa 2000: BFR=implantation et BFL=établissement • PISA 2003: BFR=établissement et BFL=implantation • France : collège et lycée: • Dans PISA, on ne décrit aucun de ces deux types d’établissements • Conclusions dangereuses
Création de collèges et lycées en BFR • France: Rho=0.50 • BFR: 0.57 • Avec collèges et lycées: 0.64
Conclusions • Tout indicateur doit être interpréter à la lumière de la méthodologie employée pour éviter des interprétations hâtives voire erronées