Séminaire du CRIE – Université de Sherbrooke : 2 avril 2009 Perspectives multiniveaux dans la recherche en éducation Pas

1. Séminaire du CRIE – Université de Sherbrooke : 2 avril 2009 Perspectives multiniveaux dans la recherche en éducation Pascal BRESSOUX Université Pierre-Mendès-France GrenobleLaboratoire des Sciences de l’Education

2. Plan de l’exposé • Considérations méthodologiques liées à l’analyse multiniveau • Le modèle multiniveauL’exemple de l’expérimentation CP à effectif réduits • Les modèles de croissanceL’exemple du suivi à long terme des effets du CP à effectifs réduits • Le modèle aléatoire croiséL’exemple de l’étude de l’effet-maître sur le long terme

3. Buxelles: De Boeck2008

4. Considérations méthodologiques liées à l’analyse multiniveau

5. Principes de l’analyse multiniveau Modèles multiniveaux (ou modèles hiérarchiques linéaires) Nés des avancées des modèles de contexte et des modèles mixtes. But : étudier les effets de l’environnement sur le « comportement » individuel. Données sur plusieurs « niveaux » : - Un effet-classe sur les acquis des élèves ? - Un effet-juge sur les condamnations des prévenus ? - Un effet-quartier sur la délinquance des jeunes ? - Un effet-pays sur les résultats des élèves à PISA ? - Etc. Souvent, structure hiérarchisée. Exemple : des élèves (niveau 1) dans des classes (niveau 2), etc.

6. Exemple d’une structure hiérarchisée à quatre niveaux Académie 1 Académie 2 Niveau 4 (Académies) Ecole 1 Ecole 2 Ecole 3 Ecole 4 Niveau 3 (Ecoles) … / … Classe 1 Classe 2 Classe 3 Classe 4 Niveau 2(classes) él. 1 él. 2 él. 3 él. 4 él. 5 él. 6 él. 7 él. 8 Niveau 1(élèves)

7. Problèmes posés par l’analyse de données hiérarchisées Non-indépendance des résidus Agrégation vs désagrégation (voir aussi diapo suivante) Effets aléatoires et effets fixes Hétérogénéité des relations

8. Le modèle multiniveau

9. Le modèle multiniveau à constantes aléatoires Niveau 1 Niveau 2 Equation complète Les composants de la variance : Variance totale :

10. Un exemple d’estimation avec constantes aléatoires Modèles expliquant le score final en français (données aménagement du temps scolaire 1997-98) N = 516 Le score initial (modèle 2) « n’explique » quasiment pas la variance des constantes (variance interclasses), mais il « explique » environ la moitié de la variance inter-élèves (intraclasse).

11. Le modèle multiniveau complet :constantes et pentes aléatoires Niveau 1 Niveau 2 Equation complète

12. Les composants de la variance : Variance de Y devient fonction quadratique de X

13. Un exemple d’estimation avec constantes et pentes aléatoires Modèles expliquant le score final en français (données aménagement du temps scolaire 1997-98) N = 516

14. Relation entre les scores initial et final : nuage de points et droites estimées pour chacune des classes

15. Relation entre les constantes et les pentes

16. Estimation des constantes et des pentes avec leurs intervalles de confiance Cette incertitude dans les estimations est très importante à prendre en compte dans les « palmarès » (type PISA).

17. L’effet de shrinkage Les droites sont « ramenées » vers la moyenne générale pour corriger les fluctuations aléatoires dues à la variance d’échantillonnage. Chaque droite est affectée par les informations obtenues sur le groupe particulier et par l’information générale (estimation bayésienne). Plus Njest petit, plus la variance d’échantillonnage est élevée et plus la droite sera ramenée vers la moyenne. La variance d’échantillonnage est beaucoup plus importante pour les pentes que pour les constantes.

18. Application de l’analyse multiniveau: L’expérimentation CP à effectifs réduits Le Ministère de l’Education Nationale français a lancé en 2002-2003 une expérimentation d’envergure visant à réduire la taille des classes de CP (1ère année élémentaire) à 10 élèves dans les zones défavorisées. • Méthode • Participants • 100 classes expérimentales (8 à 12 élèves par classe dans les faits avec une moyenne égale à 10,45) • 100 classes témoins (15 à 27 élèves par classe dans les faits avec une moyenne égale à 21,29). • Toutes dans des milieux défavorisés (écoles en zone d’éducation prioritaire)

19. Procédure • Acquis des élèves en français-lecture évalués en début, en milieu et en fin d’année. • (Dans les écoles témoins, ces évaluations n’ont porté que sur 10 élèves choisis aléatoirement.) • Les scores d’acquisitions des élèves ont été normalisés, centrés et réduits. • Dans un premier temps, on n’utilise pour l’évaluation que les scores d’acquisitions de début et de fin d’année.

20. Modèles multiniveaux expliquant les acquis des élèves en 1e année élémentaire

21. Le modèle multiniveau de croissance

22. Le modèle multiniveau de croissance Relation entre les scores initial et final pour un échantillon d’individus Y     X Relation entre le temps et les scores pour un individu donné Y    t1t2t3 t

23. Exemple d’une structure hiérarchisée de croissance Classe 1 Classe 2 Niveau 3 (Classes) Elève 1 Elève 2 Elève 3 Elève 4 Niveau 2(Elèves) … /… mes. 1 mes. 2 mes. 3 mes. 1 mes. 2 mes. 3 Niveau 1(Mesures)

24. Une mesure du déroulement du temps est nécessaire (âge, durée…) Formalisation du modèle de croissance Niveau 1 : Niveau initial moyen Niveau 2 : Caractéristique qui varie avec le temps Caractéristique interindividuelle stable dans le temps Rythme de croissance moyen En intégrant dans une même équation : Rythme de croissance fonction aussi de Z Variance de Y fonction du temps (= gestion de l’hétéroscédasticité des erreurs)

25. Application du modèle multiniveau de croissance: reprise de l’expérimentation de réduction de la taille des classes

26. Application du modèle multiniveau de croissance Etude des effets à long terme de la réduction des effectifs Les élèves ont été suivis jusqu’au début de la 3e année élémentaire Leurs acquisitions en français-lecture ont été testées en début et en fin de 2e année élémentaire et en début de 3e année élémentaire Précision : les épreuves n’étant pas les mêmes, leurs scores ne sont pas directement comparables. Tous les scores ont été centrés réduits => On s’intéresse aux progrès relatifs des groupes expérimental et témoin

27. Modèles longitudinaux de croissance expliquant les acquis des élèves avec modélisation d’un effet quadratique du temps

28. Modélisation des acquisitions comme fonction quadratique du temps, selon que les élèves appartiennent au groupe expérimental ou témoin

29. Le modèle aléatoire croisé

30. Le modèle aléatoire croisé Un exemple de structure aléatoire croisée transversale Un exemple de structure aléatoire croisée longitudinale

31. Modèle aléatoire croisé à 2 niveaux : Modèle aléatoire croisé à 3 niveaux :

32. Un exemple de modélisation aléatoire croisée : la question des effets à long terme des enseignants sur les acquis en mathématiques Ni = 461

33. MERCI POUR VOTRE ATTENTION

34. « Similarité » des individus au sein des contextes • « Qui se ressemble s’assemble »… • Eventuelle sélection par les écoles • Eventuel choix des parents • Ségrégation spatiale en cas de carte scolaire … « Qui s’assemble se ressemble » - Destin commun (partage d’un même environnement) - interactions (influence mutuelle)

35. Illustration du biais d’agrégation (Cf. observations classes DEP 95 : Relation entre jugement des enseignants et scores des élèves) Corrélation (toutes classes confondues) = 0,28 (p = 0,003). Corrélation inter-classes = –0,77 (p = 0,002). Corrélation médiane intra-classes = 0,73. Approche par la régression :

36. L’estimation de la part de variance inter-groupes Décomposition de la variance (ANOVA avec effets aléatoires) Coefficient de corrélation intra-classe Simulation…

37. Données issues de tables de nombres aléatoires, groupées dans des macro-unités(extrait de Wonnacott & Wonnacott, 1991, p. 867) ρ = 0,059 (Proc ANOVA). Donc, part de variance inter-groupes = 5,9 %

38. Droites de régression avec constantes aléatoires

39. Droites de régression avec constantes et pentes aléatoires

40. Illustration de l’effet de shrinkage Droites de régression estimées par les moindres carrés ordinaires Droites de régression estimées par le modèle multiniveau