Bruxelles: De Boeck 2008 (2 e éd. Nov. 2010)

1. Séminaire organisé par l’école doctorale thématique PSYCEDUC et le GIRSEFLouvain-La-Neuve: 10-11 mars 2011 L’analyse de données longitudinales: les modèles multiniveaux de croissance Pascal BRESSOUX Université Pierre-Mendès-France GrenobleLaboratoire des Sciences de l’Education

2. Bruxelles: De Boeck2008 (2e éd. Nov. 2010)

3. Analyses contextuelles et problèmes posés par les moindres carrés ordinaires

4. Principes de l’analyse multiniveau Modèles multiniveaux (ou modèles hiérarchiques linéaires) Nés des avancées des modèles de contexte et des modèles mixtes. But : étudier les effets de l’environnement sur le « comportement » individuel. Données sur plusieurs « niveaux » : - Un effet-classe sur les acquis des élèves ? - Un effet-juge sur les condamnations des prévenus ? - Un effet-quartier sur la délinquance des jeunes ? - Un effet-pays sur les résultats des élèves à PISA ? - Etc. Souvent, structure hiérarchisée. Exemple : des élèves (niveau 1) dans des classes (niveau 2), etc.

5. Exemple d’une structure hiérarchisée à quatre niveaux Académie 1 Académie 2 Niveau 4 (Académies) Ecole 1 Ecole 2 Ecole 3 Ecole 4 Niveau 3 (Ecoles) … / … Classe 1 Classe 2 Classe 3 Classe 4 Niveau 2(classes) él. 1 él. 2 él. 3 él. 4 él. 5 él. 6 él. 7 él. 8 Niveau 1(élèves)

6. Problèmes posés par l’analyse de données hiérarchisées Non-indépendance des résidus Agrégation vs désagrégation (voir aussi diapo suivante) Effets aléatoires et effets fixes Hétérogénéité des relations

7. Le modèle de régression par les MCO où i = individus (unités d’analyse) et j = macro-unités (indistinctes) Droite de régression simple (sans distinction de classes)

8. Hypothèses sur les erreurs ~ ~

9. Admettons maintenant qu’on y inclue une variable de niveau 2, qu’on nommera Z. Si l’on raisonne sur les individus, on travaille sur des données désagrégées au niveau 1 (N = I): Si l’on raisonne sur les groupes, on travaille sur des données agrégées au niveau 2 (N = J): Estimation MCO des effets-classes (les gammas représentent des effets fixes) (N = I):

10. Le modèle multiniveau

11. Le modèle « vide » équivalant à une ANOVA avec effets aléatoires Au niveau 1 Au niveau 2 Equation complète

12. Coefficient de corrélation intra-classe = mesure du degré de « ressemblance » des individus i qui appartiennent à une même macro unité j.

13. Un exemple : étude de la variance des acquis en français à l’école élémentaire 516 élèves d’âge élémentaire appartenant à 24 classes. Acquis des élèves mesurés à l’aide d’épreuves standardisées en début et en fin d’année scolaire dans la discipline du français. On cherche à savoir ce qui fait varier les acquis des élèves en cours d’année. Les scores d’acquisitions des élèves ont été normalisés, centrés et réduits

14. Modèle vide décomposant les parts de variance inter et intra-classes du score final en français

15. Le modèle multiniveau à constantes aléatoires Niveau 1 Niveau 2 Equation complète Les composants de la variance : Variance totale :

16. N(0, ) N(0, ) Une matrice de variance-covariance des erreurs « bloc-diagonale » )

17. Un exemple d’estimation avec constantes aléatoires Modèles expliquant le score final en français (données aménagement du temps scolaire 1997-98) N = 516 Le score initial (modèle 2) « n’explique » quasiment pas la variance des constantes (variance interclasses), mais il « explique » environ la moitié de la variance inter-élèves (intraclasse).

18. Le modèle multiniveau complet :constantes et pentes aléatoires Niveau 1 Niveau 2 Equation complète

19. Les composants de la variance : Variance de Y devient fonction quadratique de X

20. Structure des erreurs au niveau 2 ~ ) au niveau 1, eij ~ N(0,

21. Un exemple d’estimation avec constantes et pentes aléatoires Modèles expliquant le score final en français (données aménagement du temps scolaire 1997-98) N = 516

22. Calcul de la décroissance de la déviance avec 2 paramètres supplémentaires à estimer : D = 1084,083 – 1079,525 = 4,558 Pour atteindre p < 0,05, le Khi2 à 2 ddl devrait au moins être égal à 5,99. Il n’y a donc pas d’évidence ici que la relation entre le score initial et le score final varie en fonction des classes. Le tableau montre la covariance constantes-pentes. La corrélation (en fait, ici, elle n’est pas significativement différente de 0) peut être calculée de la manière suivante :

23. On peut contraindre la covariance constantes pentes à être nulle. Par rapport au modèle sans pentes aléatoires, il n’y a alors qu’un seul paramètre supplémentaire à estimer. Exemple (mêmes données) : Variance des constantes = 0,094 (erreur-type = 0,033) Variance des pentes = 0,017 (erreur-type = 0,011) Variance de niveau 1 = 0,427 (erreur-type = 0,028) –2 log L = 1080,548 En ce cas, le calcul de la décroissance de la déviance avec 1 paramètre supplémentaire à estimer : D = 1084,083 – 1080,548 = 3,54. On est proche alors du seuil de significativité (pour atteindre p < 0,10 ; Khi2 à 1 ddl > 2,71 ; pour atteindre p < 0,05 ; le Khi2 à 1 ddl > 3,84).

24. Un exemple d’estimation avec constantes et pentes aléatoires Modèles expliquant le score final en maths (données aménagement du temps scolaire 1997-98) N = 516 ∆(2 – 3) = 5,034 (pour 2 ddl) ; ∆(2 – 4) = 4,962 (pour 1 ddl)

25. ATTENTION! • Une question de méthode d’estimation : • Maximum de vraisemblance complet (ML ou FML) • Ou • Maximum de vraisemblance restreint, ou résiduel (RML)

26. Ajoutons une variable Z de niveau 2 au niveau 1 au niveau 2 Interaction inter-niveaux Equation complète

27. Le modèle multiniveau de croissance

28. Relation entre les scores initial et final pour un échantillon d’individus y     x Relation entre le temps et les scores pour un individu donné y    t1t2t3 t

29. Exemple d’une structure hiérarchisée de croissance Classe 1 Classe 2 Niveau 3 (Classes) Elève 1 Elève 2 Elève 3 Elève 4 Niveau 2(Elèves) … /… mes. 1 mes. 2 mes. 3 mes. 1 mes. 2 mes. 3 Niveau 1(Mesures)

30. Une mesure du déroulement du temps est nécessaire (âge, durée…) Formalisation du modèle de croissance Niveau 1 : Niveau initial moyen Niveau 2 : Caractéristique qui varie avec le temps Caractéristique interindividuelle stable dans le temps Rythme de croissance moyen En intégrant dans une même équation : Rythme de croissance fonction aussi de Z Variance de Y fonction du temps (= gestion de l’hétéroscédasticité des erreurs)

31. Modèle très souple • Fonctionne pour données non équilibrées (ne nécessite pas le même nombre de mesures par sujet) • Fonctionne pour des mesures prises à différents moments et dont l’espacement diffère (ne nécessite pas que tous les sujets soient mesurés au même moment). • Permet de prendre en compte des environnements « macro » pour les individus: • classes, écoles, etc. pour les élèves • ateliers, usines, etc. pour les ouvriers • quartiers, villes, etc. pour les jeunes • Circonscription, canton, etc. pour les électeurs • Etc.

32. 1er exemple : Une étude empirique L’évolution des perceptions de soi dans le passage CM2-6e • Méthode • Participants • 62 élèves appartenant à 6 classes de CM2 en t1 et 9 classes de 6e en t2 et t3 • Matériel • Echelle SPP de Harter traduite et validée par Nurra et Pansu (perceptions de soi, importance accordée aux domaines, soutien social perçu) • Jugement des enseignants (score de 0 à 10 en français et en maths) • Fiches de renseignements sociodémographiques (âge, sexe…)

33. Procédure • Echelle SPP (perceptions de soi, importance aux domaines, soutien social perçu) passée à 3 temps. • Jugement des enseignants (français + maths) récolté à 3 temps. • T1: fin CM2 (mai 2005) • T2 : début 6e (octobre-novembre 2005) • T3 : fin 6e (mai 2006)

34. Quelques cas individuels de croissance Peut-on établir un modèle de tout cela?

35. Une spécification linéaire semble adaptée : de toute façon, impossible de spécifier une fonction d’ordre plus élevé (seulement 3 points) Evolution moyenne des perceptions de soi scolaires

36. La structure des données peut être considérée comme complexe : Niveau 1 : mesures Niveau 2 : les élèves Niveau 3 : les classes de CM2 et de 6e (structure aléatoire croisée). • Variables intégrées dans le modèle : • Variable TEMPS mesurée en nombre de mois (0, 6, 12) • Des caractéristiques stables dans le temps (sexe, à l’heure ou en avance) • Des caractéristiques qui varient dans le temps (importance du domaine de l’école, jugement des enseignants, soutien des camarades)

37. Etude de la croissance du sentiment de compétence scolaire Modèle à tester (différent de celui de Harter) Jugement de l’enseignant Sentiment de compétence scolaire Soutien social perçu

38. Effets fixes : * p < .05

39. Certaines hypothèses pourraient facilement être testées avec les modèles multiniveaux de croissance Epstein : Dans modèle hiérarchique de soi, les schémas de haut degré (e.g. l’estime de soi) sont plus résistants aux changements que les conceptions d’ordre inférieur (e.g. la perception de soi dans des domaines spécifiques). Peut-on tester cette hypothèse ? Si hypothèse vraie, on devrait observer que la part de variance interindividuelle est plus forte pour l’estime de soi que pour la perception de soi dans des domaines spécifiques.

40. L’estime de soi mesurée avec l’échelle de Rosenberg donne les valeurs suivantes : • Part de variance interindividuelle : Rho = 68,1 % • Fonction de variance interindividuelle : ns • Rythme de croissance : ns • ATTENTION, il faudrait aussi tenir compte de la fidélité des mesures.

41. 2e exemple : Modèle de croissance des effets à long terme de la réduction des effectifs au CP Le Ministère de l’Education Nationale français a lancé en 2002-2003 une expérimentation d’envergure visant à réduire la taille des classes de CP (1ère année élémentaire) à 10 élèves dans les zones défavorisées. • Méthode • Participants • 100 classes expérimentales (8 à 12 élèves par classe dans les faits avec une moyenne égale à 10,45) • 100 classes témoins (15 à 27 élèves par classe dans les faits avec une moyenne égale à 21,29). • Toutes dans des milieux défavorisés (écoles en zone d’éducation prioritaire)

42. Les élèves ont été suivis jusqu’à la fin de la 2e année élémentaire (en fait jusqu’au début de la 3e année mais les scores ne peuvent pas être mis sur la même échelle que les scores précédents). (Dans les écoles témoins, ces évaluations n’ont porté que sur 10 élèves choisis aléatoirement.) • Leurs acquisitions en français-lecture ont été testées 5 fois (avec items d’ancrage). • Début, milieu et fin CP • Début et fin CE1 Modèles de réponse à l’item ont permis de mettre tous les scores sur une même échelle de mesure.

43. 1163 élèves retenus pour les analyses (i.e. ceux qui étaient présents à la première et à la dernière évaluation). Structure des données : Niveau 1 : mesures (Nt = 5433) Niveau 2 : les élèves (Ni = 1163) Niveau 3 : les écoles (Nj = 69) • Variables intégrées dans le modèle : • Variable TEMPS mesurée en nombre de mois (0, 5, 8, 12, 20) • Des caractéristiques stables dans le temps (origine sociale, sexe) • Des caractéristiques de niveau supérieur (ancienneté enseignant, expérimentation)

44. Figure 1 : Evolution des résultats bruts

45. Variable d'analyse : score_francais N time Obs N Moyenne Ecart-type Minimum Maximum ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ 0 1163 1163 -0.7470158 1.1387861 -3.6658400 3.5490100 5 1163 1095 1.0424832 0.9507920 -1.4529400 5.8454600 8 1163 999 1.8025968 1.0972123 -2.5008300 5.7569900 12 1163 1013 1.9704838 1.1691808 -0.9668000 5.7569900 20 1163 1163 2.8968559 1.1230747 -0.3306000 6.3903300 ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ

46. Figure 2 : Evolution des résultats bruts en fonction du groupe expérimental

47. Quelle spécification adopter? Une spécification cubique?

48. Figure 3 : Spécification cubique des résultats (sans variables de contrôle)

49. Finalement, choix pour une spécification piecewise avec deux ruptures de pente

50. Modèle 2 inconditionnel de croissance : Variance totale = 0,094 + 0,703 + 0,610 = 1,407 Variance inter-écoles = 0,094/1,407 = 0,0688 (6,88 % de la variance totale) Variance inter-élèves = 0,703/1,407 = 0,4996 (49,96 % de la variance totale) Variance intra-élèves = 0,610/1,407 = 0,4336 (43,36 % de la variance totale) Nt = 5433 (mesures) Ni = 1163 (élèves) Nj = 69 (écoles)