Deon Filmer Development Research Group, La Banque mondiale

1. Évaluation d’impact dupotentiel d’amélioration des résultats des mesures incitatives destinées aux enseignants Deon Filmer Development Research Group, La Banquemondiale Séminaire sur la prise de décision fondée sur l’expérience dans le domaine de l’éducation Programme d’évaluation d’impact de l’éducation en Afrique (APEIE) Accra, Ghana 10-14 mai 2010

2. Mesures incitatives destinées aux enseignants • Comment s’assurer que les enseignants font le plus d’effort possibles ?

3. Absentéisme des enseignants Pourcentage des enseignants absents le jour d’une visite non annoncée dans l’école

4. Mesures incitatives destinées aux enseignants • Motivation intrinsèque • Motivation extrinsèque • Modèles d’amélioration des mesures incitatives : • Normes plus élevée à l’entrée, moyenne et gradients des paiements plus élevés, progression de carrière liée aux compétences et aux performances • « Enseignants contractuels » – engagement local, pas de titularisation, performances évaluées directement par la communauté scolaire • « Payer pour les performances » – paiement de bonus liés aux efforts et/ou aux résultats

5. Comment les mesures incitatives peuvent-elles conduire à de meilleurs résultats ? • Qualité du personnel • À l’entrée : L’accréditation et les mesures incitatives basées sur le mérite encouragent les bons professionnels de l’enseignement à rejoindre le système éducatif • Dans les régions éloignées : Des mesures incitatives financières liées à la localisation améliorent l’équité dans l’affectation géographique des enseignants • Une présence et des efforts accrus • L’engagement et le suivi des performances décentralisés des enseignants améliorent les taux de présence et à les efforts des enseignants • Les systèmes de paiement pour les performances stimulent l’amélioration globale de la qualité ainsi que la qualité de l’enseignement (au moins à cours terme) et améliorent donc les scores réalisés aux tests par les élèves • Des efforts soutenus • Les incitations liées à la carrière des enseignants encouragent le maintien des efforts des enseignants et améliorent donc les performances des élèves • L’hypothèse (testable de manière empirique) est qu’une meilleure qualité et des efforts accrus augmentent l’apprentissage

6. Sujet du jour : Les systèmes de paiement pour les performance des enseignants • Relient les paiement aux performances • Mesurées par des tests Note : peuvent aussi être liés aux efforts • Exemple : présence en salle de classe au début et à la fin de la journée

7. Systèmes de paiement pour les performance des enseignants : inconvénients potentiels • Supposent que l’enseignant sait comment améliorer sa façon de donner cours • Il est difficile de comptabiliser les caractéristiques du corps estudiantin • Effets pervers au niveau des élèves : • Enseignement en fonction des tests • Manipulations dans le choix de ceux qui passent les tests • Effets pervers au niveau des enseignants: • Démoralisation • Diminution de la motivation intrinsèque  L’évaluation d’impact aidera à comprendre les compromis entre les avantages et les inconvénients potentiels des mesures incitatives

8. Étude de cas 1: Mesures incitatives en Inde • Paiement pour les performances des enseignants : constat expérimental réalisé en Inde • Par KarthikMuralidharan (University of California San Diego) et VenkateshSundararaman (Banque mondiale)

9. Localisation de l’étude • État indien de l’Andhra Pradesh (AP) • 5e État le plus peuplé de l’Inde • Population de 80 millions • 23 districts (2 à 4 millions chacun) • Proche des moyennes pour la totalité de l’Inde pour beaucoup de mesures du développement humain

10. Conception des mesures incitatives • Les enseignants ont reçu des bonus en plus de leur salaire normal, sur la base de l’amélioration moyenne des scores au test de tous les élèves de l’année/de l’école par rapport aux références • Matières considérées : mathématiques et langue • Documents de l’évaluation conçus par une agence de test indépendante (EI) • Évaluations conduites par une ONG indépendante (APF) • Formule pour le bonus • 500 roupies de bonus par point de pourcentage d’amélioration des scores moyens • Calibrée pour atteindre 3 % du paiement annuel (et égale aux traitements à l’entrée) • Basé sur l’amélioration absolue (taux par contrat ou unitaire) au lieu d’une compétition pour un prix fixe (tournoi) • Les contrats dominent pour les agents prudents • Plus grande transparence du système incitatif avec les contrats • Chocs ordinaires petits par rapport aux chocs au niveau de l’école/de la classe • Mêmes coûts d’information • Plus facile de participer dynamiquement à des tournoi récompensant l’ajout de valeur • À la fois les mesures incitatives de groupes et individuelles ont été étudiées • resquillage/suivi par les pairs/bénéfices pour la coopération

11. Vue d’ensemble de la conception

12. Résumé de la conception expérimentale • Étude menée sur un échantillon représentatif de 500 écoles primaires dans 5 districts de l’AP • Tests de référence dans ces écoles (juin/juillet 2005) • Attribution stratifié aléatoire des 100 écoles à chaque traitement (2 écoles par mandal pour chaque traitement) (août 2005) • Suivi des variables du processus tout au long de l’année à travers des enquêtes mensuelles non annoncées (septembre 05 – février 06) • Deux cycles de tests de suivi pour évaluer l’impact des différentes interventions sur les résultats de l’apprentissage (mars/avril 2006) • Entretiens avec les enseignants après le programme et avant que les résultats leur soient communiqués (août 2006) • Payer les bonus et faire connaître la poursuite du programme (septembre 2006)

13. Résultats Variable dépendante = Score normalisé au test final Combiné Maths Telugu Année 1 sur Année 2 sur • Année 2 sur • Année 1 sur • Année 2 sur • Année 1 sur • Année 2 sur Année 0 • Année 1 • Année 0 • Année 0 • Année 0 • Année 0 • Année 0 [1] [2] [3] [4] [5] [6] [7] • Score normalisé ultérieur 0,5 0,553 0,45 0,49 0,418 0,516 0,484 (0,013)*** (0,016)*** (0,015)*** (0,017)*** (0,022)*** (0,014)*** (0,014)*** 0,153 0,143 0,217 Mesure incitative pour l’école 0,188 0,277 0,119 0,158 (0,042)*** (0,035)*** (0,047)*** (0,049)*** (0,055)*** (0,038)*** (0,043)*** Observations 68702 78613 49516 34121 24592 34581 24924 0,29 0,29 0,23 0,28 0,22 0,32 0,25 R au carré Note : impact plus petit également observé sur des matières ne bénéficiant pas de mesures incitatives (sciences ; études sociales)

14. Variable dépendante = Score normalisé au test final A1 sur A0 A2 sur A1 A2 sur A0 Combiné Combiné Combiné Maths Telugu [1] [4] [7] [8] [9] • Score normalisé ultérieur 0,5 0,554 0,451 0,418 0,485 (0,013)*** (0,016)*** (0,015)*** (0,022)*** (0,014)*** Mesure incitative individuelle pour l’école (II) 0,271 0,160 0,198 0,321 0,223 (0,058)*** (0,049)*** (0,044)*** (0,068)*** (0,053)*** • Mesure incitative de groupe pour l’école (GI) 0,162 0,146 0,087 0,232 0,092 (0,058)*** (0,050)*** (0,045)* (0,071)*** (0,052)* Observations 68702 78613 49516 24592 24924 0,78 0,05 0,12 0,29 0,03 Valeur p stat F (test GI = II) R au carré 0,29 0,3 0,23 0,23 0,25 Notes: • * Significatif à 10 %; ** Significatif à 5 %; *** Significatif à 1 % Mesures incitatives de groupe vs individuelles

15. Mesures incitatives comparées au contrôle (tous les chiffres sont en%) Écoles avecincitations Écoles aveccontrôle Valeur p de la Coefficient de l’indicateur Comportement de l’enseignant différence de comportement dans le score au test Absentéisme (%) 0,24 0,24 0,82 -0,110 ** Cours donnés activement au moment de l’observation (%) 0,57 0,44 0,42 0,124 *** Avez-vous préparé quelque chose de spécialpour les test de fin d’année ? (% de oui) 0,000*** 0,63 0,25 0,102 *** Quelle sorte de préparation avez-vous faite? • (spontané) (% ayant répondu) Travail à domicile supplémentaire 0,000*** 0,42 0,15 0,085 ** Travail en classe supplémentaire 0,000*** 0,46 0,17 0,091 *** Cours/enseignement supplémentairesen plus des heures de classe 0,000*** 0,16 0,04 0,181 *** Ont fait subir des tests pratiques 0,000*** 0,31 0,10 0,111 *** Accordent une attention particulière aux élèves plus faibles 0,21 0,05 0,000*** 0,017 Comment le comportement des enseignants a-t-il changé?

16. Résumé des résultats • Les écoles bénéficiaires des mesures incitatives font nettement mieux (0,22 SD) • Les améliorations sont systématiques (au niveau de toutes les années, tous les districts, tous les scores de référence) • Preuves limitées d’effets hétérogènes du traitement • Les élèves des écoles bénéficiaires réussissent mieux dans les composants mécaniques et conceptuels des tests mais aussi dans les matières ne bénéficiant pas des mesures incitatives • Aucune différence entre les mesures incitatives de groupe et individuelles la première année – mais la deuxième année, les mesures individuelles commencent à s’avérer plus performantes que celles de groupe • Pas de changement au niveau de l’absentéisme, mais les enseignants des écoles bénéficiaires atteignent de meilleurs niveaux pour les activités pédagogiques liées à la présence dans la classe • Les différences de comportement sont corrélées avec les résultats de l’apprentissage • Beaucoup plus rentable que les intrants de même valeur • Les enseignants ont réellement apprécié le programme – cette appréciation ex ante se retrouve dans les performances ex post

17. Étude de cas 2: Mesures incitatives au Brésil • Encourager la qualité : évaluer les effets d’un bonus sur les performances éducatives au Brésil • Par Claudio Ferraz (PUC Rio) et Barbara Bruns (Banque mondiale)

18. Brésil : L’étude cherche à comprendre… • Les effets sur les performances des élèves de l’introduction d’un système de bonus basé sur des tests normalisés • Les variations de l’impact des bonus en fonction des caractéristiques des écoles (ex. : cohésion sociale ; profils des enseignants), • Les stratégies utilisées pour améliorer les performances

19. Région de l’étude : État de Pernambouc, Brésil

20. Caractéristiques de l’étude de cas du Brésil • Le Programme de bonus pour les performances éducationnelles au Pernambouc a été créé par une loi de 2008 • Son but est de mettre en place des mesures incitatives pour améliorer la qualité de l’enseignement et de récompenser les employés des écoles qui atteignent les objectifs de performance spécifiques aux écoles • La première année, les objectifs étaient basés sur les performance de 2005 (dernières informations disponibles) • Trois groupes d’écoles : • Performances élevées • Performances moyennes • Performances élevées

21. Caractéristiques de l’étude de cas du Brésil • Mise en œuvre au niveau de l’entièreté du système (pas par expérimentation) • Analyse causale des impacts utilisant : • La différence dans la différence • Une conception de la régression par discontinuité exploitant les objectifs annuels et les règles pour les bonus

22. Méthodologie d’évaluation d’impact • Différence dans la différence • Compare les performances des écoles d’État du Pernambouc avec celles des écoles d’État des États voisins, avant le programme de bonus (2005-2007) et après (2009) • Régression par discontinuité (RD) • Objectifs fixés suivant le groupe de performances (élevées, moyennes, faibles) auquel appartient l’école

23. 4 3.5 3 • Meta 2008 Langue portugaise 8a 2.5 2 1.5 1 2 3 4 IDEPE 2005 Langue portugaise 8a Illustration de la conception RD Objectifs pour 2008 (pour le portugais) pour chaque école (en fonction des niveaux 2005) Comment les résultats dans ces écoles… … diffèrent de résultatsdans ces écoles

24. Variations exogènes • La proportion des objectifs atteints par l’école est calculée par : (progrès réels) / (progrès attendus) • Les écoles ayant atteint au moins 50 % reçoivent un bonus • Le bonus est déterminé par le salaire initial et le pourcentage d’objectifs atteints

25. Brésil : Mesure des résultats • Apprentissage et redoublement des élèves, présence des enseignants, activités de planification au niveau de l’école ; mais aussi • Capital fiduciaire et social au niveau de l’école • Comportement des enseignants « à l’intérieur de la boîte noire » à travers des observations standardisées en salle de classe • Effets dynamiques de l’octroi ou non des bonus aux écoles sur la stratégie et les efforts des années suivantes… et les écoles savent-elles quoi faire ??

26. Résultats préliminaires pour les scores aux tests de portugais

27. Brésil : Méthode de Stalling pour l’observation en salle de classe • Utilisée dans toutes les écoles étudiées pour mesurer les changements potentiels dans le comportement en salle de classe

28. Brésil: Exemple de données générées

29. Merci