Felipe Barrera-Osorio Dhushyanth Raju (La Banque mondiale)

1. Évaluation d’un programme de subvention basé sur des tests pour des écoles privées à faible coût : Preuve de la discontinuité de la régression au Pakistan Felipe Barrera-Osorio DhushyanthRaju (La Banque mondiale)

2. Vue d’ensemble de l’étude :Stratégie et résultats • Stratégie d’estimation • Étant donné que l’entrée dans le programme est une fonction des taux minimaux de réussite au test des élèves (moyenne au niveau de l’école), nous avons utilisé une approche de discontinuité de la régression dans deux vagues d’entrée des écoles (Phases 3 et 4) • Nous avons utilisé à la fois les données administratives et celles collectées par nous à travers une enquête téléphonique auprès des écoles proches du point de discontinuité • Résultats • Pour les candidats de la Phase 4, nous trouvons d’importants impacts positifs sur le nombre d’élèves, d’enseignants, de salles de classe et de tableaux noirs. Le ratio élèves-enseignant reste constant. L’impact apparaît après une courte période • En utilisant la Phase 3 (conception grossière), nous n’avons pas trouvé d’impact statistiquement significatif

3. Environnement du programme • De manière générale, le Pakistan affiche de médiocres performances pour les indicateurs éducationnel • Le taux de participation à l’école officielle (année 1+) des enfants de 6 à 15 ans était de 65,7 % • Alors de 91,8 % des enfants âgés de 12 à 16 ans achèvent l’école primaire, seuls 40,7 % terminent le secondaire (année 10) • Les scores moyens obtenus aux évaluations nationales sont inférieurs à 50 % • Le secteur public est le principal pourvoyeur d’enseignement, avec peu de redevabilité et un médiocre système d’incitations • Croissance spectaculaire de l’école privée depuis la moitié des années 1990 (Andrabi et coll., 2007 ; Andrabi et coll., 2006 ; Das, 2006) • 25 % des enfants fréquentant l’école (âgés de 6 à 17 ans) fréquentent l’école privée • Spécialement les pauvres et en milieu rural • Les frais dans les écoles privées sont généralement bas : en 2000, les frais annuels médians par élève étaient de 960 roupies (zone rurale) et de 751 roupies (zone urbaine) • L’État a établi un partenariat avec le secteur privé dans le but d’augmenter le taux de scolarisation et la qualité de l’enseignement, en particulier pour les familles défavorisées

4. Programme d’écoles assistées par la Fondation (EAF) : Structure et couverture • Administration : Conçue et gérée par la Fondation pour l’éducation du Panjab (FEP), une organisation semi-autonome • Objectifs : Augmenter la fréquentation scolaire et le niveau des résultats au sein des enfants de familles défavorisées • Calendrier : Programme mis en place en 2005 et étendu par phases (4 achevées) • Couverture : • Districts : 18 sur les 35 districts du Panjab ; 87 % des écoles de 7 districts • Écoles : 1 082 écoles privées à faible coût • Élèves : 474 000

5. Programme EAF : conditions d’éligibilité • Conditions initiales d’éligibilité aux avantages • Minimum 100 élèves inscrits • Passer une inspection qualitative conduite par la FEP • Au moins 67 % des élèves testés ont obtenu un score de 33 % ou plus • Conditions d’éligibilité à la continuation des avantages • Maintenir un nombre minimal d’inscriptions de 100 élèves • Supprimer tous les droits de scolarité et frais pour tous les élèves : panneau d’affichage à l’extérieur des portes de l’école pour annoncer la gratuité de la scolarité et fournir l’information sur les points de contact de la FEP • Faire chaque mois rapport sur les chiffres des inscriptions • Au moins 67 % des élèves testés ont obtenu un score de 40 % ou plus • Première violation : sanctions (par ex. gel des inscriptions). • Seconde violation : exclusion permanente du programme

6. Programme EAF : Avantages • Subvention : 300 roupies (4,3 dollars EU) par élève et par mois • Niveau de la subvention fixé à la limite supérieure de la fourchette des prix du secteur à faible coût • Grande liberté d’utilisation de la subvention • Bonus pour les enseignants : 10 000 roupies (143 dollars EU) par enseignant et par an pour 5 enseignants dans les écoles où au moins 90 % des élèves des classes testées ont obtenu un score de 40 % ou plus au test d’assurance qualité (TAQ) • 370 % du salaire moyen de référence des enseignants • Bonus pour l’école : 50 000 roupies (714 dollars EU) pour l’école ayant obtenu dans chaque district le plus haut taux de réussite au TAQ • 76 % de la subvention mensuelle moyenne payée aux écoles sur la base du nombre moyen des inscriptions de référence

7. Programme EAF : Tests • Test à l’entrée : Test d’assurance qualité pour l’établissement de la liste des candidats admissibles (TAQLC) : • Pour faire partie du programme, au moins 67 % des élèves testés doivent obtenir un score de 33 % ou plus au TAQLC • Version simplifiée du TAQ • Élaboré et géré par la FEP • Appliqué à deux ou trois années au cours d’une visite non annoncée dans l’école • Test de continuation : Test d’assurance qualité (TAQ): • Pour continuer à faire partie du programme, au moins 67 % des élèves des années testées doivent obtenir un score de 40 % ou plus au TAQ • Basé sur des échantillons des syllabi et manuels utilisés dans les écoles privée à faible coût • Matières sélectionnées : anglais, urdu, mathématiques, et sciences. • Appliqué deux fois par an dans deux ou trois années

8. Nombre d’écoles PHASE 3 PHASE 4 Programme EAF : Processus de mise en œuvre et nombre d’écoles Les écoles passent une inspection physique et prennent le TAQLC Les écoles bénéficient des avantages Les écoles postulent à l’aide du formulaire FAS Les écoles passent le TAQLC

9. Identification • Processus d’entrée : • Les écoles postulent quand un appel à candidatures est émis • Les écoles dont la demande est acceptée sont soumises à une inspection physique • Pendant les phases 3 et 4, les écoles qui ont passé l’inspection physique se voient offrir le TAQLC • Assignation au programme EAF (traitement) basé en fin de compte sur le taux de réussite au TAQLC de l’école • Pour faire partie du programme, au moins 67 % des élèves testés doivent obtenir un score de 33 % ou plus au TAQLC • Pratiquement toutes les écoles qui on atteint au moins le seuil d’éligibilité ont accepté le traitement (taux de participation de 94 % dans la Phase 3 et de 98 % dans la Phase 4) • Pas d’abandon du traitement à ce jour

10. Lissage local des résultats moyens de référence • Comparaison des moyennes de ceux qui ont raté de peu le TAQLC et de ceux qui l’ont réussi de peu : pas de différence statistiquement significative, sauf au niveau du score moyen au TAQLC (scores positifs corrélés avec les taux passés) • Estimations LLR : Quelques ruptures statistiquement significatives mais rien de systématique n’indique une chute de l’état du lissage conditionnel pour l’identification RD

11. Données utilisées pour l’évaluation • Données d’avant le programme • Source : données administratives • Données sur les caractéristiques des écoles et les résultats non liés à l’apprentissage obtenues des demandes maintenues sous forme électronique par la FEP • Données sur le taux de réussite au TAQLC et les performances moyennes au test des écoles obtenues à partir des données informatiques de la FEP sur les scores individuels réalisés par les élèves • Nombre d’écoles : 747 (Phase 3) et 830 (Phase 4) • Données d’après le programme • Source : Entretiens téléphoniques (numéro de téléphone des écoles dans les demandes) • Données récoltées sur les caractéristiques des écoles • Nombre d’écoles (ayant réussi ou échoué de justesse) : 192 (Phase 3), 236 (Phase 4) • Données récoltées 14 et 10 mois après le premier paiement de la subvention aux admis des Phases 3 et 4 (couvre partiellement deux années académiques)

12. Principaux constats • Effets positifs importants sur les inscriptions, les enseignants, les salles de classe et les tableaux noirs, dans une courte période de traitement de 10 mois • Estimations prudentes : +85 enfants (37 % par rapport à la moyenne de référence) ; +3,4 enseignants (37 %) ; +4 salles de classe (47 %) ; et +2.8 tableaux noirs (27 %) • Le coût annuel par élève de l’augmentation des inscriptions de 1 % est de 97 roupies (1,4 dollar EU) • Un des rapports coût-efficacité les bas estimés

13. Études en cours • Des recherches supplémentaires sur l’évaluation sont prévues à partir de plusieurs sources de données : • Recensement annuel des écoles publiques • Données sur les scores aux tests de la Commission d’examen du Panjab • Données administratives supplémentaires du programme EAF fournies par la FEP • Données de base de l’enquête, tirées des échantillons d’écoles privées à faible coût • Quelques exemples de questions clés : • Quels sont les effets du programme EAF sur l’apprentissage des élèves • Le programme EAF a-t-il un quelconque impact sur la répartition socioéconomique des élèves (en particulier en termes de genre et de situation économique) • Le programme a-t-il éloigné les élèves des écoles publiques situées dans leur voisinage et dans quelle mesure