La méthode expérimentale au service des politiques publiques

1. La méthodeexpérimentale au service des politiquespubliques Damien de Walque (merci á Markus Goldstein pour les diapositives) Atelier APEIE Ghana, 10-14 mai

2. Objectif • Pour estimer l’effet causal d’une intervention, il nous faut • Séparer l’effet de ce programme d’autres facteurs externes • Il nous faut établir ce qui se serait passé en l’absence du programme • Or, nous ne pouvons pas simultanément observer le même individu avec et sans le programme >> Il nous faut trouver un bon contrefactuel

3. La Corrélation ne Permetpas d’Attribuer un Effet Causal 1) Obtention d’un crédit Profits plus élevés OU ? 2) ? Profits plus élevés Capacitésentrepreunialesélevées Obtention d’un crédit

4. Illustration: Programmed’accèsau crédit (Avant-Après) (+6) Mesure biaisée de l’impact du programme 4

5. (+4) Impact du programme Illustration: Programmed’accèsau crédit (contrefactuelconvenable) (+2) Impact d’autres facteurs externes 5

6. Motivation • Il est difficile de distinguer l’effet causal de la corrélation simple à partir de l’analyse statistique • Nous pouvons seulement observer que X bouge avec Y • Nous ne pouvons pas contrôler l’influence des caractéristiques non-observables, telles que la motivation/les facultés intellectuelles, etc. • Or les caractéristiques que l’on n’observe pas sont parfois plus importantes que celles que l’on observe!

7. Motivation…2 • Le biais de sélection est un problème important pour la mesure d’impact • Un projet débute dans un certain endroit, à un certain moment pour ces raisons particulières • Les participants sont choisis sur la base de critères, ou se présentent eux-mêmes! • Exemple: Les entrepreneurs qui ont accès au crédit se distinguent de l’entrepreneur moyen! • Utiliser un entrepreneur moyen pour établir l’effet du crédit sur les profits risque de nous induire en erreur!

8. Propriétés de la méthoded’évaluationexpérimentale • Au sein de l’étude, tous les individus ont la même probabilité d’être assignés au traitement • Par construction, groupes de traitement et de comparaison ont, en moyenne, les mêmes caractéristiques (observées et non-observées) • La seule différence est le traitement • Avec un grand échantillon, les caractéristiques s’équilibrent • Cette méthode permet d’obtenir une mesure d’impact non-biaisée

9. Menu d’options pour l’assignationrandomisée • Loterie (couverture partielle) • Loterie pour l’accès au crédit • Phasage aléatoire (couverture totale, entrée retardée) • Quelques individus/entreprises reçoivent un crédit chaque année • Assignation aléatoire à divers traitements • Certains reçoivent une subvention partielle, d’autres un crédit, d’autres des services de conseil entrepreneurial, etc • Assignation aléatoire à une stratégie d’encouragement • Un bureau de banque dans chaque district • Certains cultivateurs reçoivent la visite d’un représentant qui leur explique le produit financier offert

10. Loterieparmi les individuséligibles Doiventrecevoir le programme Randomiserl’assignation au programme Pas éligibles

11. Opportunités • Des contraintes budgétaires limitent la couverture du programme • Une assignation aléatoire (loterie) est juste et transparente • Les capacités de mise en œuvre sont limitées • Le phasage aléatoire donne à tous la même chance d’être sélectionné en premier • Il n’y a pas d’évidence quant à l’efficacité des diverses interventions possibles • L’assignation aléatoire aux diverses interventions procure à tous des chances de succès a priori égales

12. Opportunités pour la Randomisation • L’adoption d’un programme en cours n’est pas totale (participation faible) • Randomiser une stratégie d’encouragement nous informe sur les types d’incitations qui fonctionnent • Pilote pour un nouveau programme • Présente une bonne opportunité de tester de façon rigoureuse avant le passage à grande échelle • Changement dans la mise en œuvre d’un programme en cours • Présente une bonne opportunité de tester le nouvel arrangement institutionnel avant le passage à grande échelle

13. Différentsniveauxauxquelsrandomiser Celadépend du niveauauquel on intervient • Individu/Propriétaire /Entreprise • Grouped’entreprises • Village • Association de femmes • EntitéJuridique/ District administratif • École

14. Randomisationindividuelleoupar groupes? • Si un programme affecte un groupe entier, alors on randomise l’assignation au traitement au groupe entier • Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelle Randomisationindividuelle Randomisation par groupes

15. Niveau de randomisation • Randomiser à un niveau plus élevé est parfois nécessaire: • Contraintes d’ordre politique/éthique à assigner le traitement uniquement à certains individus au sein d’une même communauté • Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions • Les effets de contamination sont parfois trop importants • Randomiser au niveau du groupe demande de nombreux groupes

16. Élémentsd’une assignation aléatoire

17. Validité Interne et Externe (1) • Validité externe • L’échantillon est représentatif de toute la population. • Les résultats obtenus sont représentatifs de la population. • Les leçons du programme sont applicables à tout le pays. • Validité interne • L’effet mesure d’une intervention sur la population qui est évaluée reflète le véritable impact sur cette population • C.-à-d. les groupes de traitement et de contrôle sont comparables

18. Validité Interne et Externe (2) • Une évaluation peut avoir validité interne sans avoir de validité externe • Exemple: Une évaluation rigoureuse d’une incitation aux entreprises informelles urbaines de se faire immatriculer ne nous informe pas sur l’effet de cette même intervention sur les zones rurales • Et vice-versa • Une mesure d’impact biaisée souffrira du même biais qu’elle soit mesurée sur l’échantillon d’évaluation ou sur toute la population !

19. Randomisation Randomisation Validité interne & externe Population Nationale Echantillons de la Population Nationale

20. Stratification Randomisation Validité interne Population Echantillons de la sous-population Sous-population

21. Validité externe uniquement Population Nationale Assignation biaisée Résultat INUTILE! Randomisation 21

22. Efficacité & Effectivité • Efficacité • Crédibilité du concept • Echelle réduite • Pilote sous des conditions idéales (ex. ONGs) • Effectivité • A grande échelle • Circonstances et capacité normales (ex. hôpitaux nationaux) • Impact plus ou moins élevé? • Coûts plus ou moins élevés?

23. Avantages des “expériences” • Impact causal fiable et précis • Comparée a d’autres approches: • Facile à analyser (comparaison de moyennes) • Moins chère (plus petits échantillons) • Facile à communiquer • Plus convaincante pour les décideurs • Evite les controverses d’ordre méthodologique

24. Exemple: Assigner les machines d’uneusineà une maintenance plus régulière • L’assignationaléatoire aux machines ne soulève pas (encore) de questions d’ordreéthique/pratique Les Machines: • Ne vont pas se désister • Ne vont pas allertrouver un meilleurtraitement • Ne vont pas se déplacer et changer d’usine de leurpropre chef • Ne vont pas refuser de répondre à notre questionnaire • Les individuspeuvent se montrer un peu plus difficiles et créatifs!

25. Que faire en présence de …? • Certaines interventions ne peuvent être assignées de façon aléatoire • Adoption partielle ou interventions basées sur la demande • Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitement • Promouvoir le programme de façon aléatoire • Les participants choisissent de participer ou non 25

26. Promotion Aléatoire(Stratégie par l’incitation) • Les individus qui reçoivent l’incitation sont plus à-même de participer • Si l’incitation est distribuée de façon aléatoire, alors elle n’est pas corrélée avec les caractéristiques des individus • Compare les performances des 2 groupes: ayant reçu l’incitation / n’ayant pas reçu l’incitation • L’effet dû à l’incitation (Intention-de-Traiter, ITT) • Effet de l’intervention sur la population qui adopte le traitement (Effet moyen local du traitement,LATE) • LATE= ITT/proportion d’individus qui ont participé

27. Erreurs communes à éviter • Calculer la taille de l’échantillon de manière incorrecte • Randomiser le traitement dans un seul district, avec un seul contrôle, et calculer la taille de l’échantillon à partir du nombre de personnes interviewées • Échantillonnage par grappes nous donne une taille d’échantillon de 1 ! • Mener une collecte de données différente au sein de groupes de contrôle et de traitement • Inclure les individus qui se sont désistés au groupe de contrôle • Cela annule la randomisation! 27

28. Quandcettestratégien’est-ellevraimentpas possible? • Le traitement est déjà assigné et annoncé et il n’y a pas de possibilité d’expansion • Le programme est achevé (rétrospective) • présence d’une expérience naturelle ? • Eligibilité et accès universels • Ex.: campagne d’information universelle, éducation gratuite pour tous, régime du taux de change • Parfois on peut randomiser certaines composantes… • Contraintes opérationnelles (irrigation…) • La taille de l’échantillon est trop limitée pour permettre une analyse crédible

29. Merci