Evaluation de l’impact pour une prise de décision en temps réel

1. Arianna Legovini Responsable, Initiative pour l'évaluation de l'impact au plan du développement (DIME), Banque mondiale Evaluation de l’impact pour une prise de décision en temps réel

2. D’abord, qu’est-ce qu’une chaîne de résultats ?

3. Exemple d’une chaîne de résultats ?

4. La chaîne de résultats • Hypothèse de développement qui vous aide à définir : • ce que vous faites et pourquoi vous le faites • ce qui doit faire l’objet d’un suivi • et ce qui doit être évalué

5. Qu’est-ce que le suivi ? • Le suivi retrace l’évolution des indicateurs (dans le groupe de traitement) • Il est descriptif avant-après analyse • Le suivi nous indique si les choses évoluent dans la bonne direction

6. Qu’est-ce que l’évaluation de l’impact ? • L’évaluation de l’impact suit les réalisations dans le temps du groupe de traitement par rapport à un groupe de contrôle • Elle mesure l’effet d’une intervention sur les réalisations par rapport à l’hypothèse d’absence de cette intervention • Que se serait-il passé sans cette intervention ? • Elle détermine le lien causal extrants-réalisations • Séparément de l’effet des autres facteurs évoluant dans le temps

7. réponse demande Suivi et évaluation de l’impact • Utiliser l’évaluation de l’impact pour mesurer l’efficacité (extrants-réalisations) • Utiliser le suivi pour retracer l’efficacité de la mise en œuvre (intrants-extrants) SUIVRE L’EFFICACITE INTRANTS EXTRANTS REALISATIONS EVALUER L’EFFICACITE OFFRE

8. Choisissez la bonne méthode pour répondre à vos questions

9. Discussion entre vous (5 m) • Que se passe-t-il si vous utilisez le suivi pour évaluer l’impact ?

10. Discussion entre vous (5m) • Que se passe-t-il si vous utilisez le suivi pour évaluer l’impact? • Vous obtenez la mauvaise réponse… …100 % du temps avant après A C Impact B B Changement t0 t1 Intervention

11. ENSUITE : Savons-nous par avance… • pour le développement impulsé par les communautés • à quelles informations les communautés vont réagir ? • si la facilitation débouchera sur des propositions de grande qualité ? • si des règles amélioreront l’intégration des parties prenantes dans le processus de prise de décisions ? • si les mécanismes de suivi et de co-paiements amélioreront les projets locaux et leur utilisation des fonds ? • pour le désarmement, la démobilisation et la réintégration, • si les méthodes ciblées ou axées sur les communautés sont les plus efficaces ? • si l’on devrait tenter de séparer les combattants de leurs unités ou tabler sur la cohésion des unités? • laquelle de l’inclusion ou de l’exclusion des structures de commande est la plus efficace ?

12. Méthode expérimentale • Nous nous fions à notre intuition et nous choisissons une campagne d’information, un ensemble de services, un programme de mesures incitatives. • Existe-t-il une autre campagne, un autre ensemble de mesures, un mécanisme d’incitations permettant d’obtenir de meilleurs résultats ?

13. Le processus de décision est complexe • Quelques grandes décisions sont prises lors de la conception mais de nombreuses autres décisions sont prises lors du déploiement et de la mise en œuvre

14. Qu’est-ce qu’une arborescencede résultats ? • Une arborescence de résultats représente l’ensemble des chaînes de résultats considérées comme viables au stade de la conception ou de la restructuration du programme. • C’est un ensemble d’alternatives concurrentes en matière de principes et de pratiques visant un objectif spécifique.

15. Exemple d’arborescence de décisions pour un programme de réinsertion de combattants

16. Comment choisir entre des options plausibles ? • Déterminez celles des décisions qui seront prises au début et celles qui seront testées pendant le déploiement du programme • Testez expérimentalement les points critiques : mesurez l’impact d’une option par rapport à une autre ou à l’absence d’intervention • Choisissez la meilleure et éliminez la pire pendant la mise en œuvre • On ne peut pas tout apprendre à la fois • Choisissez soigneusement ce que vous voulez tester en associant tous les partenaires concernés

17. Parcourez l’arborescence de décisions pour obtenir davantage de résultats d’un programme de réinsertion

18. Comment l’amélioration del’efficacité peut vous aider

19. Discussion entre vous (5 m) • Combien de fois modifiez-vous votre programme parce que vous sentez que quelque chose ne va pas ? • Quelle utilité cela aurait-il pour vous de connaître avec certitude les meilleures approches ?

20. L’évaluation, pourquoi? • Améliorer la qualité des programmes • Expérimenter d’autres options et guider en temps réel la conception du programme • Accroître l’efficacité du programme • Répondre aux questions du type « Et ensuite ?»  • Mettre en place des institutions publiques pour une action politique fondée sur des faits concrets • Prévoir l’application d’options, et non de solutions • Trouver les meilleures options • Adopter de meilleurs modes de fonctionnement et de prises de décisions

21. 1er ministre /Présidence : Communiquer avec les partenaires Trésor/ Finances : Affecter le budget PROMESSES DE CAMPAGNE BUDGET Responsabilisation PRESTATION DE SERVICE Rentabilité des différents programmes par rapport aux coûts Effets du programme gouvernemental Ministères d’exécution : Réaliser les programmes et négocier le budget Efficacité des options par rapport au coût et effet des programmes sectoriels Les faits concrets

22. Modification du paradigmedu programme On passe du programme en tant : • qu’ensemble d’activités destinées à produire les résultats attendus • Le programme produira ou non les résultats attendus au programme en tant que : • menus d’options alternatives avec une stratégie d’apprentissage pour trouver ce qui fonctionne le mieux • Modification des programmes dans le temps pour donner davantage de résultats

23. Modification du paradigme d’évaluation • Passage d’une évaluation rétrospective, externe, indépendante • du sommet à la base • déterminer si le programme a fonctionné ou non • à une évaluation d’impact prospective, interne, et opérationnelle/validée en externe • déterminer le programme d’apprentissage de la base au sommet • envisager des options de mise en œuvre plausibles • tester scientifiquement et adopter la meilleure option • avis opportun pour améliorer l’efficacité du programme dans le temps

24. Rétrospective (conçue et évaluée ex-post) vs. Prospective (conçue ex-ante et évaluée ex-post) • Evaluation rétrospective de l’impact : • Si vous recueillez les données après l’événement, vous ne pouvez pas comparer les participants et les non-participants avant le début du programme • Vous devez tenter de déterminer, après l’événement, pour quelles raisons le projet a été mis en œuvre à l’endroit et au moment où il a été exécuté • Evaluation prospective de l’impact : • Concevoir l’évaluation pour répondre à la question voulue • Recueillir les données dont on aura besoin plus tard • Valider l’évaluation au niveau analytique 24

25. Est- ce un produit analytique d’un seul tenant ? • Le processus d’évaluation doit donner des informations utiles (permettant d’agir) à chaque stade de l’évaluation d’impact

26. Discussion entre vous (5 m) • Quels sont certains des points de départ au sein des cycles d’élaboration des politiques ? • Quelles sont certaines des réponses que vous voudriez avoir ?

27. Considérations éthiques • Il n’est pas éthique de ne pas vouloir tirer des avantages de ce qui est disponible et dont le fonctionnement est avéré • Il est prouvé que la médication VIH prolonge la vie • Il est éthique de tester les interventions avant leur application en dimension réelle si nous ignorons si elles fonctionnent et si elles ont des conséquences imprévisibles • L’aide alimentaire peut détruire les marchés locaux et créer des incitations perverses • La plupart du temps, nous nous servons du déploiement des interventions et des contraintes budgétaires pour évaluer, ce qui minimiser les considérations éthiques ET • Nous pouvons toujours et devrions tester d’autres options pour maximiser les résultats

28. Questions ? Commentaires?