24 février 2011

1. 24 février 2011 Evaluation de la coopération internationale menée par la Belgique Le point de vue du commanditaire et de l’évaluateur Ce document est un support à la présentation orale; il n’est pas destiné à être utilisé séparément ou en dehors de ce cadre.

2. Objectifs de la présentation Enseignements tirés de l’expérience d’ADE en matière d’évaluations stratégiques menées pour la coopération belge Points clés - Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation - Le cadre méthodologique - Les types de conclusions et de recommandations L’évaluation de la note stratégique « Agriculture et Sécurité alimentaire » de la Coopération belge (mai 2002) et sa mise en œuvre «  comme fil conducteur.

3. Un exemple. Evaluation de la note stratégique agriculture et sécurité alimentaire Objet Note stratégique "Agriculture et Sécurité alimentaire" de la Coopération belge (mai 2002) et sa mise en œuvre Objectif Fournir les éléments nécessaires à la définition d’une nouvelle stratégie de la coopération belge en matière d’agriculture et de sécurité alimentaire, sous forme de constats, leçons, conclusions et recommandations (« évaluation thématique et prospective ») Champ • Période 2003-2007 • Secteurs principaux CAD1: “Agriculture”, “Sylviculture”, “Pêche”, “Développement Rural” et “Aide alimentaire (…)” (1) Codes objets SNPC CAD ‘secteur principal’ Source: Termes de Référence

4. Objectifs de la présentation - Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation - Le cadre méthodologique - Les types de conclusions et de recommandations

5. Les évaluations stratégiques ne sont pas des évaluations de projet Enjeux méthodologiques Enjeux de gestion d’un processus complexe

6. Objectifs de la présentation - Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation - Le cadre méthodologique - Les types de conclusion et des recommandations

7. Processus d’évaluation long et complexe Phase de préparation Phase d’étude Phase de terrain Phase de synthèse Reconstruction de la logique d’intervention sur base de la Note « Agriculture et Sécurité alimentaire » (Mai 2002) • Collecte des informations: • Documents • Interviews • (Bruxelles) Mise en œuvre des études de cas dans les 6 pays sélectionnés: - visite des projets - interviews des parties prenantes - focus-groupes avec les bénéficiaires - rédaction d’un aide-mémoire - séminaire de restitution Mission à Rome (FAO, PAM, FIDA) Réponses aux questions d’éval. Hypothèses de réponse aux QE Conclusions Questions d’Evaluation (QE) Critères de Jugement Recommandations Indicateurs Inventaire (avec enquête on-line) Séminaire interne Rédaction du Rapport intermédiaire provisoire Proposition d’un échantillon: - 12 pays - Environ 30 projets Rédaction des 6 rapports-pays Rédaction du Rapport final provisoire Séminaire interne CdP: 7/11/2008 CdP: 9/01/2009 CdP: 26/05/2009 CdP: 10/09/2009 CdP=Comité de Pilotage

8. Objectifs de la présentation - Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation - Le cadre méthodologique - Les types de conclusions et de recommandations

9. Cadre méthodologique bien défini Caractéristique: « theorybasedevaluation » : l’évaluation par rapport à une logique d’intervention (chaine de causalité) explicite ou implicite Bases méthodologiques d’évaluation de la Commission Européenne http://ec.europa.eu/europeaid/evaluation/methodology/methods/mth_fr.htm

10. Cadre méthodologique • Une logique d’intervention • Un inventaire détaillé • Des questions d’évaluations • Des critères de jugement • Des indicateurs • Des outils d’analyse: • A un niveau global • Sur un échantillon: visites de terrain

11. Logique d’intervention de la Note stratégique

12. Cadre méthodologique • Une logique d’intervention • Un inventaire détaillé • Des questions d’évaluations • Des critères de jugement • Des indicateurs • Des outils d’analyse: • A un niveau global • Sur un échantillon

13. Inventaire: analysegéographique

14. Inventaire: principaux secteurs d’intervention

15. Inventaire: types d’intervention

16. Inventaire: canaux d’intervention Dépenses 2003-2007

17. Cadre méthodologique • Une logique d’intervention • Un inventaire détaillé • Des questions d’évaluations • Des critères de jugement • Des indicateurs • Des outils d’analyse: • A un niveau global • Sur un échantillon

18. Les questions d’évaluation Les question doivent couvrir - les critères du CAD • la logique d’intervention • des préoccupations spécifiques du commanditaire

19. 12 Questions d’évaluation

20. Questions d’évaluation (exemple)

21. Questions d’évaluation (exemple)

22. Réponse à la question 4 Deux dimensions clé: Dimension micro. Vérifier les résultats des actions sur les rendements/sur les revenus à l’échelle des interventions (approche qualitative ou quantitative en fct des informations disponibles) Dimension macro. Combien de producteurs sont concernés par les actions ? Le nombre est-il suffisant pour espérer un impact significatif? =>Conclusion

23. Cadre méthodologique • Une logique d’intervention • Un inventaire détaillé • Des questions d’évaluations • Des critères de jugement • Des indicateurs • Des outils d’analyse: • A un niveau global • Sur un échantillon de pays et d’intervention

24. Qualification du pays: pays partenaire (P) / pays non partenaire (NP) de la Coopération belge Aide de la DGCD (2003-2007) Aide totale de la DGCD Aide totale de la DGCD en agriculture, FBS inclus Part relative du FBS dans l’aide DGCD en agriculture Part relative de l’aide DGCD en agriculture, hors FBS Caractéristiques des interventions financées Nombre d’interventions en agriculture Acteurs des interventions (CTB, ONG, VLIR, CIUF, CGIAR, FAO, BM, etc.) Canal d’intervention (en part relative de l’aide DGCD en agriculture, hors FBS) Type d’intervention: code CAD (311, 312, 313, 43040 et 520; en part relative de l’aide DGCD en agriculture, hors FBS) Indicateurs-clés des différents pays: Classification du pays par revenus (BM, 2008) Densité de population agricole (FAO, 2001-2003) Part relative des exportations agricoles dans les exportations totales (FAO, 2002-2004) % des personnes malnutries (FAO, 2002-2004) Choix des pays et des interventions: un enjeu clé, la représentativité

25. Privilégier la coopération bilatérale directe (programmes gouvernementaux - CTB) Représentativité des autres canaux d’intervention Représentativité des différents types d’intervention (code CAD) Choix des pays et des interventions: un enjeu clé, la représentativité

26. Processus d’évaluation Phase de préparation Phase d’étude Phase de terrain Phase de synthèse Reconstruction de la logique d’intervention sur base de la Note « Agriculture et Sécurité alimentaire » (Mai 2002) • Collecte des informations: • Documents • Interviews • (Bruxelles) Mise en œuvre des études de cas dans les 6 pays sélectionnés: - visite des projets - interviews des parties prenantes - focus-groupes avec les bénéficiaires - rédaction d’un aide-mémoire - séminaire de restitution Mission à Rome (FAO, PAM, FIDA) Réponses aux questions d’éval. Hypothèses de réponse aux QE Conclusions Questions d’Evaluation (QE) Critères de Jugement Recommandations Indicateurs Inventaire (avec enquête on-line) Séminaire interne Rédaction du Rapport intermédiaire provisoire Proposition d’un échantillon: - 12 pays - Environ 30 projets Rédaction des 6 rapports-pays Rédaction du Rapport final provisoire Séminaire interne CdP: 7/11/2008 CdP: 9/01/2009 CdP: 26/05/2009 CdP: 10/09/2009 CdP=Comité de Pilotage

27. Objectifs de la présentation - Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation - Le cadre méthodologique - Les types de conclusions et de recommandations

28. Type de conclusions Q4: Efficacité des interventions pour augmenter les revenus

29. Type de recommandations: R1. Une nouvelle stratégie utile pour améliorer l’efficacité de l’aide traduite dans un document cadre utile à toutes les parties concernées est nécessaire Préciser les objectifs, guider les choix, orienter les discussions Future « Note stratégique » Inscrire concrètement la coopération belge dans la Déclaration de Paris et l’agenda d’Accra Indiquer aux différents partenaires les champs d’intervention de la coopération belge

30. Type de recommandations R3: La future « Note stratégique » n’est pas un aboutissement en soi, elle devrait être un instrument dynamique de la coopération belge Etapes de la définition et de la mise en pratique de la Note stratégique Processus participatif Future « Note stratégique » Promotion Dispositions pratiques Suivi documenté

31. Pour terminer: les évaluations stratégiques ?