Concevoir une analyse de contribution pour évaluer les impacts prévus

1. Concevoir une analyse de contribution pour évaluer les impacts prévus Eric Monnier Pr associé à l’Université de Genève Directeur général d’Euréval, France

2. Quatre messages clefs • Il existe une alternative rigoureuse pour évaluer les programmes lorsqu’une « mesure des impacts » n’est pas possible. • L’analyse de contribution (AC) permet de mieux identifier la contribution spécifique de l’intervention évaluée en détaillant la chaîne des relations de cause-à-effet. • L’AC est plus robuste que les approches traditionnelles: recoupement des sources, interprétations contradictoires... • L’AC est applicable à toutes les situations d’évaluation et peut faire l’objet de contrôles de qualité.

3. 350 000 Impact Emploi Avec politique 320 000 Changement Effet des facteurs exogènes Sans politique 290 000 Point zéro Evaluation Définition Analyse d’attribution

4. Définition Recours à l’analyse d’attribution L’analyse d’attribution est applicable si et seulement si : il existe des situations comparables ou des possibilités de modélisation statistique les impacts attendus sont quantifiables l’influence des facteurs contextuels est minime et peut être contrôlée et enfin que la chaine de causalité est simple

5. Définition L’analyse de contribution • Définition • Interprétation … • … contradictoire … • … de tous les indices … • … confirmant ou infirmant les hypothèses … • … de la logique d’intervention • Production finale • Récit argumenté en ½ page • … et un logigramme

6. Définition Recours à l’analyse de contribution • L’analyse de contribution est indispensable si on évalue : • un programme (et non un seul projet) • des impacts hétérogènes • une chaine de causalité complexe • dans un contexte qui influence fortement la réussite ou l’échec du programme.

7. Méthode Méthode : 6 étapes • Circonscrire les questions causales • Décrire la chaîne de causalité • Analyser pas à pas les indices confirmant ou infirmant • Rédiger des récits de contribution provisoires • Ré-analyser les indices disponibles • Finaliser les récits de contribution

8. Méthode Etape 1 : Questions causales • 1.1. Définir et circonscrire les différents problèmes de causalité justifiant les interventions publiques • 1.2. Structurer le travail à partir des attentes reflétées par les questions évaluatives

9. Etude de cas Etape 1 : Problème de causalité Questions causales ? • Dansquellemesure le soutieneuropéendans le domaine du développement du commerce et du secteurprivé a-t-ilcontribuéaccroître les exportations versl’UnionEuropéenne (UE) ? • Parmi les différentesmodalitésmises en oeuvre pour soutenir les PMEs quellessontcelles qui sont les plus efficientes ?

10. Etape 2 : Décrire la chaîne de causalité Réalisations Impacts attendus Facteurs contextuels Méthode Modèle logique Modèle explicatif

11. Etape 2 : Chaîne d’hypothèses causales Modèles Réduction des droits et quotas Accès au marché UE + Dialogue politique Pol. nat. pour les PME Environt favorable aux PME Exportations vers UE Capacity building Meilleure gestion Compétitivité + Subv conseils aux PME Meilleure stratégie

12. Etape 2 : Chaîne d’hypothèses causales Modèles Négociations à l’OMC Réduction des droits et quotas Accès au marché UE + Programme de l’USAID Dialogue politique Pol. nat. pour les PME Environt favorable aux PME Expor-tations vers UE Capacity building Meilleure gestion Subv. conseils aux PME compétitivité + Meilleure stratégie

13. Méthode Etape 3 : Analyse pas à pas • Rassembler les indices à charge et à décharge concernant • Les changements escomptés • Les hypothèses causales • Les facteurs contextuels

14. Observation Etape 3 : Analyse pas à pas Réduction des droits et quotas Accès marché UE 1 Dialogue politique 5 2 2 Meilleures politiques du Gouvt Environ-nement favorable Expor-tations vers UE Capacity building Meilleure gestion 2 4 Conseil aux PMEs Compéti-tivité Meilleure stratégie 3

15. Méthode Etape 4 : Récit de contribution provisoire • 4.1. Rédaction d’un récit de contribution provisoire • 4.2. Récit soumis au débat contradictoire • 4.3. Réajustement du modèle explicatif

16. Méthode Etape 5 : Ré-analyse approfondie • 5.1. Identifier les indices manquants • 5.2. Collecter l’information complémentaire

17. Méthode Etape 6 : Récit de contribution final • 6.1. Récit argumenté en ½ page • La percée espérée des exportations vers UE n’a pas eu lieu… • … malgré le succès de l’aide aux PME et au gouvernement jordanien… • … à cause des barrières techniques à l’entrée sur le marché européen • 6.2. Logigramme de synthèse

18. Méthode Etape 6.2 : Logigramme de synthèse Réduction des droits et quotas Accès marché UE X Dialogue politique Expor-tations vers UE Meilleures politiques du Gouvt Environ-nement favorable Renforcement des capacités Meilleure gestion Conseil aux PMEs Compéti-tivité Meilleure stratégie

19. Bibliographie Plus d’explications … Mayne, J. (2001) Addressing Attribution through Contribution Analysis. Canadian Journal of Program Evaluation, 16(1): 1-24. Mayne, J. (2008) Contribution Analysis: an Approach to Exploring Cause and Effect ILAC Brief No. 16Sur le site web d’EUROPEAID : • Les rapports d’évaluation d’Euréval concernant la Jordanie, Tanzanie et le Rwanda. • Voir aussi les guides méthodologiques en ligne

20. En conclusion • Il est urgent de promouvoir l’analyse de contribution et de lui donner un statut institutionnel fort; • Il est indispensable d’élaborer des standards professionnels qui permettent d’éviter que l’AC conduise à faire des évaluations peu rigoureuses. • Nous proposons, avec John Mayne, de créer un réseau international alternatif à NONIE ou 3ie.