DIME Impact Evaluation Workshop Innovations for Agriculture

1. DIME Impact Evaluation Workshop Innovations for Agriculture 16-20 June 2014, Kigali, Rwanda

2. PROJET D’ACTIONS COMMUNAUTAIRES POUR LA RESILIENCE CLIMATIQUE (PACRC) NIGER

3. Intervention Summary • Objectif:Améliorer la protection des populations et des systèmes de production contre la modification et la variabilité du climat dans les Communes Ciblées. • Composantes: • COMPOSANTE 1: Intégrer la résilience et les connaissances climatiques dans les politiques sectorielles et locales • COMPOSANTE 2: Améliorer la résilience des systèmes agro-sylvo-pastoraux et des populations locales • COMPOSANTE 3: Assurer la coordination institutionnelle du projet et la coordination stratégique du PSRC

4. SITUATION DES SOUS PROJETS MIS EN OEUVRE

5. Questions d’évaluation • Les pratiques agro-sylvo-pastoraux sont-elles réellement résilientes aux effets des changements climatiques: la réduction des déficits céréalier et fourrager présume t- elle d’une résilience de ces systèmes? Si oui à quel degré? • La réhabilitation des infrastructures et les mesures de protection sociale ont elle entrainé une résilience des populations bénéficiaires? Si oui à quel degré? • La combinaison des 2 pratiques n’aurait –elle pas plus d’impact? Les mesures des impacts réalisées sur l’ensemble du territoire communal et sans groupes témoins permettent t- elles d’apprécier objectivement les impacts dus aux interventions du projet?

6. Evaluation Design • Ramener le niveau d’évaluation au niveau de villages au lieu de communes • Utilisation de l’approche de double différence (suivre les villages de traitement et contrôle avant et après le projet) • Phase aléatoire (choix de villages de traitement façon aléatoire par année)

7. Sample and data • 1900 villages seront touchés par les interventions du projet sur 3 ans • 1/3 de villages (633) seront touchés chaque année (groupe de traitement) et les autres villages non touchés constitueront le groupe de contrôle • Collecte de données de base des villages de traitement et de contrôle • Collecte, traitement et analyse de données d’évaluation

8. Timeline

9. Conclusion ATOUTS DU PACRC POUR UNE COLLABORATION AVEC DIME • Le PACRC est un projet pilote du CIF (PPCR) • Le projet est en restructuration, donc possibilité d’introduire EI • Le dispositif de suivi-évaluation du projet est entrain d’être renforcé: • 8 Assistants suivi-évaluation au niveau régional • Spécialiste suivi-évaluation de la Banque Mondiale

10. Presentation ends here

11. DIME Impact Evaluation Workshop Innovations for Agriculture 16-20 June 2014, Kigali, Rwanda

12. Agriculture Investment and Market Development Project Cameroon

13. Intervention Summary • Objective: To support the transformation of the low-productivity, subsistence-oriented cassava, maize, and sorghum subsectors into commercially-oriented and competitive value chains in four agro-ecological areas. • Focus on two technical components Supporting: Public services + technology transfer Seeds (production & certification) Public-private partnerships Technology transfer Supporting: Production + Processing + Marketing Partnerships (producers & buyers) Sub-projects (cooperatives) Public infrastructure Finance

14. Results Chain Value chain Production Post-Harvest Market Results chain Higher yields Higher Quality Added value Less waste Higher sales Higher premiums Intervention areas - Inputs (e.g. seeds) - Technology - Cooperatives - Processing - Storage - Access - Price (through contracts)

15. Evaluation Questions How does access to matching grants affect producers’ capacity to produce, sell and generate profits?

16. Evaluation Design • We use a difference-in-differences approach to measure the impact of matching grants: • Agri-businesses will select potential partner cooperatives • Cooperatives will compete for the contracts • A sub-set of cooperatives will be contracted • The impact evaluation will be based on a comparison between cooperatives that are contracted (treatment) with those that are not (control)

17. Sample and data • The survey respondents will be randomly selected from the roster of cooperative members • Farmers in both the treatment and the control group will be interviewed • Detailed data collection on household-plot-crop level will be collected in order to allow for accurate measurements of agricultural productivity, sales and costs (to calculate the price premium) • Additional information on household level socio-economic characteristics will be collected

18. Timeline • Baseline data collection: Data collection will follow a gradual approach following the demand from agri-businesses • Baseline data collection commences as early as beginning 2015 • Evaluation period will vary between one to three seasons depending on the contract signing date • Total project length is 5 years until Sept 2019

19. Thank you for your attention ??!!!!!!!

20. DIME Impact Evaluation Workshop Innovations for Agriculture 16-20 June 2014, Kigali, Rwanda

21. Renforcement des Services Publics Agricoles (RESEPAG) HAITI

22. Intervention Summary • Objective: Renforcer les services publics agricoles pour un accompagnementefficace du monde rural • Components: -Appui aux services locaux de vulgarisation et innovation agricole à travers le renforcement des organisationsd’agriculteurs; -Appui aux femmes membres des organisationsd’agriculteurs

23. Evaluation Questions • La vulgarisation et l’innovationagricolesconduisent-elles à uneamélioration des conditions de production et une augmentation de la quantitéproduite? • Le renforcement de la capacité des femmes (en matière de gestiond’entreprises et dans le domaine de la nutrition) peut-ilinduire un revenu plus substantiel et uneamélioration de la situation nutritionnelledans les familles?

24. Indicateursd’impact 1 • Aspect vulgarisation et innovation: -L’amélioration du revenu des producteurs par l’augmentation de la production, du rendement et de la productivité -Le renforcement des capacités des réseaux de producteurs (Plus de réseauxorganisés) -La baisse de l’InsécuritéAlimentaire en milieu rural

25. Indicateursd’impact 2 • Aspect genre: -La fréquence de la consommation (nombre de repas consommé par jour) -L’augementation de la diversitéoul’amélioration de la diètealimentaire (Les aliments consommés au cours des septjoursprécédantl’enquête) -Le revenu des femmes.

26. Evaluation Design • Difficulté: • Nombred’associationséligibles et, donc, les futures bénéficiairesprésentement ne sont pas connus • Inexistence de la population cible, doncdifficulté de randomisation du choix des groupes de traitement et de contrôle à ceniveau (Méthodeexpérimentale non appliquableici)

27. Evaluation Design • Aspect Vulgarisation et innovation: • Choix de la méthode quasi expérimentale (appariement) avec un plan d’échantillonnagesystématique à deuxdegrés: • Selection du groupe de traitementdansl’échantillond’associationséligibles, échantillonpréalablementsélectionnésuivant un plan systématique • Selection du groupe de contrôleparmi les membresd’associations non bénéficiaires du projetsuivant la laméthoded’appariement (variables à utiliser: taille de l’exploitation, cultures produites, revenu…)

28. Evaluation Design Aspect Genre: Selection des groupes • Randomisation à l’échelle des associations présélectionnées • Echantillonnage: • Si, dansune association bénéficiaire, l’effectifestfaible, toutes les femmes serontsélectionnées • Si, en revanche, l’effectifestélevé, X% (à determiner) de femmes serontselectionnésaléatoirement.

29. Opérationnalisation(pour les 2 méthodologies) • Etablissementd’uneligne de base (situation de réference) à partird’uneenquêteauprès des groupes de traitement et de contrôle • Evaluation de l’impact en milieu et après l’implémentation du projet (encore à partird’enquête) • Méthode de double différencedansl’analyse des données (avant-après / avec-sans)

30. DIME Impact Evaluation Workshop Innovations for Agriculture 16-20 June 2014, Kigali, Rwanda

31. Programme de Productivité Agricole en Afrique de l’OuestPPAAO/WAAPP Senegal

32. PPAAO/WAAPP • Objectif: L’objectif est de contribuer à l’augmentation de la productivité agricole dans les filières, par le développement, la diffusion et l’adoption de technologies dans les filières prioritaires nationales et régionales. • Composantes • Conditions propices à la coopérations régionale en matière de développement et de dissémination et adoption de technologies • Centre National de Spécialisation sur les systèmes de cultures à base de céréales sèches (mil, maïs, sorgho, fonio) et les cultures associées (arachide, niébé et sésame) • Financement à la demande du développement, de la diffusion et de l’adoption des technologies améliorées • Coordination, Gestion et Suivi & Evaluation du programme

33. Projet : Diffusion de l’incorporation des farines de cereales locales (mil, maïs sorgho) dans la panification et les viennoiseries • Objectif: L’objectif spécifique du projet est d’assurer l’incorporation et la promotion des farines de mil, de maïs et de sorgho dans la panification et les viennoiseries des boulangeries • Composantes: • Renforcement des capacités des organisations de producteurs • Renforcement des capacités des transformateurs • Renforcement des capacités des Boulangers • Communication

34. Questions d’évaluation • QUESTION GENERALE Le projet a t-il eu un impact sur les revenus/chiffres d’affaire des acteurs bénéficiaires (producteurs et leurs organisations, transformateurs, boulangers) ? • QUESTIONS SPECIFIQUES: aucune possibilité de les évaluer avec une méthode rigoureuse

35. Méthoded’évaluation • Proposition : Double différence + appariement • Producteurs: • Groupe traitement = les 2500 producteurs membres des 4 OP faitières impliquées dans le projet ayant bénéficié de l’intervention • Groupe de contrôle = d’autres producteurs (non membres des 4 OP faitières) ayant les mêmes caractéristiques suivant les critères de choix et d’autres critères qui peuvent influer sur le revenu

36. Méthoded’évaluation • Transformateurs: • Groupe traitement = les 15 unités de transformation impliquées dans le projet • Groupe de contrôle = d’autres unités de transformation ayant les mêmes caractéristiques suivant les critères de choix et d’autres critères qui peuvent influer sur le chiffre d’affaire • Boulangers : • Groupe traitement = les 230 boulangeries de la FNBS impliquées dans le projet • Groupe de contrôle = d’autres boulangeries ayant les mêmes caractéristiques suivant les critères de choix et d’autres critères qui peuvent influer sur le chiffre d’affaire

37. Echantillon et données • Indicateurs: • Revenu des producteurs • Chiffre d’affaire des transformateurs • Chiffre d’affaire des boulangers • Groupes traitement: • 230 boulangeries • 15 unités de transformation • Producteurs: 2500 bénéficiaires • Budget • Calculs de puissance statistique • Groupe de contrôle: calculs de puissance statistique

38. Calendrier • Juin 2013-Juin 2014: mise en place des équipements des producteurs, des transformateurs et des boulangers • A partir de Septembre 2013: communication • Octobre 2014-Décembre 2014: formation des OP et de leurs membres, des transformateurs et des boulangers • Novembre 2014 : Enquête de base auprès des producteurs, transformateurs et boulangers • A partir de Décembre 2014: Livraison des céréales aux transformateurs et de la farine aux boulangeries et production de pains et viennoiseries • Novembre 2015: 1ière Enquête de suivi auprès des producteurs, des transformateurs et des boulangers • Novembre 2016: 2ièreEnquête de suivi auprès des producteurs, des transformateurs et des boulangers

39. DIME Impact Evaluation Workshop Innovations for Agriculture 16-20 June 2014, Kigali, Rwanda

40. Contexte et Problèmes • Baisse de productiviteet rentabilitedu café • Vieillissementdu verger caféicole (les caféiersproduisentmoins& valorisentmoins les engrais) • Pas d’utilistion de bonnespratiquesagricoles • Cesproblèmessontamplifiéspar la volatilitédes coursmondiaux du prix du café • Il y a des technologies innovantesqui permettentl’adaptation & l’atténuataiondes effetsnégatifs • Les caféiculteurs ne les utilisent pas soitparceque (i) manqued’information & capacité technique; (ii) difficultésfinancieres; et (iii) les deux

41. Resumé du projet • Objectif: • Tester des pratiquesdes gestiondurable dans les zones caféicoles quiaméliorent la productivité et le bien-être socio-économique des caféiculteurs • Composantes • Appui à la gestiondurable des zones caféicoles • Luttecontreles sources de pollution dansles stations de lavage de café • Diversification des moyens de subsistance

42. Questions d’ évaluation • Quellessont les meilleuresstratégies pour améliorer la productivité du secteur café et le bien-être du cafeiculteur? 1. L’ameliorationdes services de vulgarisation (e.g., formation et encadrement) conduit-elleà l’utilisation des nouvelles technologies et contribue-t-elle à accroîtrela productivite? --Si oui, les effects sont-ils le résultatde la formation ou de l’encadrement? 2. L’octroides subventions incite-ilà l’utilisationdes innovations technologigueset contribue-t-ila accroîtrela productivite? --Si oui, l’ efficacitéde subventions depent-t-elledu niveau de contribution des beneficiaries? 3. La combinaisondes deuxstratégiesprécedentescondurait-elledavantageàl’utilisation des innovations technologiguesainsiqu’ àaccroîtrela productivite? 4. Comment améliorerla productivitédes femmes cafeicultrices?

43. Stratégieset innovations à tester • L’ évaluationtesteles effects de 4stratégies (et sous-stratégies) • Strategie1: Formation et encadrementtechnique • Formation seulement • Formation + Encadrement technique • Strategie2: Octroi des subventions pour l’achat des technologies innovatives • Contribution a 15 % • Contribution a 30% • Strategie4: combinaison de Stratégie 1 et Stratégie 2 • Stratégie 4: (seulement pour femmes caféicultrices) • Bonsd’appui pour atténuer les contraintes & tâchesménagères • Octroides telephone mobiles pour faciliterl’ accèsaux conseillersagricoles

44. Indicateurs de résultats • Adoption et utilisationdes technologies innovantes • Productivité et niveaude production (quantité et qualité) • Diversification agricole • Superficieconsacréeà la caféiculture • Niveau de revenus et profits • Nouveaux investements • Epargne et consommation • Achat de nouveaux équipements • Securitéalimentaire et nutritionelle

45. Methode d’ evaluation • Méthodeexpérimentale sera utilisée pour identifier les effets des différentesstratégiessur les résultats • L’ évidence pour questions 1-3 sera fournie par: • Assignation aléatoire des stratégies 1-3 à différentesunités • Le project ciblera 120 collines et donc 30 pour chacune des trois strategies principales et 30 pour un groupe de control Synthèse

46. Méthoded’ evaluation… • L’évidence des sous-strategies 1A et 1B: • ½ des collines qui recoiventstrategie1 sera assignéealéatoirementàsous strategieA et l’autre ½ a sous-strategy B (15 collineschacune) • L’évidencedes sous-strategies 2A et 2B: • ½ des collines qui recoiventstrategie 2 sera assignéealéatoirementa sous strategieA et l’autre ½ a sous-strategie(15 collineschacune) • L’évidence des 2 sous-stratégies relative au genre: • 50% des femmes dans les collinesciblées par les strategies 1 et 2 recevront un bon d’appui (25%) pour atténuer les contraintesménagèressoit un telephone cellulaire (25%) • L’autre 50% ne recevra pas d’appuisuplementaire

47. Echantillonage • Le projetbénéficiera à 10,000 – 15,000 cafeiculteursdans les sous-collinesciblées • Un échantilonnagereprésentatif (10-20 ménages par colline) sera sélectionné pour faire l’objet des enquêtes de base et de suivi • Nous essayeronsde cibler les memes ménages/caféiculteurs pour les enquêtesde base et pour les enquêtes de suivi • L’enquête des ménages sera complétéepar uneenquêtedes institutions et infrastructures communautaireset celle des chefs de sous-collines

48. Etapessuivantes • Enquêtede base: • Juillet-Septembe2014 • Début des activities: • Septembe-Décembre2014 • Enquêtemi-parcours: • Décembre-2015 • Enquête finale: • Décembre2016

49. Questions à résoudre • Revoir/modifier l’EI en cours • Allongement des délaisavantMise en oeuvre des activités • Coûtssuplémentaires