Thème : Etude diagnostique des capacités nationales en évaluation.

1. Journées de réflexion sur la contribution de la société civile au développement de la culture de l’évaluation au Niger (Africa Hall, du 6 au 8 décembre 2011) Thème : Etude diagnostique des capacités nationales en évaluation. BONKANO Zakari, Direction de l’Evaluation Direction Générale de l’Economie, de la Prospective et de l’Evaluation Ministère du Plan de l’Aménagement du Territoire et du Développement Communautaire

2. PLAN DE LA PRESENTATION • Introduction • Synthèse de l’étude diagnostique • 2.1. Rappel du mandat et de la méthodologie • 2.2. Résultats de l’enquête • 2.3. Analyse du dispositif institutionnel • Recommandations de l’étude • 3.1. Stratégie d’institutionnalisation de la fonction d’évaluation • 3.2. Programme de Renforcement des capacités évaluatives • 4. Bilan des actions menées dans le cadre de la mise en œuvre des recommandations de l’étude

3. 1. Introduction En tant que principal mécanisme permettant d’améliorer la performance des politiques d’aide au développement, l’évaluation répond à l’exigence de bonne gouvernance et de la gestion axée sur les résultats, en s’appuyant notamment sur la recherche d’une certaine efficacité de l’aide. C’est pourquoi, l’Organisation Internationale de la Francophonie (OIF) et les Agences du Système des Nations Unies (PNUD, UNICEF, UNFPA) ont décidé de soutenir les pays d’Afrique de l’ouest et du centre, en vue de leur permettre de renforcer leurs capacités évaluatives. Il s’agira en particulier de mettre en place un programme de renforcement des capacités évaluatives dans chaque pays. A cet effet, une méthodologie comportant deux (2) phases a été retenue lors d’un atelier organisé à Niamey en 2005. La première phase, relative à la réalisation d’une étude diagnostique portant sur un état des lieux des outils, des pratiques et des compétences humaines disponibles, s’est achevée en début d’année 2006, et a permis de faire ressortir les forces, les faiblesses, les opportunités et le menaces de la pratique évaluative au Niger. La deuxième phase du processus a consisté à élaborer une stratégie d’institutionnalisation de la pratique évaluative et un plan de renforcement des capacités

4. ELEMENTS DE SYNTHESE • 2. Synthèse de l’étude diagnostique • 2.1. Rappel du mandat et de la méthodologie • Mandat: • L’objectif final des études diagnostiques est la mise en place de programmes de renforcement des capacités évaluatives en l’Afrique de l’Ouest et du Centre. Ces programmes doivent promouvoir la culture évaluative. • De manière spécifique, il s’agit de: • Analyser la pratique évaluative au niveau du pays concerné et apprécier la qualité et l’utilité d’une sélection des évaluations réalisées ; • Faire ressortir les forces, faiblesses, opportunités et menaces en matière de capacités évaluatives ; • Définir des scénarii d’institutionnalisation de la fonction d’évaluation ; • Tirer les enseignements méthodologiques de la mise en œuvre de l’étude diagnostique. • Ainsi, les leçons apprises de cette phase pilote permettront d’ajuster la méthodologie avant d’en proposer l’application à un nombre plus important de pays de l’Afrique de l’Ouest et du Centre.

5. 2. Synthèse de l’étude diagnostique • 2.1. Rappel du mandat et de la méthodologie • Méthodologie: • Méthodologie de l’enquête • Collecte des données sur la pratique déclarée de l’évaluation à partir d’un échantillon raisonné selon les grandes catégories d’acteurs et/ou de structures. Ainsi, sur un total d’environ 80 questionnaires distribués, 57 questionnaires ont effectivement été remplis. • Méthodologie du volet qualitatif • Une grille d’entretien a servi de support à la réalisation des interviews de près d’une vingtaines de responsables et/ou spécialistes de suivi et d’évaluation de certaines structures en fonction de leur appartenance à une des grandes catégories pour l’enquête. • Méthodologie de la Méta évaluation • Il s’est agi d’étudier et d’apprécier la qualité de quatre évaluations déjà réalisées. Un guide de Meta évaluation et une grille standard de critères d’évaluation ont été mis à notre disposition des consultants pour conduire ces études de cas.

6. 2. Synthèse de l’étude diagnostique • 2.2. Résultats de l’enquête • 2.2.1. Existence et type de pratique de l’évaluation • 2.2.1.1. Existence de la pratique évaluative • Entre 2001 et 2005, 66,7% des structures échantillonnées dans le cadre de cette étude ont affirmé avoir pratiqué l’évaluation souvent ou toujours ; 14% de l’échantillon la pratiquent rarement et 19,3% ne l’ont jamais pratiquée. Ceci étant, au Niger il y a effectivement une pratique de l’évaluation au sens large du terme, mais son contenu et ses modalités sont composites et pluriels. • Les Ministères pratiquent l’évaluation moins que les autres structures (ONG, BF, programmes et projets, société civile, …). Pourtant les Ministères disposent des structures formelles dont les attributions contiennent l’activité de suivi et d’évaluation. Sur 35,10% des structures qui pratiquent toujours l’évaluation, seulement 7% sont des Ministères. Sur 19,30% des structures qui ne pratiquent jamais l’évaluation, 10,5% sont des Ministères. Le graphique ci-dessous donne l’illustration de la répartition de la pratique de l’évaluation.

7. L’évaluation pratiquée au Niger recouvre à la fois les études de faisabilité, le suivi, les rapports d’exécution, les rapports à mi-parcours, les rapports d’achèvement, les revues, les évaluations ex post, les audits, etc. Le tableau A ci-dessous contient le détail du dépouillement par structure et par niveau de compréhension de l’évaluation. • Dans l’ensemble, la compréhension de l’évaluation est bonne puisque 36 sur 43 répondants pratiquant l’évaluation, ont plus ou moins compris de quoi il s’agit ; ceux qui n’ont pas compris ne sont qu’au nombre de 7.

8. Au Niger, la pratique de l’évaluation porte principalement sur les projets et les programmes de développement avec respectivement 47,8% et 39,1% des fréquences de l’évaluation. Les politiques publiques concernent seulement 13% des évaluations réalisées, ce qui corrobore la faiblesse des parts des ministères dans la pratique de l’évaluation (7 à 10%). • Les évaluations peuvent concerner la mise en œuvre (23,9%), les effets (15,2%) ou les deux aspects à la fois (60,2%). • L’évaluation de la mise en œuvre apparaît plus comme une formalité vis-à-vis de l’autorité de tutelle ou du bailleur de fonds. Dans certains programmes et projets, la revue à mi-parcours conditionne les décaissements futurs, le reconduite du projet, ou même le financement d’autres projets. • Les rapports des évaluations ne sont pas suffisamment diffusés. La diffusion concerne principalement les bailleurs de fonds et les administrations publiques. • Néanmoins, la pratique évaluative est recherchée par la majorité écrasante des structures (98,2%). Les besoins et la demande sont donc très importants. Avec les processus de démocratisation et de décentralisation, il est certain qu’il y a des besoins croissants de contrôle citoyen de la gestion et de la gouvernance.

9. 2.2.1.2 Critères d’évaluation • Comme critères d’évaluation , on peut citer: • la bonne gestion des ressources du projet ou du programme pour voir si les celles-ci n’ont pas été détournées à des fins personnelles particulières ; • la consommation des crédits dans les délais pour pouvoir bénéficier des décaissements suivants ou bien pour ne pas se voir diminuer le crédit budgétaire pour l’exercice à venir ; • l’efficacité des opérations pour vérifier la réalisation des objectifs tels que prévus. • Les questions de pertinence, d’efficience, d’optimisation des coûts, des retombées lointaines du projet ou du programme sont rarement citées. • La démarche évaluative apparaît ainsi, comme une formalité pour accéder à des financements ou encore pour conserver des financements ou pour répondre à une conditionnalité.

10. 2.3. Analyse du dispositif institutionnel • 2.3.1 Structures chargées de l’Evaluation • En réalité le dispositif national ne fonctionne pas comme un système cohérent parfaitement structuré autour d’un organe central et fonctionnant de manière harmonieuse et systématique . Il est constitué en fait d’un ensemble de structures et de mécanismes divers, parfois sans relations directes entre eux, et dont le fonctionnement s’effectue sans une véritable synergie. Il comprend plusieurs types de structures, à savoir : • Des structures relevant du pouvoir exécutif ( structures des Ministères, SP/SRP, INS…) ; • Des structures relevant du pouvoir judiciaire (Chambre des comptes et discipline budgétaire) ; • Des structures relevant du pouvoir législatif (AN avec ses différentes commissions); • Des structures issus de la décentralisation ( HCCT, contrôle de légalité exercé sur les actes du conseil municipal par le Représentant de l’Etat, le CM lui-même par rapport à l’organe exécutif) • Des institutions privées (bureaux d’études) et OSC; • Les PTF (coordination du SNU, AFD….) • Le ReNSE; • Les Institutions de formation

11. 2.3. Analyse du dispositif institutionnel • Le dispositif national en matière d’évaluation était centré autour d’un noyau dur représenté par les structures suivantes : • La Direction Générale de l’Evaluation des Programmes de Développement (DGEPD) du Ministère de l’Economie et des Finances (MEF) ; • L’Unité de suivi, évaluation et système d’information du Secrétariat Permanent de la Stratégie de Réduction de la Pauvreté, relevant du Cabinet du Premier Ministre ; • La Direction du Suivi et de l’Evaluation des Actions de Développement (DSEAD), logée au MAT/DC; • Les Directions des Etudes et de la Programmation (DEP) des Ministères sectoriels. • Il est complété par les dispositifs de S-E des projets et programmes de développement

12. 2.3. Analyse du dispositif institutionnel • Plusieurs projets et programmes disposent en effet, de leurs propres dispositifs de suivi évaluation. • Cependant, malgré l’existence dans la plupart des cas, d’indicateurs de performance, d’un cadre logique et d’un manuel de suivi évaluation, on note un faible niveau de suivi des indicateurs d’effet et d’impact et la modestie des moyens alloués au volet S&E. A coté de ce noyau dur, interviennent d’autres structures qui disposent de leurs propres systèmes d’information, représentant autant de sources de données susceptibles d’alimenter et de renforcer le système d’évaluation global.

13. 2.3. Analyse du dispositif institutionnel • 2.3.2 Demande d’Evaluation • L’étude a fait ressortir l’existence d’une demande en évaluation au Niger. • Elle est manifeste et tendra à s’accroître considérablement à l’avenir, dans tous les secteurs d’activités, les administrations, publiques, les collectivités locales décentralisées et administrations déconcentrées, ainsi que les ONG et les entreprises du secteur privé. Et parmi les raisons qui incitaient à cet optimisme, on peut citer : • Les exigences de bonne gouvernance qui imposent notamment le respect des principes fondamentaux de transparence, d’efficacité, d’efficience et de responsabilité dans la gestion des affaires publiques ; • L’érection à l’époque de la DSEP en une Direction Générale de l’Evaluation des Programmes de Développement (DGEPD); • La création de l’INS qui contribue à renforcer le cadre institutionnel en matière de suivi évaluation, en particulier avec le projet de mise en place en son sein, de l’observatoire de la pauvreté et du Développement Humain dont la vocation est de faire les évaluations nécessaires à la mesure de l’impact des investissements sur la réduction de la pauvreté ; • Le contexte international marqué par les conditionnalités de plus en plus fortes posées par les Partenaires Techniques et Financiers pour la recherche d’une meilleure efficacité de l’aide en vue de lutter contre la pauvreté et d’atteindre les OMD, dans le cadre d’un partenariat basé sur la réciprocité des engagements, la responsabilité et la reddition des comptes.

14. 2.3. Analyse du dispositif institutionnel • 2.3.3 Offre d’Evaluation • Les possibilités d’offre en évaluation au Niger proviennent en particulier : • Des ressources humaines déjà formées dans les Instituts et Ecoles spécialisés, disséminées dans différents départements ministériels, dont la plupart sont sous utilisés parce que non affectés à des tâches de suivi- évaluation. A ce niveau, une utilisation adéquate, par un redéploiement de ces compétences, contribuerait à renforcer les capacités nationales en suivi évaluation et à promouvoir la culture de l’évaluation ; • Des nombreux cadres ayant reçu une formation générale dans différentes filières universitaires qui sont susceptibles de constituer un immense potentiel à condition qu’ils reçoivent une spécialisation rapide en suivi évaluation des projets et programmes de développement ; • Des perspectives qu’offraient les organismes d’aide au développement, en particulier l’Agence Française de Développement (AFD) et le Système des Nations Unies, engagés depuis quelque temps dans une action vigoureuse de renforcement des capacités évaluatives ; • Des disponibilités importantes que représentent les bureaux d’études locaux et internationaux.

15. 2.3. Analyse du dispositif institutionnel • 2.3.4 Forces et faiblesses • 2.3.4.1 Forces du dispositif • Comme forces on pouvait citer: • L’existence, en dépit des insuffisances qui le caractérisent, d’un arsenal juridique (textes déterminant les missions de suivi et d’évaluation et précisant parfois les mécanismes à mettre en œuvre) relatif au suivi et à l’évaluation des politiques, programmes et projets de développement ; • La transformation de l’ancienne DSEP en une Direction Générale chargée de l’évaluation des programmes de développement, constitue sans conteste une grande opportunité pour la promotion et le développement d’une culture d’évaluation au Niger ; • L’existence de relations privilégiées de collaboration entre la DGEPD, le SP/SRP et les DEP en matière de coordination et de suivi évaluation des programmes et projets de développement ; • L’existence au sein de la DGEPD d’une base de données portant sur les informations relatives aux programmes et projets dans les différents domaines couverts par la Stratégie de Réduction de la Pauvreté, permettant notamment d’effectuer un suivi de la programmation et de l’exécution annuelle des budgets et d’apprécier le niveau d’atteinte des résultats attendus. • L’existence, pour plusieurs projets, d’une cellule de suivi évaluation dotée de moyens humains et matériels à chaque niveau, avec dans certains cas la mise en place d’une stratégie d’implication des communautés dans le suivi des réalisations et dans la collecte des informations ;

16. 2.3. Analyse du dispositif institutionnel • 2.3.4 Forces et faiblesses • 2.3.4.1 Forces du dispositif • Comme forces on pouvait citer: • L’existence, en dépit des insuffisances qui le caractérisent, d’un arsenal juridique (textes déterminant les missions de suivi et d’évaluation et précisant parfois les mécanismes à mettre en œuvre) relatif au suivi et à l’évaluation des politiques, programmes et projets de développement ; • La transformation de l’ancienne DSEP en une Direction Générale chargée de l’évaluation des programmes de développement, constitue sans conteste une grande opportunité pour la promotion et le développement d’une culture d’évaluation au Niger ; • L’existence de relations privilégiées de collaboration entre la DGEPD, le SP/SRP et les DEP en matière de coordination et de suivi évaluation des programmes et projets de développement ; • L’existence au sein de la DGEPD d’une base de données portant sur les informations relatives aux programmes et projets dans les différents domaines couverts par la Stratégie de Réduction de la Pauvreté, permettant notamment d’effectuer un suivi de la programmation et de l’exécution annuelle des budgets et d’apprécier le niveau d’atteinte des résultats attendus. • L’existence, pour plusieurs projets, d’une cellule de suivi évaluation dotée de moyens humains et matériels et d’outils nécessaires, avec dans certains cas la mise en place d’une stratégie d’implication des communautés dans le suivi des réalisations et dans la collecte des informations ;

17. 2.3. Analyse du dispositif institutionnel • 2.3.4 Forces et faiblesses • 2.3.4.2 faiblesses du dispositif • Comme faiblesse on pouvait citer: • L’absence d’un statut et d’une organisation formels pour le ReNSE ; • L’absence de clarification et d’adaptation des missions, attributions et de l’organisation des DEP au contexte changeant ; • Les capacités limitées des DEP dans les domaines des analyses prospectives sectorielles, de la formulation des dossiers de programmes et projets et de la réalisation d’études de faisabilité, d’évaluation ex-post et ex-ante ;   • L’insuffisance des moyens et la faiblesse des compétences en ressources humaines dont disposent la plupart des DEP dans le domaine du suivi évaluation; • Les difficultés de collaboration rencontrées parfois par les DEP avec les cellules en charge du S&E dans les projets relevant de leur tutelle, se traduisant en particulier par une remontée insuffisante et/ou tardive des données recueillies et traitées par les projets ; • L’insuffisance dans la coordination entre les différentes structures des ministères en matière de suivi des opérations, en raison notamment de certains conflits de compétences avec les Directions Techniques ;

18. 2.3. Analyse du dispositif institutionnel • 2.3.4 Forces et faiblesses • 2.3.4.2 faiblesses du dispositif • L’absence de représentation régionale et locale de la DGEPD et des DEP ; • le faible niveau de définition et de suivi des indicateurs d’effet et d’impact affaiblit souvent la consistance des évaluations à mi-parcours ou finales des projets et programmes ; • la rareté des évaluations ex-post (plusieurs années après la fin d’un projet); • la diversité des dispositifs et des indicateurs de suivi, souvent liée aux exigences spécifiques de chaque bailleur de fonds, pose de réels problèmes de comparaison ou d’agrégation des données issues de projets différents, ce qui rend difficile l’appréciation objective des changements ; • La faiblesse des cellules de suivi évaluation au niveau de certains programmes/projets, qui se résument souvent à un seul responsable ou expert, sans budget spécifique, ce qui limite le recueil et l’analyse des données indispensables à l’appréciation des résultats des actions entreprises ; • Le décalage, dans certains cas, entre le nombre élevé des indicateurs sélectionnés et la modestie des moyens alloués au volet S&E.

19. 3. Recommandations de l’étude • 3.1. Stratégie d’institutionnalisation de la fonction • A ce niveau on retient essentiellement: • La nécessité pour les autorités compétentes de poursuivre la mise en place de l’arsenal juridique, afin d’améliorer les performances du dispositif institutionnel ; • La nécessité pour l’ensemble des acteurs de mettre en place un système commun de coordination comme référentiel en matière d’évaluation ; • Le développement d’un partenariat stratégique efficace entre les différents acteurs, dans le cadre de la mise en œuvre du programme.

20. 3. Recommandations de l’étude • 3.2. Programme de renforcement des capacités  évaluatives: • A ce niveau on retient essentiellement: • La concrétisation rapide des engagements pris par les Partenaires au développement en appuis techniques et financiers afin d’assurer la mise en œuvre du programme ; • L’urgence et la nécessité de former les compétences nationales nécessaires dans le domaine de l’évaluation ; • Le développement d’un partenariat stratégique efficace entre les différents acteurs, dans le cadre de la mise en œuvre du programme.

21. PLAN DE LA PRESENTATION • 4. Bilan des actions menées dans le cadre de la mise en œuvre des recommandations de l’étude • 4.1 Dans le cadre de l’institutionnalisation de la fonction évaluative • Globalement, on ne note pas d’avancée particulière en ce qui a trait à l’institutionnalisation de la fonction évaluative. • Quelques évènements ont caractérisé la période; il s’agit essentiellement de: • La création en 2007 d’un Ministère en charge de l’Evaluation dont la durée de vie n’a guère excéder 3 mois; • La création de la Communauté Nigérienne de Pratique de la Gestion Axée sur les Résultats (Cop-Niger) qui a tenu sa première AG en 2008; • La disparition de la DGEPD qui a fait place à la Direction de l’Evaluation depuis août 2011 • Dans le cadre du renforcement des capacités évaluatives

22. PLAN DE LA PRESENTATION 4. Bilan des actions menées dans le cadre de la mise en œuvre des recommandations de l’étude 4.1 Dans le cadre du renforcement des capacités évaluatives Dans ce domaine, les avancées ont particulièrement porté sur les différentes sessions de formation de différents acteurs en GAR. A titre illustratif, on peut constater à travers les tableaux ci-après, les formations effectuées en 2007 et 2008

23. Formations réalisées en 2007 (98)

24. Formation réalisées en 2008 (482)

25. Conclusion Les besoins et la demande sont donc très importants. Avec les processus de démocratisation et de décentralisation, il est certain qu’il y a des besoins naissant de contrôle citoyen de la gestion et de la gouvernance d’une part et des besoins d’informations qui imposeront un changement de comportement vers une culture plus accrue d’évaluation