OBJECTIFS DE LA SESSION

1. OBJECTIFS DE LA SESSION • PROMOUVOIR LES PDEA ET LEUR UTILISATION PAR LES EVALUATEURS ET LES UTILISATEURS DES EVALUATIONS • RENFORCER LES CAPACITES DES ANIMATEURS DE GROUPES DE TRAVAIL DU ReNSE POUR UNE INTEGRATION DES PDEA DANS LES TRAVAUX DE GROUPE • AMELIORER LA QUALITE DES EVALUATIONS ET DES RAPPORTS D’EVALUATION

2. LES PRINCIPES DIRECTEURS DE L’EVALUATION AFRICAINE Utilité, Opportunité, Enjeux Niamey, 20/08/2004

3. PDEA – Qu’est-ce que c’est? • Liste de contrôles (checklist) pour : la négociation et l’établissement de contrats d’évaluation clairs; le suivi des progrès d’une évaluation; l’atteinte des résultats attendus d’une évaluation

4. PDEA – Pourquoi? • Assurer une meilleure qualité du processus d’évaluation de programmes et projets • Pouvoir anticiper et expliquer les raisons des succès/échecs du processus d’évaluation et prendre des décisions pour réajuster le processus à temps

5. PDEA – Quand et comment les utiliser? • Au cours de 3 phases principales: • La planification/préparation d’une évaluation • La mise en œuvre d’une évaluation: conception et conduite de l’évaluation • L’utilisation: communiquer et utiliser les résultats

6. PDEA – Quand et comment les utiliser? • La planification/préparation d’une évaluation : • Identifier les parties prenantes et le profil de l’équipe d’évaluateurs • Dresser la liste des questions d’évaluation • Elaborer le budget de l’évaluation • Sélectionner les membres de l’équipe

7. PDEA – Quand et comment les utiliser? • La mise en œuvre : conception et conduite de l’évaluation : • Etablir l’échantillon, déterminer la couverture géographique, les méthodes de collecte de données • Collecter les données • Analyser et interpréter les données

8. PDEA – Quand et comment les utiliser? • Communiquer et utiliser les résultats : • Valider les résultats par tous les utilisateurs • Communiquer les résultats et les points clés/recommandations • Utiliser le processus de réalisation et ses résultats pour l’aide à la prise de décision et pour l’élaboration de politiques et programmes de développement

9. PDEA – Contexte • L’Association américaine d’Evaluation a identifié 30 critères garantissant la qualité d’une évaluation et les a présenté sous la forme d’une checklist • La checklist peut être utilisée pour apprécier la complétude et la qualité d’une évaluation • Une série d’ateliers techniques a été organisée entre 1998-2002 en Afrique

10. PDEA – Contexte • La plupart des Réseaux nationaux de S&E africains impliqués ont reconnu que les standards US devaient être adaptés au contexte africain • Est-ce que les standards US d’évaluation de programmes sont appropriés pour une utilisation en Afrique (cultures, traditions, etc.)?

11. PDEA – Un besoin • Le besoin d’élaborer les PDEA : • Il est acceptable d’adopter un modèle international qui serait suffisamment sensible au contexte africain. Mais les standards US ne prennent pas en compte certaines valeurs culturelles et sociales présentent en Afrique

12. PDEA – Un besoin • Il est inacceptable d’imposer à l’Afrique un jeu de standards développé hors du continent. Une révision des standards US par les parties prenantes africaines est suggérée • La procédure appropriée serait de tester les standards US sur le terrain en Afrique pour dégager leur pertinence et le besoin d’une révision pan-africaine

13. PDEA – Leur structure • Les 30 standards US sont regroupés dans 4 groupes qui correspondent à 4 dimensions clés d’une évaluation de programme juste et de qualité • 4 catégories de critères constituent les PDEA: • Utilité • Faisabilité • Propriété • Précision

14. PDEA – UTILITE • Les principes directeurs de l’Utilité sont destinés à assurer que l'évaluation réponde aux besoins en informations des futurs utilisateurs et que les parties prenantes se les approprient • U1 Identification des parties prenantes • U2 Crédibilité de l'Evaluateur • U3 Domaine et Choix de l'Information • U4 Identification des Valeurs • U5 Clarté des Rapports • U6 Disponibilité des Rapports à Temps et Dissémination des Rapports • U7 Evaluation de l'Impact

15. PDEA – FAISABILITE • Les principes directeurs de Faisabilité sont destinés à assurer que l'évaluation est réaliste, prudente, diplomatique et économique • F1 Procédures Pratiques • F2 Viabilité Politique • F3 Efficacité du Coût

16. PDEA – PROPRIETE • Les principes directeurs de Propriété sont destinés à assurer que les évaluations sont conduites légalement avec éthique et avec une attention particulière pour le bien-être de ceux qui sont impliqués et touchés par les résultats • P1 Orientation du Service • P2 Accords formels • P3 Droits des parties prenantes • P4 Les rapports humains • P5 Evaluation Complète et Satisfaisante • P6 Diffusion des Conclusions • P7 Conflits d'Intérêts • P8 Responsabilité Fiscale

17. PDEA – PRECISION • Les principes de Précision sont destinés à assurer qu'une évaluation révélera et apportera une information techniquement adéquate autour des caractéristiques qui déterminent la valeur du programme évalué • A1 Documentation du Programme • A2 Analyse du Contexte • A3 Buts et Procédures Présentés • A4 Sources d'Information Défendables • A5 Information Valide • A6 Information Fiable • A7 Information Systématique

18. PDEA – PRECISION • A8 Analyse de l'Information Quantitative • A9 Analyse de l'Information Qualitative • A10 Conclusions Justifiées • A11 Impartialité du rapport • A12 Méta-évaluation

19. PDEA – Leur Utilisation en Afrique • Ont été contextualisés à l’Afrique par les africains • Sont mis gratuitement à la disposition des évaluateurs et des utilisateurs des évaluations • Ont été testés par plusieurs bureaux de l’UNICEF en Afrique de l’Est et du Sud avec des résultats positifs

20. PDEA – Leur Utilisation en Afrique • POURTANT… Faible utilisation: Pourquoi? • Promotion insuffisante • Formation insuffisante • Utilisation d’autres standards propres aux organismes de développement • Les PDEA constituent davantage une source d’inspiration pour les agences afin d’enrichir et contextualiser des standards existants par ailleurs

21. AfrEA 2002 – Nairobi 3 recommandations • Les réseaux et associations nationaux de S&E doivent adopter les PDEA en tant que standards reconnus et utilisés pour l’élaboration des TDR, la validation des rapports d’évaluation et la dissémination des résultats

22. AfrEA 2002 – Nairobi 3 recommandations • Les Gouvernements et organismes publics doivent encourager l’utilisation des PDEA pour assurer l’harmonie, la consistance, la reddition, la qualité et l’appropriation de l’évaluation

23. AfrEA 2002 – Nairobi 3 recommandations • Les agences du SNU et les partenaires multilatéraux doivent relever le défi d’utiliser les PDEA pour contrôler la qualité de leurs évaluations de programmes de développement

24. Utilisation des PDEA dans l’évaluation d’un programme-pays UNICEF Etude de cas 1 - RCA

25. Utilisation des PDEA dans le contrôle qualité de rapports d’évaluation - métaévaluation Etude de cas 2 – Prog. VIH/SIDA Unicef

26. PISTES DE DISCUSSION • Partages d’expériences dans l’utilisation des standards – avantages, inconvénients rencontrés, etc. • Quelles sont les contraintes à l’institutionnalisation des PDEA au Niger et à leur utilisation + systématique par les acteurs du S&E? • Qu’est-ce que l’on peut faire de plus (à travers les groupes de travail)??? (dernier point)

27. Exercice de groupe Analyse de Termes de Références à l’aide des PDEA

28. PAUSE CAFE ! ! ! ! Merci UNICEF!!

29. Standards d’Evaluation de Programmes - UNICEF

30. Standards US d’Evaluation de Programme Source : Joint Committee, 1994, ou site web: http://www.eval.org

31. Utility Standards • The utility standards are intended to ensure that an evaluation will serve the information needs of intended users • U1 Stakeholder Identification— • U2 Evaluator Credibility-- • U3 Information Scope and Selection-- • U4 Values Identification--U5 Report Clarity-- • U6 Report Timeliness and Dissemination— • U7 Evaluation Impact--

32. Feasibility Standards • The feasibility standards are intended to ensure that an evaluation will be realistic, prudent, diplomatic, and frugal • F1 Practical Procedures-- • F2 Political Viability-- • F3 Cost Effectiveness--

33. Propriety Standards • The propriety standards are intended to ensure that an evaluation will be conducted legally, ethically, and with due regard for the welfare of those involved in the evaluation, as well as those affected by its results • P1 Service Orientation— • P2 Formal Agreements— • P3 Rights of Human Subjects— • P4 Human Interactions— • P5 Complete and Fair Assessment-- • P6 Disclosure of Findings— • P7 Conflict of Interest— • P8 Fiscal Responsibility--

34. Accuracy Standards • The accuracy standards are intended to ensure that an evaluation will reveal and convey technically adequate information about the features that determine worth or merit of the program being evaluated • A1 Program Documentation-- • A2 Context Analysis— • A3 Described Purposes and Procedures— • A4 Defensible Information Sources— • A5 Valid Information— • A6 Reliable Information-- • A7 Systematic Information— • A8 Analysis of Quantitative Information— • A9 Analysis of Qualitative Information— • A10 Justified Conclusions-- • A11 Impartial Reporting— • A12 Metaevaluation--

35. Les critères du CAD-OCDE Source: The DAC Principles for the Evaluation of Development Assistance, OECD (1991), ou http://www.ocde.org

36. Pertinence • Le degré d’adéquation entre l'activité d'aide et les priorités et politiques du groupe cible, du destinataire et du donateur. • En évaluant la pertinence d'un programme ou d'un projet, il est utile de considérer les questions suivantes : • Dans quelle mesure les objectifs du programme sont-ils encore valides ? • Les activités et les produits du programme sont-ils conformes au but global et à l'accomplissement de ses objectifs? • Les activités et les produits du programme préparent-ils aux impacts et aux effets attendus ?

37. Efficacité • Une mesure du degré d’atteinte des objectifs par une activité d'aide. • En évaluant l'efficacité d'un programme ou d'un projet, il est utile de considérer les questions suivantes : • Dans quelle mesure ont été atteints les objectifs / sont-ils en passe d’être atteints ? • Quels étaient les facteurs principaux influençant l'atteinte ou non des objectifs ?

38. Efficience • L'efficience établit la relation entre les produits et les intrants. Signifie que l'aide emploie les ressources les moins coûteuses possibles afin de réaliser les résultats désirés. En évaluant l'efficacité d'un programme ou d'un projet, il est utile de considérer les questions suivantes : • Les activités étaient-elles coût-efficaces ? • Est-ce que des objectifs ont été atteints dans les délais impartis ? • Est-ce que le programme ou projet a été mis en œuvre de la manière la plus efficace par rapport aux solutions alternatives ?

39. Impact • Les changements positifs et négatifs produits par une intervention de développement, directement ou indirectement, prévue ou fortuite. Ceci implique les principaux impacts et effets de l'intervention sur les indicateurs sociaux, économiques, environnementaux au niveau local. En évaluant l'impact d'un programme ou d'un projet, il est utile de considérer les questions suivantes : • Que s'est-il produit du fait du programme ou du projet ? • Quelle vraie différence l'activité a-t-elle occasionnée sur les bénéficiaires ? • Combien de personnes ont été affectées ?

40. Durabilité • Permet de savoir si les bienfaits d’une intervention peuvent se poursuivre malgré l’arrêt du financement extérieur. Les projets doivent être soutenables au plan financier et environnemental. • En évaluant la soutenabilité d'un programme ou d'un projet, il est utile de considérer les questions suivantes : • Dans quelle mesure les bienfaits d'un programme ou d'un projet se poursuivent-ils après le retrait du donateur ? • Quels étaient les facteurs principaux influençant l'atteinte ou non de la soutenabilité du programme ou du projet ?

41. DISCUSSION

42. PERSPECTIVES POUR LES GROUPES DE TRAVAIL • La promotion et la maîtrise des PDEA: • Qu’est-ce que le ReNSE peut faire de plus??? • Comment intégrer les PDEA dans les travaux des groupes? • Restitution aux groupes • …

43. MERCI!