Les Examens par les pairs

1. L’expérience des services d’évaluation Les Examens par les pairs

2. Qui évalue les évaluateurs? • L’examen par les pairs est un regard collégial, méthodique et indépendant, porté sur l’activité professionnelle de collègues du même secteur, accompagné d’un échange de vues sur les constats et de recommandations appropriées. S4 Evaluation spéciale de la coopération internationale

3. Examens par les pairs DAC-UNEG Motifs initiaux (2004) • Alléger la charge de travail des services d’évaluations bilatéraux due aux évaluations des organisations multilatérales • Utiliser les évaluations produites par les systèmes de suivi et d’évaluation des organisations multilatérales • Créer une sorte de label de qualité basé sur l’appréciation des procédures et des produits de ces services S4 Evaluation spéciale de la coopération internationale

4. Examens par les pairs DAC-UNEG Motifs vus par les OM après 5 ans • Rassurer les donateurs que la fonction d’évaluation des OM répond aux normes de qualité reconnues et qu’ils peuvent faire confiance aux évaluations • Faire rapport à UNEG sur la qualité de la fonction d’évaluation • Informer le conseil de l’OM concernée • Echange de vues entre collègues de la profession (pairs) S4 Evaluation spéciale de la coopération internationale

5. Question cadre • La fonction d’évaluation de l’agence est-elle indépendante et crédible et ses produits sont-ils crédibles et utiles tant pour la reddition de comptes que pour en tirer des enseignements? S4 Evaluation spéciale de la coopération internationale

6. Examens réalisés • NU • PNUD • PAM • UNICEF • OIOS • FEM • ONUDI • Banques de développement • FIDA • Agences bilatérales • DgCiD (MAE France) • Service de l’évaluation spéciale (MAE Belgique) S4 Evaluation spéciale de la coopération internationale

7. Préalable • Cadre de référence produit par un groupe de travail conjoint basé sur les principes du CAD et les normes et standards de l’UNEG: • Indépendance - impartialité • Crédibilité • Utilité S4 Evaluation spéciale de la coopération internationale

8. Phase démarrage • Demande de l’organisation portée devant le groupe de travail CAD-UNEG • Répercussion de la demande vers des membres du CAD • Constitution d’un Comité de pairs + conseillers • Légitimité • Absence de conflit d’intérêt • Direction S4 Evaluation spéciale de la coopération internationale

9. Phases démarrage 2 • Définition de TdR pour le Comité et éventuellement pour les conseillers – échange avec commanditaire • Formulation du cadre de référence de l’examen sur base de modèles existants • Définition de la méthodologie, du programme de travail, des responsabilités de chacun et des attentes par rapport à l’organisation examinée • Etablissement d’un budget : ± CHF 130.000 S4 Evaluation spéciale de la coopération internationale

10. Phase documentaire • Collecte et analyse de données: • Étude documentaire • Auto-évaluation par le service d’évaluation • Confrontation des constats au cadre de référence • Production d’un rapport de phase documentaire • Formulation de questions pour la phase de terrain S4 Evaluation spéciale de la coopération internationale

11. Mission au siège • Le comité mène une semaine d’interviews avec • Le/la responsable et le staff du service • Le staff de l’organisation • Des parties prenantes accessibles • La mission se termine par un débriefing • Décision à prendre: faut-il une mission de terrain? S4 Evaluation spéciale de la coopération internationale

12. Phase de rapport et d’échange collégial • Rédaction d’un rapport provisoire et demande d’observations • Prise en compte des observations justifiées • Echange avec le commanditaire: moment important du processus • Echange avec ses décideurs politiques S4 Evaluation spéciale de la coopération internationale

13. Enjeux • Légitimité du comité d’examen • Gestion d’un comité international: raison garder ! • Structuration claire du processus • Importance du cadre de référence • Mission de terrain ? • Importance de la phase d’échange collégial S4 Evaluation spéciale de la coopération internationale

14. Enjeux 2 • Appréciation de la qualité des rapports d’évaluation: pas encore d’approche standard • Pour les pairs : Ecouter avant de donner son opinion • Ne pas négocier le rapport final S4 Evaluation spéciale de la coopération internationale