Facilité par Oumoul Ba Tall et Jim Rugh

1. Pour uneapprocheHolistique et en Situation Réelle de l’Evaluationd’ImpactConcevoir des Evaluations sous contraintes de Budget, Temps, Données et PolitiquesAtelier Professionnel de pré-conférence de l’AfrEA, Accra, 10 janvier 2012avec nosappréciations à la Foundation Rockefeller Facilité par Oumoul Ba Tall et Jim Rugh Note: Cetteprésentation PowerPoint et le résumé du chapitre du livresontdisponiblessur: www.RealWorldEvaluation.org

2. Un mot de remerciementsànotre sponsor: La Fondation Rockefeller Cet atelier estl’une des 12 sessions de la conférence de l’AfrEA qui bénéficient de l’appui financier de la Foundation Rockefeller. Elles font partie d’un paquet de subventions destinées à encourager des actions de promotion de la capacitéd’évaluation du développement, de génération de connaissance en évaluation, ainsique les approchesinnovatives, les nouvellesméthodes et nouveaux outilsd’évaluation.

3. Introduction àL’Evaluationd’Impact(citant le Guide du NONIE) • “Dans le développement international, l’évaluation d’impact concerne principalement les résultats finaux d’une intervention (programme, projet, décisions politiques, réformes) sur le bien-être des communautés, des ménages et des individus.” [p. 3] • “Aucune méthode n’est meilleure en soi pour adresser la diversité de questions et d’aspects qui peuvent relever des évaluations d’impact. Toutefois, certaines méthodes ont des avantages comparatifs sur d’autres dans l’analyse d’une question ou d’un objectif particuliers, du fait de la spécifité de la question ou de l’objectif. Des méthodes et perspectives particulières se complétent pour procurer “une image” plus complète de l’impact.” [p. xxii]

4. Introduction àL’Evaluationd’Impact(citant le Guide du NONIE) • Les méthodesquantitativesd’évaluationd’impactcherchentàrésoudre les troisproblémessuivants, qui sontinterconnectés : • L’établissement d’un coutrefactuel:Que se serait-il passé sans l’intervention(s)? • L’élimination des effets de la sélection, menantvers les différences entre le grouped’intervention (traitement) et le groupe de contrôle. • Une solution au probléme des non-observables: l’omissiond’uneou de plusieurs variables non-observées, induisant des estimations biaisées. [p. 23]

5. Introduction àL’Evaluationd’Impact(citant le Guide du NONIE) • “La meilleurefaçond’éviter les effets de la sélectionest la sélection au hasard des groupesd’intervention et de contrôleavant le démarrage de l’expérimentation. Dans un ContrôleAléatoired’Essai (CAE) bienconçu et mis en oeuvre, unecomparaison simple de la moyenne des Résultatsdans les 2 groupespeutrésoudre le probléme de l’attribution, et produire des estimations précises de l’impact de l’interventionsurune variable àl’étude. La seuledifférence entre les deuxgroupes aura étél’intervention, du fait de la démarchesuivie.” [p.24]

6. OK,celaestsuffisant pour une introduction initialeà la théorie de l’Evaluationd’Impact. A présent, considéronscertaines implications lorsque nous essayons de mener des Evaluations d’Impact en SituationRéelle.

7. L’Evaluationd’ImpactAppliquéeàcet Atelier Vous qui êtesdanscettesalleavezchoisi de participeràcet atelier. Appelons le sujetque nous allonsdiscutericil’Intervention. Nous assumonsquevousêtessuffisammentqualifiés pour prendrececours. Nous proposonsceci: faire un pré-test pour déterminervotrecompréhension du sujet. Ensuite, sélectionner de façonaléatoire 50% d’entrevous, qui serontconsidérésnotregroupe de contrôle. Nous vousdemanderons de quitter la salle et vousoccuperàautre chose durant le reste de la journée. Ensuitevousrevenezà 16H30 pour prendre le test de fin, en même temps que les autres qui sontrestés et ontparticipé au reste de l’atelier (notregrouped’intervention). Ainsi nous aurons un contrefactuel qui nous servira pour mesurer tout impact mesurable de ceque nous auronsenseignédurantl’atelier.

8. L’Evaluationd’ImpactAppliquéeàcet Atelier OK, juste pour rire, àtitred’illustration!

9. L’Evaluationd’ImpactAppliquéeàcet Atelier Pour quelles raisons essayer d’utiliseruneméthoded’EpérimentationàSélectionAléatoire (ESA) pour évaluerl’impact de cet atelier pourrait ne pas êtreunebonne idée? …

10. Objectifs de l’Atelier 1. Les bases de l’approche Evaluation en SituationRéelle (ESR) pour répondre aux questions et contraintes de l’évaluateurtellesque: évaluer à la fin d’un projet en l’absence de Référenceou de Groupe de comparaison; ou le budget estinadéquat, le temps insuffisant; ou face à des pressionspolitiquesou des attentessur la manière de conduirel’évaluationou encore sur les conclusions de celle-ci.

11. Objectifs de l’Atelier • Définircequel’évaluationd’impactdevraitêtre; • Identifier et évaluer différents modèles d’évaluation qui pourraient être utilisés dans un contexte d'évaluation particulier; • Lesmoyens de reconstruire les données de base lorsquel’évaluationdémarrebienalorsque le projetestbienavancéouterminé; • Comment rendre compte de ce qui serait arrivé sans les interventions du projet: contrefactuels alternatifs

12. Objectifs de l’atelier Note: danscet atelier, l’accentestmissur les évaluationd’impact au niveauprojet. Bien entendu, ilexisted’autrescatégoriesd’évaluation, en fonction des objectifs, de l’étendue, de l’objetévalué, de la nature (ou type) d’évaluation. Certaines des méthodesque nous allonsévoquerpeuventêtreappliquéesàcescatégoriesmaisnos examples serontbaséessurl’évaluationd’impact des projets, et dans le contexte des pays en développement en général.

13. Programme de l’Atelier 1. Introduction [10 minutes] 2. L’approche ESR en bref [30 minutes] 3. Les participants se présentent et échangentleursexpériences de situations et contraintesd’ESR, en petitsgroupes. [30 minutes] 4. Bréve revue des méthodologies, modéleslogiques, outils et techniques de l’Evaluationd’ImpactenSituationRéelle, avec l’accentsurl’évaluationd’impact [75 minutes] --- petite pause [20 minutes]--- 5. Que faire en l’absence de Situation de Référence: Reconstruireune Situation de Référence[30 minutes] 6. Exercice en petitsgroupesPartieI: lire l’étude de cas et comencer la discussion [45 minutes] -- déjeuner [60 minutes] --- 7. Comment concevoirce qui auraitété en l’absence de projet: l’alternative au contrefactuel[30 minutes] 8. Discussion pleinière: Réalitéspratiquesdansl’application des approches ESR: Défis et Stratégies [30 minutes] 9. Exercices en petitsgroupes, PartieII: 'Clients’ et ‘consultants’ re-négotient les TDRs de l’évaluation de l’étude de cas [60 minutes] 10. Feedback de l’exercice[20 minutes] 11. Discussions en vrac, évaluation de l’atelier [40 minutes] (fin prévueà 17h00 )

14. Evaluation en SituationRéelleConcevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Session 2 Vued’ensemble de l’Approche ESR

15. Scénarios d’Évaluation en SituationRéelle Scénario 1:L’équipe d’évaluation n’entre en scène que vers la fin du projet Pour des raisons politiques, techniques ou budgétaires : • Il n’a pas eu de plan d’évaluation du projet • Il n’y a pas eu d’enquête initiale (étude de base) • Les personnes chargées de la mise en œuvre n’ont pas collecté de données convenables sur les participants au projet au début ou en cours • Il est difficile de collecter des données sur des groupes de contrôle comparables

16. Scénarios d’Évaluation en SituationRéelle Scénario 2: L’équipe d’évaluation entre en scène au début du projet mais, pour des raisons budgétaires, politiques ou méthodologiques: • L’enquête initiale était une évaluation des besoins, pas une étude de base comparable à l’évaluation finale • Il n’a pas été possible de collecter des données de base sur le groupe témoin

17. Appel à la Réalité – Défis de la SituationRéelle en Evaluation • Trop souvent, l’évaluation n’entre pas en ligne de compte à la conception du projet – on n’y pense qu’à la fin • Pas de données de base, du moins comparables à l’évaluation • Pas de groupe de contrôle/témoin en place ou possible • Temps et ressources limités pour l’évaluation • Attentes spécifiques des clients quant à ce qu’ils espèrent ressortir de l’évaluation • Mauvaise compréhension de l’évaluation, méfiance chez beaucoup de parties prenantes; beaucoup la voient comme une menace (n’aiment pas être jugés)

18. Evaluation en SituationRéelle: Buts visés par le Contrôle Qualité • Parvenir à une évaluation la plus rigoureuse possible compte tenu des limites imposées par le contexte • Identifier les faiblesses méthodologiques du modèle d’évaluation et y remédier • Négocier avec les clients des solutions tenant compte de la rigueur souhaitée et des ressources disponibles • Reconnaître dans la présentation des constatations les faiblesses méthodologiques et leur effet sur la généralisation à des populations plus vastes

19. Le Besoin comblé par l’Evaluation en SituationRéelle • Du fait de ce type de contraintes, beaucoup des principes de base gouvernant la conception des évaluations d’impact (conception semblable pour les pré-tests et les post-tests, groupe témoin, conception et mise à l’essai d’instruments, échantillonnage aléatoire, contrôle des biais attribuables à l’évaluateur, documentation détaillée de la méthodologie d’évaluation, etc.) sont souvent ignorés.

20. L’Approche de l’Evaluation en SituationRéelle Une approche intégrée pour garantir des normes acceptables de rigueur méthodologique face aux contraintes de budget, temps, d’argent, de données et de situation politique en SituationRéelle. cf le livre “RealWorld Evaluation” oubien le “Condensed Summary” pour plus de détail

21. Bamberger Rugh Mabry Evaluat° en Situation Réelle RealWorld Evaluation Working Under Budget, Time, Data, and Political Constraints Michael Bamberger Jim Rugh Linda Mabry EDITION 2 EDITION This book addresses the challenges of conducting program evaluations in real-world contexts where evaluators and their clients face budget and time constraints and where critical data may be missing. The book is organized around a seven-step model developed by the authors, which has been tested and refined in workshops and in practice. Vignettes and case studies—representing evaluations from a variety of geographic regions and sectors—demonstrate adaptive possibilities for small projects with budgets of a few thousand dollars to large-scale, long-term evaluations of complex programs. The text incorporates quantitative, qualitative, and mixed-method designs and this Second Edition reflects important developments in the field over the last five years. New to the Second Edition: • Adds two new chapters on organizing and managing evaluations, including how to strengthen capacity and promote the institutionalization of evaluation systems • Includes a new chapter on the evaluation of complex development interventions, with a number of promising new approaches presented • Incorporates new material, including on ethical standards, debates over the “best” evaluation designs and how to assess their validity, and the importance of understanding settings • Expands the discussion of program theory, incorporating theory of change, contextual and process analysis, multi-level logic models, using competing theories, and trajectory analysis • Provides case studies of each of the 19 evaluation designs, showing how they have been applied in the field “This book represents a significant achievement. The authors have succeeded in creating a book that can be used in a wide variety of locations and by a large community of evaluation practitioners.” —Michael D. Niles, Missouri Western State University “This book is exceptional and unique in the way that it combines foundational knowledge from social sciences with theory and methods that are specific to evaluation.” —Gary Miron, Western Michigan University “The book represents a very good and timely contribution worth having on an evaluator’s shelf, especially if you work in the international development arena.” —Thomaz Chianca, independent evaluation consultant, Rio de Janeiro, Brazil 2 EDITION RealWorld Evaluation

22. L’Approche de l’Evaluation en SituationRéelle • Mise au point pour aider les praticiens de l’évaluation et les clients • Gestionnaires, organismes de financement et consultants externes • Une approche encore en évolution (nous continuonsàapprendred’atelierscomme le vôtre) • Conçue à l’origine pour les pays en développement, mais applicable aussi aux pays industrialisés.

23. Difficultés spécifiques à l’Evaluation dans les pays en développement • Absence de données secondaires nécessaires • Ressources locales en évaluation restreintes • Budgets d’évaluation limités • Contraintes institutionnelles et politiques • Culture d’évaluation absente (noter le rôle de palliatif des réseaux d’évaluation) • Les évaluations conçues en priorité par et pour la coopération internationale, reflètent rarement les priorités locales et nationales

24. Attentes en matièred’évaluations « rigoureuses » En dépit de ces difficultés, il y a une demande grandissante pour des évaluations méthodologiquement rigoureuses pour déterminer les impacts, la durabilité et la « replicabilité » des projets et programmes de développement. (àdévelopper plus tard)

25. La plupart des instruments d’ESR ne sont pas nouveaux – seule l’approche intégrée l’est • La plupart des outils de collecte et d’analyse des donnéesdansl’Evaluation en SituationRéellesontconnus des évaluateurs. • Ce qui est nouveau c’estl’approcheintégratéequi combine un large éventaild’instrumentsadaptés pour produire des évaluations de la meilleurequalité possible face aux contraintes de la SituationRéelle.

26. Qu’est-ce qui spécialdansl’approche ESR? • Il existeuneséried’étapes, chacuneayantuneliste de contrôles pour identifier les contraintes et déterminer les moyensd’action • Cesétapessontlistéessur la diaposuivantesuivies d’un organigramme plus détaillé …

27. Les étapes de l’Approche de l’Evaluation en SituationRéelle Étape 1 : Planifier l’évaluation et en cerner le champ Étape 2 : Composer avec les contraintes budgétaires Étape 3 : Composer avec les contraintes temporelles Étape 4 : Composer avec les contraintes en termes des données disponibles Étape 5 : Composer avec les contraintes politiques Étape 6 :Identifierles forces et les faiblesses du modèle d’évaluation Étape 7: Aider les clients dansl’utilisation de l’évaluation

28. L’Approche de l’Évaluation en SituationRéelle 1e étape : Planifier l’évaluation et en cerner le champ A. Cerner les besoins du client en matière d’information et comprendre le contexte politique B. Définir le modèle de la théorie de programme C. Identifier les contraintes (temps, argent, contexte politique) dont il faudra tenir compte dans l’ESR D. Sélectionner l’approche qui répond le mieux aux besoins des clients compte tenu des contraintes pour l’ESR 2e étape : Composer avec les contraintes budgétaires A. Modifier le modèle d’éval. B. Rationaliser les besoins pour les données C. Chercher des données secondaires fiables D.Réviser le plan d’échantillonnage E. Trouver des méthodes abordables pour collecter les données 3e étape : Composer avec les contraintes temporelles Tous les outils de l’étape 2 plus F. Commissionner des études préliminaires G. Embaucher plus de personnes ressource H. Réviser le format des documents de projet pour inclure des données essentielles pour l’analyse d’impact I. Utiliser la technologie moderne pour la collecte et l’analyse des données 4e étape : Composer avec les contraintes en termes de données A. Reconstruire les données de base B. Recréer des groupes de contrôle C. Travailler avec des groupes de contrôle non équivalents D. Collecter des données sur les sujets délicats ou auprès des groupes difficiles à atteindre 5e étape : Composer avec les influences politiques A.Répondre aux pressions des organismes de financement en ce qui concerne la conception de l’évaluation B.   Tenir compte des préférences méthodologiques des parties concernées C. Reconnaître l’influence des paradigmes de recherche professionnels 6ème étape : Renforcer le modèle d’évaluation et la validité des conclusions A. Identifier les obstacles à la validité des modèles d’évaluation quasi expérimentaux B. Déterminer dans quelle mesure les modèles qualitatifs conviennent C. Utiliser une liste de contrôle intégrée pour les modèles multi-méthodes 7ème étape : Aider les clients à faire usage de l’évaluation A. Utilisation B. Application C. OrientationD. Action 28

29. Nous n’aurons pas le temps de couvrirtoutescesétapesaujourdhui Nous allons nous concentrersur: • L’Etendue de l’évaluation • La Concecption de l’Evaluation • Les modéleslogiques • La Reconstruction des situations de référence • L’Alternative au countrefactuel • L’Evaluation d’ImpactRéaliste, Holistique • La Négotiation des TDRs

30. Planifier l’évaluation et en cerner le champ • Comprendre les besoins du client en matière d’information • Définir le modèle de la théorie de programme • Identifier, de façon préliminaire, les contraintes dont il faudra tenir compte dans l’Évaluation en SituationRéelle

31. Comprendre les besoins du client en matière d’information • Questions typiques pour lesquelles les clients souhaitent une réponse : • Le projet atteint-il ses objectifs? • Est-ce que tous les secteurs de la population cible bénéficient? • Les résultats obtenus sont-ils durables? • Quels sont les facteurs contextuels qui déterminent la mesure de la réussite ou de l’échec?

32. Comprendre les besoins du client en matière d’information Une bonne compréhension des besoins d’information du client peut souvent aider à limiter les types d’information collectés et le niveau de détail et de rigueur nécessaire Mais cette bonne compréhension peut aussi augmenter la quantité d’information requise

33. Autres questions àadresser en préparant des TDRsd’évaluation • Qui a demandél’évaluation? (Qui sont les acteurs clefs)? • Quellessont les questions clefs? • S’agira-t-ild’uneévaluationdévelopmentale, formative, ousommative? • Est-ilprévuuneprochaine phase, la conception d’autresprojetssur base de cetteévaluation? 33

34. Autres questions àadresser en préparant des TDRsd’évaluation • Quellesdécisionsserontprises en réponse aux conclusions de l’évaluation? • Quelest le niveau de rigueur adéquat? • Quelleestl’étendue / l’échelle de l’évaluation / l’objet (chose surlaquelleporte) àévaluer? • Quelest le temps utile / disponible? • Quelssont les besoins financiers / les disponibilités? 34

35. Autres questions àadresser en préparant des TDRsd’évaluation • L’évaluation se basera-t-ellesur des méthodesquantitativesouqualitatives? • Lesméthodesparticipativesseront-ellesutilisées? • Peut-ilyavoiruneenquête des ménages / est-cenécessaire? • Quidevraêtreinterrogé? • Qui devraêtreimpliquédans la planification / la conduite de l’évaluation? • Quelsmédiaspréférables pour communiquer les conclusions aux différents? 35

36. Modèle d’évaluation (recherche) ? Ressourcesdisponibles ? Temps disponible ? Questions principales ? Compétences disponibles ? Quoi évaluer (evaluand) ? Qualitative? Participative ? Quantitative? Champ / Etendue ? Extractive? Niveau de rigueur qui convient ? Une évaluation POUR qui ? Tout cela aide, ou crée encore plus de confusion? Qui a dit que les évaluations (comme la vie) seraient faciles?!! 36

37. Avant de retourner aux étapes de la SituationRéelle, regardons de prés les niveaux de rigueur, et à quoi peutressembler un plan d’évaluation qui couvre la vie du projet 37

38. Différentniveaux de rigueur dépend de la source de preuve; du niveau de confiance;de l’utilisation de l’information Objectif, grandeprécision–maisrequiert plus de temps et de ressources Rapide & bon marché–maissubjectif, peusolide Niveau5: Un projet de rechercheavancéeestentrepris pour conduireuneanalyse en profondeur de la situation; P= +/- 1% livrepublié! Niveau4:Echantillonreprésentatif de la population cibleutilisant les bonnesméthodesd’échantillonnage et de collecte de données; P= +/- 5%décideur lit tout le rapport Niveau3:Uneenquêterapideestréaliséesur un échantillon acceptable de; P= +/- 10%décideur lit le résumé de 10 pages du rapport Niveau2: Un sélectionrelativementbonne de personnesdiversesestinterrogéesur son appréciation du projet; P= +/- 25%décideur lit au moins le résumé exécutif du rapport Niveau1: On demandeàquelquespersonnesleur avis sur le projet; P= +/- 40%décisionprise en quelques minutes Niveau0: les impressions du décideurbaséessur des anecdotes ourumeursentendues au cours de brévesrencontres (discussions de couloirs),généralement des intuitions; Niveau de confiance+/- 50%; Décisionprise en quelquessecondes 38

39. REALISER UNE EVALUATION EST COMME POSER UNE CANALISATION Fiabilité & Validité des indicateurs Qualité de la Collecte de données SélectionAléatoired’Echantillon Qualité du Questionnaire Profondeur de l’Analyse Rapports &Utilisation LA QUALITE DE L’INFORMATION PRODUITE PAR UNE EVALUATION DEPEND DU DEGRE DE RIGUEUR DE TOUTES LES COMPOSANTES

40. SélectionAléatoired’Echantillon Fiabilité & Validité des indicateurs Qualité de la Collecte de données Qualité du Questionnaire Profondeur de l’Analyse Rapports & Utilisation NIVEAU DU “FLUX” (QUALITY) DE L’INFORMATION IS LIMITE A LA PLUS FAIBLE COMPOSANTE DU “CANAL” DE L’ENQUETE

41. Rigueur Elevée 4 3 2 Rigueur faible Temps au cours du cycle de vie du project Determiner les degrés de précisionappropriés pour les éléments d’un plan d’évaluation couvrant la Vie-du-projet Mêmedegré de rigueur Evaluation Finale Enquête de base Evaluation mi-parcours Etude Spéciale Analyse des Besoins Auto-évaluation annuelle 41

42. Session 3 TEMPS POUR DISCUSSION EN PETITS GROUPES 42

43. Présentez-vous • Quellescontraintes analogues avez-vousaffrontédansvotrepratiqued’évaluation? • Comment avez-vousréagi? 43

44. Evaluation en SituationRéelleConcevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Session 4.a. SCHEMAS D’EVALUATION

45. En quoi consistealorsune “évaluationd’impactrigoureuse”? • Une relation directe cause-effetliant un extrant (ou un nombreréduitd’extrants) à un résultat qui peutêtremesuréà la fin du projet de recherche? uneattribution assezclaire. … OU … • Deschangementsdans les indicateurs de haut-niveaumesurantl’améliorationpersistante de la qualité de vie des individus, ex. les OMDs (Objectifs du Millénnaire pour le Dévelopment)?  Plus significatifmais beaucoup plus difficile pour établirl’attributiondirecte.

46. En quoi consistealorsune “évaluationd’impactrigoureuse”? OECD-DAC (2002: 24) définitl’impactcomme “Effetsà long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directementou non, intentionnellementou non. Ceseffetspeuventêtreéconomiques, socioculturels, environementaux, technologiquesouautre”. L’attributiondirecteest-ellementionnéeouinduite? Qu’enest-il de l’utilisation de contrefactuelsou de ContrôlesAléatoiresd’Essai (CAE)?

47. Quelquesobjectifs de l’évaluation de programme • Formative: apprentisage et améliorationycomprisl’identificationprécoce de problémeséventuels • Génération de Connaissance: identifier les relations et les principesgénériques de l’éfficacité. • Redevabilité: démontrerque les ressourcessontutilisées de façonefficiente pour atteindre les résultatssouhaités • JugementSommatif: déterminer la valeur et le devenir du programme • Evaluation développementale: adaptation en contextecomplexe, émergent et dynamique -- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, pages 139-140

48. Determiner un modéled’évaluation qui convient (et qui estréaliste) A partir de l’objectif principal d’uneévaluation, de la compréhension des besoinsd’information du client, du dégré de rigueur requis, et ce qui estfaisable du fait des contraintes, l’évaluateur et le client peuventdéterminer le modéled’évaluationadapté aux circonstances.

49. Quelques considérations relatives à la conception de l'évaluation 1: Quandl’évaluation se passe (référence, mi-parcours, fin) 2. Revue de différentsmodéles(expérimental, quasi-expérimental, autre) 3: Degré de rigueur 4: Méthodesqualitatives & quantitatives 5: Une vision du schémad’évaluation qui couvre la Vie-du-project.

50. Échelle des grands indicateurs d’impact Introduction aux différents modèles d’évaluation Pour illustrer la nécessité d’un modèle d’évaluation chronologique et longitudinal quasi expérimental Participants au projet Groupe témoin Étude de base Évaluation en fin de projet Évaluation post projet 50