DES Årsmøde 2013

1. DES Årsmøde 2013 How to beOutstanding? Case: Evaluering af Paris Deklarationen Dorte Kabell Kabell Konsulting 20 September 2013 Kolding

2. Michael Quinn Patton: “When I began the metaevaluation of The Paris Declaration Evaluation, I (…) approached the evaluation with considerable skepticism about whether an evaluation of such global scope, great political stakes, intense controversy, methodological challenges, and daunting timeline could be conducted with even minimum quality, much less constitute and exemplar and model.”

3. Evalueringsobjektet • Paris Erklæringen om bistandseffektivitet • Underskrevet af 150 lande og organisationer i 2005 • Bygger på 5 hovedprincipper og indeholder 56 specifikke ”commitments” • Erklæringen indeholdt som noget helt nyt i en politik erklæring et tilsagn om uafhængig evaluering og monitorering • Evalueringen blev præsenteret i 2011 til Fourth  High  Level  Forum  on  Aid  Effectiveness iBusan, Korea • Google “The evaluation of the Paris Declaration” i dag ogfå 6.650.000 hits

4. Evalueringen • Et joint internationalt initiativ (multiple institutioner og internationale stakeholders) • Målet: ”to assess the relevance and effectiveness of the Paris Declaration and its contribution to aid effectiveness and ultimately to development effectiveness” • Implementereti to faser;fase 1 bidrogtilmetodeudviklinngenifase 2 • Analyse ogsynteseaf mange forskelligkomponenter: over 50 evalueringerfra 21 landeog 12 donorer, tematiske studier, monitorerings data (paralleltforløb), litterateur review • Megenconceptuelogevalueringstekniskdiskussionog innovation

5. Evalueringenskomponenter SYNTHESIS • EVALUATION QUESTIONS • 3. Development outcomes • 2. Process and intermediate outcomes • 1. Context DONOR STUDIES COUNTRY STUDIES SUPPLEMENTARY STUDIES PHASE 1 RESULTS and Results of Monitoring Survey

7. Governance Separation af evaluerings funktion fra politisk og management funktion, men med fora og mulighed for interaktion: • Uafhængigt sekretariat • Lille men repræsentativt management team • Core syntese team repræsenterede kulturel diversitet: 8 uafhængige konsulenter, mænd og kvinder, fra Nordamerika, Europa, Asien, Afrika og Latin Amerika • 33 individuelle evaluerings teams for lande studier • International reference gruppe med 52 medlemmer • Individuelle reference grupper for hver lande/donor-evaluering Evaluerings teams’ uafhængighed i centrum

8. Arbejdsprocessen • Virtual team arbejdede gennem skype, e-mail, video konference and sharepointfor at sikre fælles forståelse og adgang til alle dokumenter • Regelmæssig og intens kontakt med lande- og donor- teams i præ-syntese perioden og regelmæssige møder med management og reference gruppen • Mødtes flere gange som team, og lavede fælles workshops med lande teams • Kvalitetssikring bygget ind i processen på flere stadier • ”Emergingfindings workshop” på Bali med 120 personer vigtigt element i kvalitetssikring • Teknisk annex indeholder analyse af evalueringen i forhold til OECD/DAC kvalitets standarder for god evaluering • Michael Quinn Patton’smeta evaluering – førte senere til at Michael nominerede evalueringen til American Evaluation Associations’ Award for Outstandingevaluation

9. Kvalitetssikringafevidens • Evidensi centrum, og en del spørgsmålkrævede en vurderings, sånødvendigt med ensartetgrundlagogmetode (direction of travel, distance traveled, pace of travel) • Alle case studier brugtesammeevalueringsframework for at sikrekomparabilitet • Udviklede standard evaulerings framework, protokoller, data indsamlingmatrixerog templates for rapporterne • Bådekvantitativeogkvalitative data • Trianguleringogbrugafbådeprimæreogsekondærekilder, statistik, surveys, interviews ogandetevaluativtmateriale • Peer review af final products • Brugaf workshops tilkvalitetssikringaf findings

10. Bruger-fokus • Evalueringen var designet og implementeret til at bidrage til et internationalt højniveau møde i Korea; deltagerne og deres bagland var den primære målgruppe • Evalueringsspørgsmålene tog udgangspunkt i konferencens forventede prioritets emner og blev udviklet gennem enrække workshops • Evalueringen var timet så den blev præsenteret ved mødet • Anbefalingerne differentieret I forhold til forskellige målgrupper • Meget omfattende strategi for kommunikation af resultaterne; selve rapporten men også ”afledede produkter” så som policy briefs, powerpoints, film mv. • Ekstensiv brug af forskellige medier, både traditionelle og sociale som videoclips på Youtube, og personlige præsentationer af medlemmer af Core team • Hvert land lavede derudover egen kommunikationsstrategi

11. Process-impact Evalueringens impact gårlangtud over dens findings: • Kapacitetsopbygningafnationaleevalueringsteams • Forstærkelseogforståelseaf Paris Deklarationensprincippergennemundersøgelserog dialog • Opbygningaf et stort, samletogtilgængeligtinformations-katalogomDeklarationen • Lessons learned gennemmetaevalueringoggennem workshop on joint evaluation haranalyseret, deltogdokumenteretdenne impact

12. Ogdetkostede… Ca. 78 millioner DKK “The underlying stakes are huge: better lives for billions of people (reflected in the approaching Millennium Development Goals for 2015); hundreds of billions of dollars expended; vital international relationships; and growing demands to see results from development aid”

13. “Successful evaluation is about much, much more than systematic procedures, rigorous methods, careful analysis, and thoughtful, evidence-based judgments. The personal factor, exemplified in effective leadership, is at the core of evaluation success” Michael Quinn Patton

14. Letters of support • J. Brian Atwood, Chairman, Development Assistance Committee, OECD 2. • Peter Davis, Chief, Evaluation and Aid EffectivenessOfficeof U.S. Foreign Assistance Resources, US Department of State • Cynthia Clapp-Wincek, Director, Office of Learning, Evaluation and Research, Bureau for Policy, Planning and Learning, USAID • Ton Lansink, DirectorEffectiveness and Coherence Department, Policy and Operations Evaluation Department, The Hague • Pius Bigirimana, Permanent Secretary to the Prime Minister, The Republic of Uganda

15. Overvej… Hvor ser I potentiale for anvendelse af goodpractice? Hvad ville der skulle tages højde for i en Dansk sammenhæng?