Rapporteren over Resultaten

1. Rapporteren over Resultaten Jaarvergadering CBF December 2012 Prof. dr. Ruerd Ruben Directeur Inspectie Ontwikkelingssamenwerking & Beleidsevaluatie (IOB)

2. Verantwoording van Resultaten • CBF : ‘weet waarvoor je geeft’ – Zo zorgt het CBF ervoor …. dat we erop kunnen vertrouwen dat goede doelen verstandig (met de giften) omgaan. • Legitimiteit en Vertrouwen - van ‘rechtmatigheid’ naar ‘doelmatigheid’ + ‘doeltreffendheid’ • Evalueren = Systematisch verzamelen, interpreteren en presenteren van informatie teneinde de waarde van een programma te bepalen. 2

3. 5 belangrijke lessen • Effectiviteit is een noodzakelijke voorwaarde voor maatschappelijk vertrouwen • Programma’s worden beoordeeld op ‘value for money’ • Evaluatie begint bij de start van het programma • Impactmeting kan in bijna elk project • Evaluatie is een investering, geen ‘overhead’ 3

4. Over IOB • Mandaat & Werkwijze • Beoordeling van de beleidseffectiviteit • Leren van ervaringen • Verbeteren ‘evidence-based’ beleidsvoering Verantwoording afleggen aan Parlement, Publiek en Samenleving Bijdragen aan Transparantie & Vertrouwen 4

5. Context: Afnemend vertrouwen (2005-2011) Consumenten vertrouwen Donateurs vertrouwen 5

6. Reputatie & Vertrouwen Tell me” “Show me” “Showme” “Tell me” “Trust me” “Trust me” Inzicht in effectiviteit is een noodzakelijke (maar niet voldoende) voorwaarde voor maatschappelijk vertrouwen

7. B&M Gates Foundation: ‘Innovation with Impact’ 7

8. Informatie over goede doelen 8

9. Leren van fouten 9

10. Effectiviteit = Value for Money • Zinvolle resultaten (‘meaningful results’) • Netto effecten (bijdrage van het project) • Kosten-effectiviteit (efficiency) • Attributie/Contributie • Additionaliteit • Zakelijkheid

11. Kosten van evaluatie: max 1-2 %

12. Quality at Entry (Q@E) • Heldere resultaatketen • Haalbare doelen • Meetbare indicatoren • Zicht op risico’s • Eerlijke Kosten/baten 12

13. Van Input naar Impact Outreach = aantal clienten

14. Robuuste impactmeting Doel • Impact meting = vergelijking van: • voor/na interventie (over de tijd) • met/zonder interventie (counterfactual) • Verschillende methoden beschikbaar • (e.g. story harvesting, outcome mapping, SROI, etc) • (Zie: NONIE Guidelines ; 3ie) met zonder T=0 T=1 Tijd

15. Difference – in – Difference

16. Lessen uit Impact evaluaties (1) Impact meting: ● Meting van Waterkwaliteit ● Interactie Water-Sanitatie ● Infrastructuur + Gedrag Geleerde Lessen: ● Output is o.k. ● Impact verdwijnt ● Integraal beheer nodig ● Samenwerking meerdere partners E-coli in rurale waterbronnen (Benin) – bron: IOB 16

17. Lessen uit Impact evaluaties (2) Impact meting: ● Meting van schoolresultaten ● Kosteneffectiviteit ● Verschillende investeringsopties Geleerde Lessen: ● Genoeg schoolgebouwen ● Tekort aan leermiddelen ● Voldoende leraren ● Gebrekkige aanwezigheid docenten Effecten van onderwijsinvesteringen (Oeganda) – bron: IOB 17

18. Keuze van methoden Story harvesting Outcome mapping Robuuste Impact studies Experimenten (RCTs/Real-time evaluation) Systematische Reviews (Campbell protocol) Thematische studies (Kritische succes factoren)

19. Experimenten (RCTs) ● Nadruk op (kleinschalige) experimenten ● A-selecte keuze van deelnemers ● Uitzoeken ‘wat werkt’ ● Geen selectie-effecten ● Toepassingen: trainingen schooldeelname individuele/groepsleningen

20. ‘Results-based’ financiering • Gebaseerd op achteraf betaling (cash on delivery) • Voor/mede-financiering door clienten • Combinatie van lening & schenking • Onafhankelijke verificatie / transparantie • Lokale uitvoerings verantwoordelijkheid • Toepassingen in onderwijs, wegenonderhoud, drinkwater, ed.

21. Frontloading: resultaten naar voren halen

22. Evaluatie hulpmiddelen 22

23. Belangrijkste Uitdagingen Onafhankelijkheid van de Evaluatiefunctie Focus op Evalueerbaarheid (Q@E) Deelname van lokale partners (RCTs) Open datasystemen (bv. Ngo-database.nl; Kennisbank filantropie.nl) Openheid over Successen én Mislukkingen Uitzicht bieden op duurzame netto effecten

24. Veel succes gewenst …