Graditev k rezultatom usmerjenega sistema monitoringa in evalvacije

1. Graditev k rezultatom usmerjenega sistema monitoringa in evalvacije Aleš Kranjc Kušlan, Ekvilib Inštitut

2. Uvod • Pomembnost k rezultatom usmerjenega M&E • Kaj je KRU M&E • Tradicionalni vs.KRU M&E • 10 korakov k izgradnji KRU M&E sistema Ekvilib inštitut

3. Six Strategic Pillars Civil society participation I m p a c t Non-Formal Education School Building Access for individual children T i m e

4. Ekvilib inštitut

5. ZAKAJ KRU M&E • Vedno večja potreba po racionalizaciji javnega sistema/izdatkov v razvitih državah • Pomemben del reform/izboljšav preko spremljanja rezultatov vladnih ali organizacijskih aktivnosti v časovni premici • Je učinkovito upravljavsko orodje/management tool Ekvilib inštitut

6. Zakaj meriti rezultate • Če ne meriš rezultatov ne veš ali si uspešen ali neuspešen • Če ne zaznaš uspeha, ga ne moreš nagraditi • Če ne uspeš nagraditi uspeha, je velika verjetnost da nagrajuješ neuspeh • Če ne zaznaš uspeha, se ne moreš učiti na njem • Če ne zaznaš neuspeha, ga ne moreš vpeljati izboljšave za njegovo izboljšanje • Če lahko pokažeš rezultate, lahko pričakuješ javno podporo Ekvilib inštitut

7. KRU M&E: • Priskrbi nujne informacije o uspešnosti aktivnosti javnega sektorja • Priskrbi trajnostni vpogled v stanje projekta, programa ali politike • S poročanjem o rezultatih programov/projektov/politik se promovira kredibilnost in javni interes • Pomoč pri načrtovanju in zagovarjanju proračunskih zahtev/postavk • Identifikacija potencialno zanimivih programov ali praks preko pilotnih projektov Ekvilib inštitut

8. KRU M&E:(nadaljevanje) • Pozornost je usmerjena na doseganje učinkov, ki so pomembni za organizacijo in njene deležnike • Prinaša aktualne in stalne povratne informacije izvajalcem • Pomaga določiti ključne cilje in učinke • Pomaga vodjem zaznati in odpravljati pomanjkljivosti • Pomoč razvojnim strategijam za bolj učinkovito in odgovorno izvajanje razvojne pomoči Ekvilib inštitut

9. KRU Monitoring • K rezultatom usmerjen monitoring (krajše “monitoring”) je kontinuiran proces ki zbira in analizira informacije o ključnih kazalnikih in primerja dejanske rezultate z pričakovanimi rezultati Ekvilib inštitut

10. KRU Evalvacija • KRU evalvacija je ocena planiranih, izvajanih ali zaključenih intervencij za določitev njihove relevantnosti, učinkovitosti, uspešnosti, vpliva/učinka in trajnosti Ekvilib inštitut

11. Razlika med KRU monitoringom in KRU evalvacijo • Monitoring: spremlja gibanje indikatorjev proti doseganju specifičnih določenih ciljev • Evalvacija: zajema širši pogled ki je namenjen napredku proti določenim ciljem, samo logiko iniciative/intervencije in njene posledice • OBA sta potrebna za boljše upravljanje politik, programov in projektov Ekvilib inštitut

12. Tradicionalno vložek aktivnost rezultat KRU Kombinira tradicionalno z oceno učinkov in vplivov Omogoča organizaciji spreminjanje in prilagoditev v verigi sprememb in pri procesu implementacije Primerjava Ekvilib inštitut

13. Monitoring Razjasni namen programa Poveže aktivnosti in vire z nameni Pretvori namene v indikatorje napredka in postavi ciljne vrednosti in izhodišča Stalno zbira podatke o indikatorjih ter primerja dejanske rezultate z načrtovanimi Poroča o napredku odgovornim in jih opozarja na probleme Evalvacija  Analizira zakaj so pričakovani rezultati bili ali niso bili doseženi  Ocenjuje posebne naključne vplive aktivnosti na rezultat  Preučuje proces implementacije  Raziskuje nenačrtovane rezultate  Pripravi primere dobre/slabe prakse, izpostavi dosežke in potenciale programa/projekta in predlaga predloge za izboljšave Komplementarnost monitoringa and evalvacije Ekvilib inštitut

14. Kratek uvod v Teorijo/verigo sprememb Ekvilib inštitut Teorija/veriga sprememb je shema/predstavitev kako naj bi projekt, program ali iniciativa pripeljali do določenih učinkov in vplivov. Obenem pa identificira določene predpostavke ki so potrebne ali se lahko pojavijo v procesu sprememb.

15. Postavke verige sprememb Ekvilib inštitut • Vložek – finančni, človeški in materialni • Aktivnosti – izvajanje dejavnosti • Doseženo stanje – produkti in storitve • Učinek – sprememba (delovanja, obnašanja…) • Vpliv– dolgoročen, razsežen napredek v družbi

16. Monitoring implementacije implementacija Monitoring rezultatov rezultat

17. Kako določimo logiko intervencije? Ekvilib inštitut • Veriga “če-potem” izjav • Če zgodiX , potemnaj sledi Y • Ali je nekaj verjetno? Ali lahko aktivnosti in doseženo stanje pripeljejo do želenih rezultatov? • Ali je nekaj izvedljivo? Ali so vložki dovoljšni za izvedbo aktivnosti ?

18. Področje učinka, ki je izven kontrole izvajalca Storitve, ki neposredno dosežejo upravičence Področje ki ga lahko kontrolira izvajalec Vložki aktivnosti Doseženo stanje Učinek(kratko ročno) Učinek(srednje ročno) VPLIV(dolgoročno) Zunanji faktorji Veriga rezultatov Ekvilib inštitut

19. Vložkiaktivnostidosežek ČRNA ŠKATLA UčinekVpliv Potencialni vplivi na rezultate intervencije Politično okolje (Governance, etc.) Politični kontekst Makro ekonomska slika Javnost (usmerjenost, pričakovanja…) Okolje Donatorji Ekvilib inštitut

20. Primer: 1 zmanjšanje smrtnosti otrok z uporabo oralno hidracijske terapije

21. Primer2 :večji pridelek poljščin Z uporabo sodobnega kmetovanja Povečan dohodek družine, večja izobraženost otrok

22. Teorija sprememb vprašanja

23. Teorija sprememb logični okvir Ekvilib inštitut

24. Money Data Hardwaresys. HR: staff + NC + trainers • We have enough financial resources • Data are relevant and reliable • Sys. of distribution established • Fair and transparent NC Training of staff + NC Development of data process tools Identification of eligible beneficiaries Identified eligible beneficiaries Trained staff + NC Functional database Optimal/efficientdistribution of benefits Poverty reduction in urban area • Benefits are used wisely

25. Logični okvir – matrika Ekvilib inštitut

26. Logični okvir – logika intervencije Ekvilib inštitut

27. Indikatorji napredka Spremenljivka, ki zasleduje spremembe pri razvojni intervenciji ali kaže rezultat glede na to kaj je bilo planirano Skupen pokazatelj grozda indikatorjev ki je namenjen prikazu napredka razvojne intervencije/programa

28. 8 Planiranje izboljšanja: Določitev realnih ciljev Jasna Pripravljenost vpeljave M&E Uporaba ugotovitev Izbor ključnih indikatorje za spremljanje učinkov Uporaba rezultatov evalvacije 10 9 2 3 4 5 6 7 1 Trajnost M&E sistema znotraj organizacije Soglasje o učinkih ki se jih spremlja in evalvira Pridobitev izhodiščnih podatkov za indikatorje Poročilo o ugotovitvah Monitoring rezultatov 10 korakov za vpeljavo k rezultatom usmerjen M&E sistem

29. UČINKI • Učinki morajo biti “prevedeni” v skupek ključnih indikatorjev • Jasno postavljeni učinki in iz njih izpeljani indikatorji so bistveni za načtovanaje in izvedbo KRU M&E

30. Ekvilib inštitut 8 Planiranje izboljšanja: Določitev realnih ciljev Jasna Pripravljenost vpeljave M&E Uporaba ugotovitev Izbor ključnih indikatorje za spremljanje učinkov Uporaba rezultatov evalvacije 10 9 2 3 4 5 6 7 1 Trajnost M&E sistema znotraj organizacije Soglasje o učinkih ki se jih spremlja in evalvira Pridobitev izhodiščnih podatkov za indikatorje Poročilo o ugotovitvah Monitoring rezultatov 10 korakov za vpeljavo k rezultatom usmerjen M&E sistem

31. KRU indikatorji • Posebna spremenljivka ki skozi sistematično časovno spremljanje kaže napredek ( ali ne) ki zadanemu učinku ali vplivu • V novih M&E sisteme naj bodo vsi indikatorji numerični • Kvalitativni indikatorji se lahko začno uporabljati kasneje v zrelih M&E sistemih • Indikatorji sprašujejo: Ko opazimo uspeh, kako vemo da je res uspeh? Ekvilib inštitut

32. Razvoj indikatorjev • Jasen • Relevanten (bistven, smiseln, ustrezen) • Ekonomičen • Merljiv Ekvilib inštitut

33. Učinek: Indikatorji: Izhodišče: Cilj: 1. Izboljšana vključenost otrok v predšolsko vzgojo • % upravičenih mestnih otrok ki so vključeni v predšolsko vzgojo • 2. % upravičenih podeželskih otrok vključenih v PŠV 1. 75 % in v mestnem okolju v letu 1999 2. 40 % na podeželju v 2000 Primer načrta za merjenje učinka 1. 85 % v mestnem okolju do 2006 2. 60 % na podeželju do 2006 Ekvilib inštitut

34. Matrika ustvarjanja in uporabe indikatorjev Ekvilib inštitut

35. Evalvacija prinašainfo o: Ekvilib inštitut

36. Več informacij Ekvilib Inštitut – www.ekvilib.org IPDET - International Program for Development Evaluation Training - www.ipdet.org Ekvilib inštitut

37. $20 Conventional Strategic Buying a school uniform to enable one child to go to school in Kenya Supporting two children to go to speak to the national parliament in Kenya, as part of the Global Action Week -leading to the Minister writing to 17,800 primary schools saying lack of a uniform shouldnot prevent access to schooling

38. $200 Strategic Conventional Buying some textbooks and teaching materials for one school in Northern Nigeria Forming School Management Committees in 40 schools in Northern Nigeria – and documenting the difference this makes to school performance – leading to a change in federal government policy mandating the formation of SMCs in all Nigerian schools.

39. $2,000 Strategic Conventional National organisation in Tanzania, Maarifa did research on why children were unable to go to school. It showed that user fees were the problem. A campaign to abolish user-fees led toan extra 1 million children enrolling thenext year Building an extra classroom in Tanzania benefiting about 100 children

40. $20,000 Strategic Conventional Training community audit groups in districts across Bangladesh to monitor whether the education budget arrives in practice at school level and is used appropriately. This has improved the performance of government schools reaching millions of children. Opening a Non Formal Education Centre for two years in Bangladesh reaching 100 poor children who do not have access to schooling

41. $200,000 Conventional Strategic Building a broad national alliance, The Pakistan Coalition for Education, to help make education a top national priority … securing an increase in the government budget to education from 2% to 4% of GDP Re-building a primary school in Pakistan following the earthquake