Rol a systemów M&E w Budżecie Zadaniowym : Dobre praktyki i lekcje wyciągnięte z doświadczeń

1. V Doroczna Konferencja Ewaluacyjna Rolasystemów M&E w Budżecie Zadaniowym: Dobre praktyki i lekcje wyciągnięte z doświadczeń Warszawa, Październik 2009

2. Przegląd • Co rozumiemy przez M&E iBZ • Kontekst strategiczny dla M&E iBudżetu Zadaniowego • Rolasystemów M&E na poziomie krajowym w Budżecie Zadaniowym • Przykłady krajów stosujących dobre praktyki (Meksyk, Chile, Wielka Brytania) • Lekcje z międzynarodowych doświadczeń

3. Przegląd • Co rozumiemy przez M&E i BZ • Kontekst strategiczny dla M&E i Budżetu Zadaniowego • Rola systemów M&E na poziomie krajowym w Budżecie Zadaniowym • Przykłady krajów stosujących dobre praktyki (Meksyk, Chile, Wielka Brytania) • Lekcje z międzynarodowych doświadczeń

4. Czym jest M&E? Ew. Oddziaływania “EO” Monitoring “M” Ewaluacja “E” Wysiłki analityczne by powiązać przyczynę i skutek. Ustalenie co by się stało gdyby nie dokonano interwencji Wysiłki analityczne by odpowiedzieć na konkretne pytania dotyczące wyników programu/działań Regularne monitorowanie wskaźników w celu ustalenia czy planowane cele zostały osiągnięte Każde narzędzie ma atuty, koszta i ograniczenia

5. Czym jest budżet zadaniowy? • “Formabudżetu, która wiąże przydzielone środki z mierzalnymi wynikami” (OECD, 2005a) • 3 różne sposoby

6. Przegląd • Co rozumiemy przez M&E i BZ • Kontekst strategiczny dla M&E i Budżetu Zadaniowego • Rola systemów M&E na poziomie krajowym w Budżecie Zadaniowym • Przykłady krajów stosujących dobre praktyki (Meksyk, Chile, Wielka Brytania) • Lekcje z międzynarodowych doświadczeń

7. Nie ma prostej/bezpośredniej relacji między wydatkowaniem a rezultatami • Podobne wzrosty wydatków publicznych mogą być powiązane z zupełnie różnymi wynikami… Wydatki publiczne na edukację (w dolarach) Ukończenie szkoły podstawowej (w procentach) Wydatki publiczne na ochronę zdrowia (w dolarach) Śmiertelność dzieci poniżej 5 lat (na tysiąc) Dane o wydatkach w latach 90-tych z bazy danych Wskaźników Rozwoju Światowego.Dane o śmiertelności dzieci z Unicef z 2002 r. Pozostałe dane z Banku Światowego. Dane o ukończeniu szkół z Bruns, Mingat i Rakatomalala z 2003 r. Większe wydatki niekoniecznie oznaczają lepsze wyniki

8. Nie ma prostej/bezpośredniej relacji od wskaźników wzrostu do rezultatów • Tanzania i Bangladeszmaą podobne PKB na jednego mieszkańca, ale średnią długość życia odpowiednio 55 i 65 lat. • Dochód na jednego mieszkańca na Filipinach w 2006 r. był wyższy niż w Mołdawii, ale wskaźnik śmiertelności matek w Mołdawii wynosił 16 w stosunku do 162 na 100 000 urodzeń na Filipinach. • Mimo zadziwiającego wzrostu ekonomicznego, wskaźnik śmiertelności matek w Indiach pogorszył się i jest sześć razy gorszy niż w Chinach i 14 razy gorszy niż w Chile. Wyższy wzrost ekonomiczny może maskowaćróżnice w ważnych rezultatach rozwoju.

9. Urzędnicy budżetowi i twórcy polityki muszą odpowiedzieć pytania będące wyzwaniami

10. M&E mogą być powiązane z lepszymi wynikami projektów (pomoc z ulepszonym zarządzaniem) • 80 - 90% projektów WB ocenionych wysoko lub znacząco w M&E została oceniona zadowalająco lub lepiej w odniesieniu do ich wyników • Te z nieistotnymi ocenami zostały ocenione zadowalająco tylko w 32% przypadków Wysoce Niezadowalające Niezadowalające Umiarkowanie Niezadowalające Umiarkowanie Zadowalające Zadowalające Wysoce Zadowalające Wysoko Znacząco Umiarkowanie Nieistotne

11. Przegląd • Co rozumiemy przez M&E i BZ • Kontekst strategiczny dla M&E i Budżetu Zadaniowego • Rola systemów M&E na poziomie krajowym w Budżecie Zadaniowym • Przykłady krajów stosujących dobre praktyki (Meksyk, Wielka Brytania) • Lekcje z międzynarodowych doświadczeń

12. Główne czynniki • Wyniki działań ewaluacyjnych, Budżet zadaniowy wiąże wyniki z finansowaniem. • BZ wymaga stałej informacji o efektywności by pozostać zrównoważonym i odpowiednim: • Ale… muszą zostać spełnione wielorakie wymagania • Przejrzystalogika programu/ łańcuchy wyników • Terminowe i dobrej jakości dane • Dobrewskaźnikiicele • Solidnemetodyinarzędzia • Dobrej jakościstandardyiprocedury • Mechanizmyzapewniające zastosowanie i oddziaływanie

13. Często brakuje właściwego rodzaju informacji • Sprzeczne żądania PI, niewłaściwe zachęty i słabe możliwości M&E często prowadzą do - Braku jasności dotyczącego roli PI w budżecie - Powielania i nadmiernego wydatkowania - Niestandardowych metod i narzędzi (ograniczenia i mocne strony) - Niskiej jakości i rzadkiego wykorzystania

14. Systemy M&E pomagają rozwiązać problemy z informacjami o wydajności • Zapewnieniedostarczaniadanych o wydajności (rejestrów, statystyk, zbilansowanych danych M&E itp.) • Stymulowaniepopytu, (zastosowanie w polityce, przejrzystość, odpowiedzialność itp.) • Zagwarantowaniejakościiwiarygodnościdanych (solidne metodologie, standardy) • Ale także zwiększony dostęp do PI (zintegrowane systemy IT, raporty itp.).

15. Systemy M&E na poziomie kraju są potężnymi narzędziami budżetowymi • Ułatwienie zmiany budżetu z zarządzania tradycyjnego (wprowadzenie/ opartego na działaniu)do zarządzania wydajnością (wydajność/opartego na wynikach) • Podkreślenie efektywnej alokacji środków dla planowania i dla budżetu • Pomoc krajom w ocenie jeśli wykorzystują niewystarczające środki niskim kosztem • Odpowiadanie przed wybranymi urzędnikami i publicznym wymogiem odpowiedzialności w budżecie • Zwiększeni zapotrzebowania na menadżerów w sektorze publicznym • Podkreślenie wiedzy i kształcenia przy ulepszaniu procesu decyzyjnego dotyczącego budżetu

16. Podsumowanie związku M&E i BZ • Budżet Zadaniowy jest niemożliwy bez systematycznej i dobrej jakości informacji M&E. • Nie ma efektywnego M&E bez związków z procesem budżetowym • Rozwój BZ i M&E muszą być ze sobą powiązane

17. Przegląd • Co rozumiemy przez M&E i BZ • Kontekst strategiczny dla M&E i Budżetu Zadaniowego • Rola systemów M&E na poziomie krajowym w Budżecie Zadaniowym • Dobre praktyki przykłady krajów • Lekcje z międzynarodowych doświadczeń

18. Wielka Brytania: System Porozumień Służby Publicznej (System PSA) • Główne cechy konstrukcji: • - Jednostki Strategiczne (PMSU) i Dostawcze wysokiego poziomu (PMDU) • - Ministerialne porozumienia publiczne dotyczące dostarczanych usług • - Cele, wskaźniki i menadżerowie dla każdego porozumienia o dostawie • - Ministerialna Rada Wykonawcza PSA (przewodniczą jej menadżerowie) • - Regularny monitoringwyników (PMDU, Gabinet) • - Typy ewaluacji dif (weryfikacja wydatków, program, oddziaływanie, audyty) • - Publicznerozpowszechnianie strategiiiporozumień • Główny uczestnik Skarbu Państwa. (PMSU) i (PMDU) bezpośrednioinformują na bieżąco Premiera.

19. Wielka Brytania: System Porozumień Służby Publicznej • Atuty • „Wyjaśnia co departamenty planują dostarczyć w zamian za… istotne dodatkowe inwestycje” • „[Wyznacza] wymagające cele narodowe” (Standardy kr.) • Liczne agencje ale wytyczne Skarbu Państwa umożliwiają koordynację • Wysoce wiarygodne ewaluacje (zakontraktowane zewnętrznie) • „[Odzwierciedla] główne priorytety Rządu i [skupia się] na wynikach najważniejszych dla opinii publicznej” • Powołuje odpowiedzialnych „menadżerów” dla każdego PS • Przewodnia rola Skarbu Państwa i biura Premiera

20. Meksyk: System Ewaluacji Wyników – SED • Główne cechy struktury: • - Niezależna Jednostka Ewaluacyjna: rada CONEVAL złożona z naukowców • - Pojedyncze Federalne Wytyczne dotyczące Ewaluacji • - „Ramy Logiczne” i standardy dla wszystkich Programów F. • - 258 wskaźników wyników (opartych na wydajności i rezultatach) • - 6 metod ewaluacji: Oddziaływanie, spójność, wskaźniki, proces, projekt, wyniki • - Roczny Plan Ewaluacji (Ponad 100 rocznie). • MF jest „mistrzem” systemu wraz z aktywnym wsparciem i udziałem Biura Prezydenta.

21. Meksyk: System Ewaluacji Wyników – SED • Atuty • Model CONEVAL dodaje wiarygodności • Zakontraktowanie zewnętrznych ewaluacji (rynek ewaluacji) • Poprawa jakości, regularności, i terminowościprac ewaluacyjnych • - Promocja rozwoju możliwości • Wyjątkowy schemat mierzenia ubóstwa jest częścią systemu • Solidne i wiarygodne ewaluacje, wzmocnienie monitoringu • Wszystkie ewaluacje zgłaszane do Kongresu(wraz z istotną inicjatywą budżetową) • Duża rola MF i Prezydenta zwiększa zastosowanie • Aktywna rola Ministerstw i agencji w definiowaniu planu ewaluacji

22. Chile: System Kontroli Zarządzania • Główne cechy struktury: • -Analizy ex ante wydajności kosztów dla programów inwestycyjnych • - 1,550 wskaźników wydajności dla wszystkich programów rządowych (2006) • -„Ewaluacje Programów”: przegląd dokumentacji ram logicznych (14 razy do roku) • -Rygorystyczne ewaluacje oddziaływania (4 razy do roku) • -Kompleksowe Przeglądy Wydatków: wybrane programy (2-5 razy do roku) • -Programy poprawy zarządzania agencjami powiązane z płatnościami dla personelu • MF (Dyrekcja Budżetu) zaprojektowało i stosuje system. Kongres nie ma inicjatywy wydatkowania.

23. Chile: System Kontroli Zarządzania • Atuty • Informacje dotyczące wydajności są używane do zidentyfikowania potrzeb ewaluacji • Ewaluacje przeprowadzane zewnętrznie, w pełni przejrzyste i wysoce wiarygodne • Wszelki ustalenia M&E ogłaszane publicznie i przekazywane do Kongresu • System M&E ściśle powiązany z potrzebami MF dotyczącymi informacji budżetowych • Informacje o wynikach służą wyznaczaniu celów dla ministerstw –osiąganych w dużym stopniu • MF ściśle monitoruje zakres stosowania i ewaluacji ustaleń

24. Przegląd • Co rozumiemy przez M&E i BZ • Kontekst strategiczny dla M&E i Budżetu Zadaniowego • Rola systemów M&E na poziomie krajowym w Budżecie Zadaniowym • Dobre praktyki przykłady krajów • Lekcje z międzynarodowych doświadczeń

25. Główne zagrożenia i trudności • Niewystarczające planowanie budżetu – Brak technicznej definicji celów i wskaźników programu • Słaby projekt systemu, niejasne ustalenia instytucjonalne • - Jak dużo “M” & “E” jest wystarczająco? , kto planuje, wykonuje i korzysta z ewaluacji? • - Własne czy niezależne ewaluacje? • - Kto finansuje system? (a) zarezerwowane środki budżetowe?; (b) koszty „ponoszone” przez ministerstwa? Jak wiąże się to z budżetem? • Po stronie podaży: wiele zastrzeżeń, konkurencyjność, nieskoordynowane systemy • Po stronie popytu: „sztywność” budżetu, zachęty są kluczem do osiągnięcia wykorzystania • Niskie możliwości personelu (potrzeba menadżerów PS)

26. Brak istotnych warunków wstępnych ale czynniki „Sukcesu” zawierają • Wysokie zaangażowanie Rządu w jakość wydatków publicznych • Mocny „lider” kierowany centralnie przez Ministerstwo Finansów • Zwracanie uwagi zarówno na popyt jak i na podaż • Zrównoważone stałe wysiłki • Stopniowanie w celu zapewnienia asymilacji • „Szybkie zyski” by uniknąć kosztów zbyt nieśmiałej realizacji • Unikanie złożonych systemów (zachowanie prostoty)

27. Przydatne materiały Keith Mackay, How to Build M&E Systems for Better Government, World Bank, 2007.http://www.worldbank.org/ieg/ecd/better_government.html Ernesto May et al. (eds.),Towards the Institutionalization of Monitoring and Evaluation Systems in Latin America and the Caribbean, World Bank, 2006. http://web.worldbank.org/WBSITE/EXTERNAL/COUNTRIES/LACEXT/0,,contentMDK:20893139~pagePK:146736~piPK:146830~theSitePK:258554,00.html Manuel F. Castro, Insider Insights: Building a Results-Based Management and Evaluation System in Colombia. World Bank, 2008. http://www.worldbank.org/ieg/ecd/docs/ecd_wp_18.pdf Gonzalo Hernandez Licona, The Role of Evaluation in Mexico: Achievements, Challenges and Opportunities. Quality of Public Expenditure. Note No. 2. World bank, 2008. http://siteresources.worldbank.org/MEXICOEXTN/Resources/MXNewsletter-QualityofPubExpenditure-No2.pdf

28. Przydatne materiały Teresa Curristine, Performance Information in the Budget Process: Results of the OECD 2005 Questionnaire, in OECD Journal on Budgeting, 2005 5(2),pp.87-131. http://www.oecd.org/document/38/0,3343,en_2649_34119_39921702_1_1_1_1,00.html OECD, Performance Budgeting in OECD Countries, OECD, 2007. http://www.oecd.org/document/38/0,3343,en_2649_37405_39921702_1_1_1_37405,00.html#B2 Independent Evaluation Group, M&E Tools, Methods and Approaches, World Bank, 2004. http://www.worldbank.org/ieg/ecd/me_tools_and_approaches.html Independent Evaluation Group, Influential Evaluations: Evaluations that Improved Performance and Impacts of Development Programs, World Bank, 2004.http://www.worldbank.org/ieg/ecd/influential_evaluations.html World Bank website on Building Government M&E Systems: www.worldbank.org/ieg/ecd/