Jarosław Górniak Uniwersytet Jagielloński

1. Ewaluacja jako czynnik doskonalenia zarządzania strategicznego w administracji publicznej: projekt SAPER Jarosław Górniak Uniwersytet Jagielloński

2. Co to jest ewaluacja? Przedsięwzięcie zmierzające do określenia w oparciu o właściwie zgromadzone i przetworzone informacje, w jakim stopniu interwencja publiczna spełnia ustalone kryteria, w tym w szczególności: w jakim stopniu osiągnęła cele dla których została podjęta i jakie są relacje pomiędzy nakładami i działaniami a wynikami tej interwencji

3. Funkcje ewaluacji • funkcja rozliczenia i egzekwowania odpowiedzialności • funkcja poznawczą • funkcja stymulowania usprawnień i rozwoju organizacyjnego

4. Funkcja rozliczeniowa – pomiar wyników • Ewaluacja wymaga dobrego pomiaru wyników • Bez dobrego pomiaru wyników interwencji nie da się doprowadzić do tego, by publiczne środki były wydawane skutecznie i odpowiedzialnie • Wskaźniki są źle używane w praktyce programowania, monitoringu i ewaluacji projektów i programów publicznych w Polsce • Punktem wyjścia do dobrego systemu wskaźników jest jasne zdefiniowanie celów do których się zmierza • Dobrze zdefiniowane i zoperacjonalizowane cele strategii, programów i projektów są warunkiem przeprowadzenia sensownej ewaluacji • Kluczowe cechy dobrych wskaźników: • Wskaźnik powinien identyfikować istotę problemu oraz mieć jasną i normatywnie akceptowalną interpretację; • Wskaźnik powinien być reprezentatywny i statystycznie wiarygodny; • Wskaźnik powinien reagować na interwencje lecz nie podlegać manipulacji

5. Funkcja poznawcza ewaluacji • Zrozumienie związków przyczynowych pomiędzy działaniami a wynikami jest warunkiem skutecznej implementacji interwencji publicznych • Jednym z kluczowych zadań ewaluacji jest ustalenie związków przyczynowo-skutkowych pomiędzy podejmowanymi interwencjami, a efektami społecznymi • Po to, by ewaluacja mogła dobrze realizować swoją funkcję poznawczą konieczne jest zbudowanie zaplecza meta-ewaluacyjnego administracji publicznej • Przez meta-ewaluację rozumie się: • gromadzenie, analizowanie i syntezę wiedzy zawartej w wynikach większej liczby pokrewnych ewaluacji, jak i • „ewaluację ewaluacji”, czyli weryfikację jakości przeprowadzonych ewaluacji z punktu widzenia przyjętych standardów profesjonalnych i wymogów metodologicznych

6. Funkcja rozwojowa • Dobra metodycznie ewaluacja prowadzi z czasem – za pośrednictwem meta-ewaluacji – do zgromadzenia bazy wiedzy o zależnościach przyczynowo-skutkowych i dobrych praktykach • Ewaluacja ułatwia programowanie i wdrażanie polityk publicznych • Jednostki organizacyjne odpowiedzialne za meta-ewaluacje powinny być także zaangażowane w upowszechnianie standardów metodologicznych ewaluacji

7. System Analizy Polityk i Ewaluacji Regionalnej (SAPER) • Potrzeba zbudowania potencjału meta-ewaluacyjnego na poziomie województwa – docelowo|: powstanie jednostki meta-ewaluacyjnej • zdolność do oceny samych ewaluacji, ich poprawności metodologicznej i zgodności z przyjętymi zasadami; • zdolność do analizy i syntezy wyników ewaluacji i przekształcania ich w przesłanki dla programowania w następnych okresach; • zdolność do wspierania metodycznego innych jednostek samorządowych w regionie • SAPER jako pilotaż bardziej uniwersalnych rozwiązań • Powiązanie z procesem tworzenia i wdrażania wojewódzkiej strategii rozwoju • Integralnym elementem projektu SAPER jest zbudowanie systemu wskaźników służących pomiarowi efektów polityk publicznych na szczeblu regionalnym • Przykład: projekt badań nad systemem wskaźników społecznych w zakresie rynku pracy i wykluczenia społecznego w województwie małopolskim • Docelowo należy dążyć do powołania w województwie małopolskim jednostki administracyjno-eksperckiej dedykowanej meta-ewaluacji

8. Wnioski • Pomiar wyników jest warunkiem koniecznym, choć niewystarczającym, dobrej ewaluacji • Badania ewaluacyjne powinny korzystać z wielu podejść metodologicznych i zmierzać do ustalenia lub zweryfikowania związków przyczynowych w obszarze analizowanej interwencji • Po to, by poziom badań ewaluacyjnych się podnosił, niezbędne jest egzekwowanie wysokiego ich standardu przez jednostki zlecające i odbierające wyniki ewaluacji • Aby umożliwić przekształcanie wyników ewaluacji w wiedzę użyteczną w projektowaniu polityk publicznych i podejmowaniu decyzji wdrożeniowych, trzeba zbudować w administracji publicznej potencjał meta-ewaluacyjny • SAPER jest pomysłem na zbudowanie zdolności do meta-ewaluacji na poziomie regionalnym, z możliwością uogólnienia doświadczeń i dobrych praktyk

9. “Małopolski system analiz i programowania polityk rynku pracy” Zintegrowany Program Operacyjny Rozwoju Regionalnego na lata 2004 – 2006 Działanie 2.1 Rozwój umiejętności powiązany z potrzebami regionalnego rynku pracy i możliwości kształcenia ustawicznego w regionie (Badania i analizy)

10. Uzasadnienie realizacji projektu • Rozwój metodologii programowania, monitoringu i ewaluacji programów regionalnych • Wsparcie metodyczne i analityczne dla operacjonalizacji celów Strategii Rozwoju Województwa Małopolskiego • Wprowadzenie do ewaluacji programów i projektów w zakresie rynku pracy i reintegracji społecznej wysokich standardów pomiaru wpływu tych interwencji • Porównywalność wskaźników regionalnych w skali międzynarodowej • Przezwyciężenie problemów z wykorzystaniem wskaźników w zarządzaniu programami rynku pracy i reintegracji społecznej • Brak dostosowania wskaźników wykorzystywanych w UE do warunków polskich • Trudności w porównywaniu istniejących wskaźników, • Trudności w dotarciu do danych potrzebnych do budowy wskaźników, • Brak ogólnodostępnej bazy wskaźników, • Brak ujednoliconej „społecznej definicji” wskaźników”.

11. Wymagania wobec wskaźników: Powinny: • identyfikować istotę problemu i mieć jasną, akceptowalną interpretację; • być możliwie odporne na arbitralne założenia i uzasadniony statystycznie; • być wrażliwe na skutki polityki społecznej, jednakże nie może podlegać manipulacji; • być porównywalne pomiędzy krajami członkowskimi UE oraz porównywalny, w miarę możliwości, ze standardami stosowanymi przez ONZ i OECD; • być aktualne i możliwe do modyfikacji; • obliczenie wskaźnika nie powinno nakładać zbyt dużych obciążeń na kraje członkowskie, na przedsiębiorstwa ani na obywateli Unii.

12. Rodzaj oraz charakter realizowanych badań • Konceptualizacja i analiza danych zastanych (katalog dobrych praktyk) • Przygotowanie narzędzi badawczych (foresight, pretesty, pilotaż) • Badanie sondażowe gospodarstw domowych • Badanie jakościowe znaczenia społecznego wskaźników • Walidacja portfela wskaźników i opracowanie koncepcji jego stosowania w analizie regionalnych polityk publicznych

13. Najważniejsze produkty projektu • Katalog dobrych praktyk w zakresie monitorowania i analizy rynku pracy i wykluczenia społecznego • Diagnoza województwa małopolskiego w zakresie sytuacji na rynku pracy i wykluczenia społecznego • System wskaźników dla potrzeb regionalnej polityki rynku pracy i reintegracji społecznej • Założenia regionalnego systemu monitoringu rynku pracy i wykluczenia społecznego

14. AE-MSAP • Koordynacja projektu, • Zarządzanie finansowe projektem • Monitorowanie i ewaluacja realizacji projektu • Interpretacja wyników badań w części dotyczącej problematyki rynku pracy • Gromadzenie danych do projektu • Udział w Zespole zarządzającym • Udział w promocji projektu • Udział w organizacji seminariów i konferencji

15. UJ • Koordynacja części merytorycznej projektu • Opracowanie teoretycznej koncepcji projektu i założeń metodologicznych • Udział w przeprowadzaniu badań do projektu • Budowa wskaźników do projektu • Konstrukcja narzędzi badawczych • Analiza danych z badań • Interpretacja wyników badań • Redakcja naukowa opracowań • Udział w Zespole zarządzającym • Udział w promocji projektu • Udział w organizacji seminariów i konferencji

16. WUP • Udział przy budowie teoretycznych wskaźników do projektu • Analiza zjawiska wykluczenia społecznego • Udostępnianie istniejących danych dotyczących regionalnego rynku pracy • Udział w Zespole zarządzającym

17. WUS w Krakowie • Dostarczanie danych liczbowych na temat regionalnego rynku pracy • Przeprowadzanie badań dotyczących aktywności na regionalnym rynku pracy i wykluczenia społecznego • Przeprowadzanie badań statystycznych przewidzianych w harmonogramie projektu • Udział w Zespole zarządzającym