Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym

1. Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym opracowanie: Agnieszka Haber prowadzący: Agnieszka Haber Maciej Szałaj 30 października 2008 Wrocław

2. Ewaluacja – podstawowe pojęcia Proces ewaluacji Raport ewaluacyjny Wykorzystanie wyników ewaluacji zakres szkolenia

3. część Ipojęcia podstawowe

4. Ewaluacja to..... Proces zmierzający do stwierdzenia w jakim stopniu założone cele są rzeczywiście realizowane (R.W. Tyler; Basic Principles of Curriculum and Instruction) Proces określenia charakteru, uzyskiwaniu i dostarczaniu takich informacji, które pozwoliłyby na ocenę alternatywnych decyzji (D.L. Stufflebeam; Educational Evaluation: Theory and Practice) Wnikliwe badanie charakterystykii zalet ewaluowanego programu (…) dostarczenie informacji na temat efektywności badanego obiektu, tak by zoptymalizować jego wyniki, jakość i sprawność działania. (A. Fink "Evaluation for Education and Psychology") Systematyczne badanie wartości, zalet ewaluo-wanego programu (Joint Committee on Standards for Educational Evaluation)

5. Ewaluacja – definicja UE / KE Rozporządzenie Rady Unii Europejskiej nr 1083 z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne dotyczące EFRR, EFS oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999: Oceny mają na celu poprawę jakości, skuteczności i spójności pomocy publicznej funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoznacznym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko. 1083/2006/WE Art. 47 ust. 1 Definicja ewaluacji wg. Komisji Europejskiej: Ocena interwencji według jej rezultatów, oddziaływania oraz potrzeb, które ma/miała spełnić. KE 2000, KE 2004

6. Pojęcia pokrewne Audyt - sprawdzenie zgodności wykorzystania zasobów (głównie finansowych) z obowiązującymi przepisami prawnymi oraz określonymi standardami np. dotyczącymi zarządzania wykorzystaniem pomocy. Kontrola - porównuje stan faktyczny ze stanem wymaganym, może mieć charakter wycinkowy i dotyczyć jednego z aspektów funkcjonowania instytucji. Monitorowanie – proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażania projektów i całego programu w aspekcie finansowym i rzeczowym, ma na celu zapewnienie zgodności realizacji programu z wcześniej zatwierdzonymi założeniami i celami.

7. Kontrola-monitoring-ewaluacja

8. Pojęcia pokrewneewaluacja – monitoring – audyt różnice: zakres badania moment badania ramy badania sposób realizacji podmioty realizujące konsekwencje badania

9. Funkcje ewaluacji Formatywna – zapewnienie postępu – funkcja stymulowania usprawnień i rozwoju organizacyjnego Konkluzywna – selekcja lub sprawozdawczość – funkcja rozliczenia i egzekwowania odpowiedzialności Społeczno-polityczna – kształtowanie motywacji i uzyskanie poparcia społecznego Administracyjna – sprawowanie władzy http://www.ssc.govt.nz

10. Zastosowania wspomaganie procesu podejmowania decyzji / planowanie, poprawa wdrażania i kontrola jakości / podniesienie skuteczności i efektywności działań identyfikacja słabych i mocnych stron wskazanie kierunków rozwoju sygnalizowanie pojawiających się problemów oszacowanie możliwości i ograniczeń określanie stopnia zgodności z przyjętymi założeniami badanie potrzeb zwiększanie profesjonalizmu świadczonych usług demokratyzacja procesu zarządzania element uczenia się i samodoskonalenia

11. Klasyfikacja ewaluacji

12. Klasyfikacja ewaluacji 1. przedmiot „Ocena ex-ante SPO Rybołówstwo i Przetwórstwo Ryb 2004-2006” „Ocena procesu zarządzania projektami z zakresu infrastruktury transportowej w kontekście realizacji NPR-u” „Analiza problemów związanych z realizacją projektów infrastrukturalnych realizowanych w ramach ZPORR wynikających ze zmieniającej się stytuacji na rynku”

13. Klasyfikacja ewaluacji 2. Cel przeprowadzania ewaluacji CELE EWALUACJI: poznawczy – zdobycie wiedzy na temat zasad funkcjonowania programów instrumentalny – wykorzystanie wyników oceny do podejmowania decyzji kontrolny – wykorzystanie wyników oceny do kontroli programu – sprawowania władzy EWALUACJA: FORMATYWNA ulepszanie programu i zapewnienie postępu KONKLUZYWNA sprawozdawczość lub selekcja (kontynuacja lub zaniechanie dalszej edycji programu)

14. Klasyfikacja ewaluacji 3. kryterium wykonawcy

15. Klasyfikacja ewaluacji 4. Termin przeprowadzania ewaluacji ex – ante – ocena szacunkowa przed rozpoczęciem programu mid – term – ocena w połowie realizacji programu ex – post – ocena pełna po zakończeniu programu on-going – ocena uzupełniająca, bieżąca

16. Ewaluacja ex-ante Przeprowadzana przed wdrażaniem programu. Ocenia na ile planowana interwencja jest trafna z punktu widzenia potrzeb (sektora, beneficjentów) oraz spójna w zakresie planowanych celów i sposobów ich realizacji. Bada kontekst społeczny, gospodarczy, prawny. Służy identyfikacji potencjalnych trudności. Diagnozuje potrzeby i oczekiwania docelowej grupy odbiorców.

17. Ewaluacja on-going Przeprowadzana w trakcie realizacji programu. Służy identyfikacji aktualnych trudności realizacji przedsięwzięciabądź ich kontekstu. Stanowi cenne źródło informacji użytecznych przy rozwiązywaniu aktualnych, bądź potencjalnych problemów. Może przyczynić się do szybkiej reakcji na pojawiające się problemy i bieżących modyfikacji realizacji interwencji. Daje możliwość bieżącej analizy pojawiających się efektów programu.

18. Ewaluacja mid-term Realizowana jest w połowie wdrażania interwencji. Poddaje analizie osiągnięte na tym etapie produkty i rezultaty. Dokonuje pierwszej oceny jakości realizacji programu. Ocenia poczynione na etapie programowania założenia (cele, wskaźniki). Diagnozuje kontekst realizacji przedsięwzięcia. Może przyczynić się do pewnych modyfikacji realizacji interwencji oraz aktualizacji przyjętych założeń.

19. Ewaluacja ex-post Przeprowadzana po zakończeniu realizacji programu. Bada długotrwałe efekty (oddziaływanie) programu oraz ich trwałość. Ocenia skuteczność i efektywność interwencji oraz jej trafność i użyteczność. Ocenia na ile udało się osiągnąć założone cele. Stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji.

20. Ramy badania ewaluacyjnego

22. Logika programów UE Oddziaływanie / Wpływ (efekty w długim okresie) Potrzeby Rezultaty (Bezpośrednie i natychmiastowe) Produkty / Wyniki (Stworzone dobra i usługi) Nakłady / Wkład (Zasoby) Działania Programu Cele Źródło: opracowanie K. Olejniczak na podstawieopracowanie własne na podstawie KE – DG Regio 2001

23. Ewaluacja a logika programów UE kryteria ewaluacji MONITORING Oddziaływanie planowane Potrzeby i nieplanowane Rezultaty planowane i nieplanowane Cele Nakłady Działania Produkty EWALUACJA: WYDAJNOŚĆ EWALUACJA:TRAFNOŚĆ EWALUACJA: SKUTECZNOŚĆ EWALUACJA: UŻYTECZNOŚĆ I TRWAŁOŚĆ

24. Kryteria ewaluacji Najczęściej stosowane kryteria ewaluacji: Trafność (relevance) - kryterium to pozwala ocenić, w jakim stopniu przyjęte cele programu odpowiadają zidentyfikowanym problemom w obszarze objętym programem i/lub realnym potrzebom beneficjentów • ex ante; ex-post Efektywność (efficiency) - kryterium to pozwala ocenić poziom „ekonomiczności” programu, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów. Nakłady rozumiane są tu jako zasoby finansowe, ludzkie i poświęcony czas • mid–term; ex-post Skuteczność (effectiveness) - kryterium to pozwala ocenić, do jakiego stopnia cele przedsięwzięcia zdefiniowane na etapie programowania zostały osiągnięte • mid–term; ex-post

25. Kryteria ewaluacji Najczęściej stosowane kryteria ewaluacji cd.: Oddziaływanie/wpływ (impact) – kryterium to pozwala ocenić związek pomiędzy celem projektu i celami ogólnymi, tj. stopień, w jakim korzyści odniesione przez docelowych beneficjentów miały szerszy ogólny wpływ na większą liczbę ludzi w danym sektorze, regionie lub w całym kraju • mid–term; ex-post Trwałość efektów (sustainability) – kryterium to pozwala ocenić czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego, a także czy możliwe jest utrzymanie się wpływu tego projektu w dłuższym okresie na procesy rozwoju na poziomie sektora, regionu czy kraju • ex-post

26. cele / wskaźnikiLogika interwencji unijnych Oddziaływanie / Wpływ (efekty w długim okresie) Wskaźniki oddziaływania Cele ogólne Rezultaty (Bezpośrednie i natychmiastowe) Cele bezpośrednie Wskaźniki rezultatów Produkty / Wyniki (Wyprodukowane dobra i usługi) Cele operacyjne Wskaźniki produktów Wskaźniki działań Działania Programu Nakłady / Wkład (Zasoby) Wskaźniki nakładów Wskaźniki bazowe i kontekstu Źródło: opracowanie K. Olejniczak na podstawie KE – DG Regio 2001

27. część IIPodejścia badawcze, proces badania ewaluacyjnego oraz jego uczestnicy

28. Zakres tematyczny ewaluacji realizacji założeń programu (cele, wskaźniki) skuteczności i efektywności interwencji oraz jej trafności i użyteczności osiągniętychproduktów i rezultatów kontekstu społecznego, gospodarczego, prawnego interwencji trudności realizacji przedsięwzięciabądź ich kontekstu potrzeb i oczekiwań docelowej grupy odbiorców efektów (oczekiwane / nieoczekiwane) mocnych/ słabych stron interwencji kierunków rozwoju i modyfikacji przyszłych interwencji oddziaływania przedsięwzięcia i trwałości jego osiągnięć

29. PROCES EWALUACJI Plan ewaluacji Projekt ewaluacji Realizacja badania ewaluacyjnego Raport końcowy Wykorzystanie wyników ewaluacji Wdrażanie rekomendacji wcześniejsze ewaluacje zakres monitoringu zakres audytu dane statystyczne promocja wyników

30. Etapy planowania ewaluacji określenie celów ewaluacji wyznaczenie czasu badania określenie zakresu ewaluacji określenie odbiorców ewaluacji identyfikacja dostępnych danych wyjściowych (dokumenty, raporty monitoringowe, dane statystyczne, ekspertyzy itd.) określenie regulacji instytucjonalnych oszacowanie posiadanych zasobów (czasowych, finansowych, instytucjonalnych, technicznych) sformułowanie projektu ewaluacji określenie sposobu wykorzystania wyników ewaluacji A następnie: określenie warunków kontraktu (terms of reference) wybranie ewaluatora

31. Elementy projektu ewaluacji opis przedmiotu ewaluacji określenie strategii ewaluacji określenie partnerów/uczestników/odbiorców ewaluacji kodyfikacja kluczowychpytań ewaluacyjnych (badawczych) określenie kryteriów ewaluacji dobór metod badawczych określenie próby badawczej określenie zasobów instytucjonalnych, czasowych, ludzkich, finansowych opracowanie harmonogramu prac wyspecyfikowanie zakresu zadań, wymagań i procedur prowadzenia danego badania ewaluacyjnego określenie formatu raportu określenie sposobów wykorzystania i promocji wyników ewaluacji

32. odbiorcy wniosków i rekomendacji Warunki realizacji ? ? ? ? ? ? ? ? ! ? ? ? ? ? ? ? ?

33. Etapy realizacji ewaluacji Strukturalizację Obserwację Analizę Ocenę

34. Etapy realizacji ewaluacjifazy realizacji badania Strukturalizacja wybór i określenie kryteriów i elementów, które mają być poddane ewaluacji; dookreślenie sposobu i wskaźników za pomocą których będzie badane dane zjawisko; dopracowanie metodologii badania ewaluacyjnego; wybór / opracowanie narzędzi obserwacji; określenie sposobu dotarcia do respondentów badania; Stosowane metody ewaluacyjne Analiza SWOT Matryca logiczna Mapa oddziaływania Metaplan

35. Etapy realizacji ewaluacjifazy realizacji badania Strukturalizacja Każda interwencja/program jest wielowymiarową rzeczywistością, dokonanie oceny wiąże się z zamknięciem jej w pewnych ramach. Wiąże się to zawsze kwestią trudnych wyborów. Ocena każdej interwencji dokonywana jest w oparciu o usystematyzowane: pytania kryteria wskaźniki wybór metody

36. Etapy realizacji ewaluacjifazy realizacji badania Strukturalizacja Określając przedmiot oceny musimy podjąć decyzje, jakie są nasze potrzeby informacyjne odnośnie danej interwencji i jak szeroko przeprowadzimy nasze analizy. Należy określić czy: i jaką perspektywę czasową oddziaływania i rezultatów bierzemy pod uwagę odnosimy się do jednego czy też kilku elementów interwencji odnosimy się do jednej czy tez kilku grup odbiorców (beneficjenci, partnerzy itd..), bierzemy pod uwagę wyłącznie badaną interwencje czy tez uwzględniamy ewentualne jego synergie z innymi interwencjami, bierzemy pod uwagęregiony, grupy osób, które nie są/były objęte programem, ale mogą odczuwać jego oddziaływanie, bierzemy pod uwagę kwestie związane z kolejnym cyklem programowania itp.

37. Etapy realizacji ewaluacjifazy realizacji badania Obserwacja Identyfikacja źródeł / zbieranie dostępnych danych zastanych /dokumentacji programowej, danych z monitoringu, wyników wcześniejszych wyników ewaluacji, danych statystycznych, ekspertyz itd./; zebranie przez ewaluatorów danych koniecznych do analizy – badanie terenowe; Stosowane metody ewaluacyjne Metody ilościowe Metody jakościowe

38. Etapy realizacji ewaluacjifazy realizacji badania Analiza interpretacja zebranych danych – uchwycenie różnic weryfikacja hipotez; analiza przyczynowo-skutkowa; oszacowanie efektów programu; Stosowane metody ewaluacyjne Metody statystyczne Metody analizy jakościowej GIS – System Informacji Geograficznej Modele ekonomiczne Grupy porównawcze Panel ekspertów

39. Etapy realizacji ewaluacjifazy realizacji badania Ocena ocena efektów programu w odniesieniu do uprzedniosformułowanych pytań ewaluacyjnych w oparciu o przyjęte kryteria oceny. Stosowane metody ewaluacyjne Analiza kosztów i korzyści Analiza kosztów i efektywności Analiza wielokryteriowa Panel ekspertów Benchmarking

40. Etapy realizacji ewaluacjifazy realizacji badania Ocena powinna być przejrzysta trafna bezstronna / obiektywna /niezależna uzasadniona – wynikająca z faktów oparta na wynikach badań oparta na wiarygodnych danych szczegółowej analizie

41. ewaluacja to proces od wszystkich elementów tego procesu zależą wyniki ewaluacji i w konsekwencji jej użyteczność końcowym produktem procesu ewaluacji jest raport końcowy

42. część IIIRaport ewaluacyjny

43. Aktorzy sceny ewaluacyjnej środowisko zewnętrzne środowisko instytucji zamawiającej ZAMAWIAJĄCY EWALUATORZY EWALUOWANI INNI ZAINTERESOWANI kontekst społeczno – polityczny kontekst instytucjonalny

44. ODBIORCY RAPORTU EWALUACYJNEGO wyników ewaluacji rekomendacji wniosków metodologii ewaluacji Raport ewaluacyjnyodbiorcy ewaluacji

45. Proces ewaluacjietapy projektowania/konstrukcji/wykorzystania raportu Projektzakresu raportu Opracowanieraportu wstępnego Wstępna wersjaraportu końcowego Prezentacjaraportu końcowego Raport końcowy(ostateczna wersja) ETAPY ODBIORU RAPORTU KOŃCOWEGO PROMOCJA RAPORTU

46. Typy raportów klasyfikacja ze względu na moment w systemie oceny i fazie badania moment w systemie oceny interwencji w procesie realizacji raporty podsumowujące raporty metodologiczne raporty cykliczne/cząstkowe raporty z badań terenowych raporty wew. / zewn. raporty końcowe

47. Raport ewaluacyjnycechy dobrego raportu ?

48. Raport ewaluacyjnyeuropejskie standardy RAPORT EWALUACYJNYC POWINIEN: być związany z tematem, opierać się na dokładnej analizie i odpowiadać standardom naukowym i ewaluacyjnym opisywać przesłanki ewaluacji, jej przedmiot, jak cel, pytania badawcze, procedurę badania (metodologię), rezultaty oraz powinien przedstawiać uzasadnione wnioski (wszystko to powinno mieć przystępną i zrozumiała formę) podawać dokładne źródła informacji. Zebrane dane powinny być zaadaptowane do metodologii badania bez obniżenia wiarygodności, czy odpowiedniości

49. Raport ewaluacyjnyeuropejskie standardy RAPORT EWALUACYJNYC POWINIEN: zawierać dostatecznie szczegółowy i krytyczny opis i ocenę wykorzystanych metod, tak by umożliwić odbiorcom ocenienie wagi przedstawionych dowodów, na których bazują wnioski i rekomendacje zawierać zidentyfikowane przykłady good practice obrazujące przedstawiane tezy, tym niemniej raport nie powinien - mimo częstych nacisków na ewaluatorów by „produkować historie sukcesów” - stać się przewodnikiem w zakresie good practise, gdyż jest wówczas odbierany podejrzliwie przez społeczeństwo i decydentów podawać dokładne źródła informacji (tak by można je było zweryfikować). Zebrane dane powinny być dostosowane do metodologii badania bez obniżania ich wiarygodności i adekwatności

50. Raport ewaluacyjnyeuropejskie standardy Proces dedukcji i interpretacji rezultatów powinien być opisany i wyjaśniony. Powinien opierać się na szczegółowo zaprezentowanej hipotezie. Ostateczne wnioski i rekomendacje są opiniami ewaluatorów, więc nie powinny być zmieniane bez ich wiedzy i zgody. Wnioski i rekomendacje powinny być jasne, bezstronne i wystarczająco precyzyjne by można je było wdrożyć.