Strukturyzacja ewaluacji

1. Strukturyzacja ewaluacji dr Karol Olejniczak: k.olejniczak@evaluation.pl EGO: www.evaluation.pl

2. Cel zajęć • Zaprezentować i wyjaśnić podstawowe działania i decyzje podejmowane w fazie strukturyzacji badania ewaluacyjnego • Precyzowanie potrzeb informacyjnych i formułowanie pytań badawczych • Racjonalny dobór metod, budżetu i czasu

3. Standardowe etapy ewaluacji

4. Standardowe etapy ewaluacji

5. Główne elementy gry logicznej 5

6. Główne elementy gry logicznej 6

7. Potrzeby informacyjne • Do czego i komu potrzebne badanie? • 5 funkcji ewaluacji • Potrzeby a typy czasowe ewaluacji • Badanie ex ante • Racjonalność i spójność planu • Przygotowanie systemu wdrażania • Baza dla porównań (konktest i punkt wyjścia) • Badanie bieżące (on-going) • Poprawa procesu ALBO • Baza dla porównań (na początku prog.) ALBO • Ocena pierwszych efektów (zaawansowany prog.) • Badanie ex post • Ocena rzeczywistych efektów • Zweryfikowanie relacji przyczynowo-skutkowej

8. Funkcje ewaluacji – - dylematy wyboru coś za coś Orientacja na bieżące zarządzanie Orientacja na ocenę efektów Źródło: Olejniczak K. (2008): Mechanizmy skutecznego wykorzystania ewaluacji. Studium przypadku programów INTERREG, Wydawnictwo Naukowe Scholar, Warszawa

9. Pytania ewaluacyjne • Pytania opisowe • Np. Jak zmieniła się sytuacja na rynku pracy po realizacji programu szkoleń? • Jaki jest stan wdrażania Działań z Piorytetu II? • Pytania przyczynowo-skutkowe • Np. Czy zarejestrowany wzrost eksportu jest bezpośrednim wynikiem kampanii promocyjnej lokalnego grona przedsiębiorczości? • Pytania o charakterze predyktywnym • Np. Czy wspieranie firm uczestniczących w sieci współpracy nie zakłóci konkurencyjności w regionie? • Pytania o charakterze normatywnym (oceniające) KRYTERIA EWALUACYJNE

10. Kryteria ewaluacyjne • Trafność / Adekwatność (Relevance): • Czy cele programu odpowiadają potrzebom? • Czy struktura logiczna interwencji jest poprawna? • Wydajność / Efektywność (Efficiency): • W jaki sposób zasoby zostały przetworzone na efekty? • Czy cele osiągnięto najniższym możliwym kosztem? • Skuteczność (Effectiveness): • Czy to, co osiągnięto jest tym, co planowano? • Do jakiego stopnia działanie przyczyniło się do osiągnięcia celów? • Użyteczność (Utility): • Czy program spełnił oczekiwania adresatów? • Czy efekty programu są korzystne dla różnych grup odbiorców? • Trwałość (Sustainability): • Czy efekty działania są trwałe, długookresowe? • DRZEWO PYTAŃ

11. Kryteria ewaluacyjne – po co? • Pomagają porządkować pytania w bloki • Uwypuklają element oceny • Umożliwiają zweryfikowanie przystawania pytań do cyklu interwencji • Ex ante: trafność, wydajność skuteczność • On-going: trafność (początek prog.), wydajność, skuteczność, użyteczność (gdy są efekty) • Ex post: wydajność, skuteczność, użyteczność, trwałość • SUGESTIE: • Najpierw postawić pytania badawcze, potem przypisać je do kryteriów • Badanie 1 - 2 kryteriów to nie błąd!

12. Perspektywa wykonawcyStrukturyzacja bis • Zidentyfikowanie priorytety Zlecającego • Pogrupowanie pytania w bloki, rozpisać pytania naprowadzające (np. opisowe) • Zidentyfikowanie głównych interesariuszy • Siły wspierające badanie • Siły "blokujące" badanie • Określenie swej roli (zależna od celu i stanu) • Nauczyciel - Mentor • Naukowiec • Animator - doradca • Konsultant • Źródło: Olejniczak (2008) op.cit, • Arbiter • Mediator • Ekspert budzący świadomość • Reformator • Valovirta (2002) Evaluationutilization as argumentation, Evaluation 8(1), 60-80

13. Główne elementy gry logicznej 13

14. Zakres badania • Przedmiotowy: • Cały Program, Działania, wybrane projekty? • Część procesu (promocja, płatności, etc)? • Przestrzenny • Cała Polska, wybrane regiony, gminy? • Czasowy • Od początku programu do chwili obecnej czy takiś okres w cyklu wdrażania? • SUGESTIA: • Szeroki zakres dobry jest przy analizie efektów, dla procesów wystarcza badanie punktowe

15. Główne elementy gry logicznej 15

16. Podejścia badawcze – - dylematy wyboru coś za coś Orientacja na bieżące zarządzanie Orientacja na ocenę efektów Metody ilościowe i przyczynowo-skutkowe plany badawcze Metody jakościowe i interaktywne Źródło: Ferry M., Olejniczak K. (w przygotowaniu): The use of evaluation in Structural Funds management – a comparative perspective, grant badawczy Ernst & Young, program Sprawne Państwo: www.sprawnepanstwo.pl

17. Wybór podejścia i metod • Patrząc na cel badania… • Jakie podejście jest najstosowniejsze? • Patrząc na każde z pytań badawczych… • Jakie metody będą potrzebne by zebrać dane do odpowiedzi? • Jakie metody i narzędzia będą potrzebne by dokonać analizy? • SUGESTIA: • "Partycypacyjność" to nie podejście do analizy, to sposób współpracy z wykonawy z interesariuszami. Sprawdza się tak przy badaniach procesów jak i efektów

18. Główne elementy gry logicznej 18

19. Szacowanie ograniczeń • Dane • Czy są dostępne w całości, dla całego badanego obszaru? • Czy były zbierane regularnie? • Działania i ludzie • Z jakimi działaniami wiąże się każdej z wyznaczonych metod? • Jakie zasoby ludzkie są do tego potrzebne? • Budżet i czas • Koszt i czas przygotowania narzędzi • Koszt i czas wykonania pomiarów • Koszt i czas analizy

20. Główne elementy gry logicznej 20

21. Czy pomysł jest zbyt ambitny? • Sprawdzić czy badanie nie ma kilku celów • Zdecydować się na 1 (procesy vs efekty) • Wybrać pytania priorytetowe • Dyskusja z głównymi interesariuszami • głosowanie kolorami, METAPLAN • Zmniejszyć zakres badania np. • Najbardziej problemowe działania • Najbardziej/najmniej zaawansowane regiony • Uprościć metody i wymagane dane • modyfikacja próby • studia przypadku • Opieranie się na wczesniejszych badaniach • Zwiększyć zasoby (budżet i czas)

22. Perspektywa wykonawcyStrukturyzacja bis • Wstępny wybór podejścia badawczego • Stworzenie palety metod i przedmiotów badania • Tworzenie listy metod do każdego z pytań • Tworzenie listy zadań do każdej z metod • Łączenie zadań w grupy • Rozpisywanie metod i zadań… • Na osoby • Na dniówki • Szukanie cięć • w podjeściu badawczym i metodach • w skali próby

23. PRZYKŁAD Ewaluacja ex post PHARE CBC 1999-2001Źródło: EUROREG – Uniwersytet Warszawski & Władza Wdrażająca Programy Europejskiewww.euroreg.uw.edu.pl ; www.wwpe.gov.pl

24. Potrzeby i pytania • Zlecający: WWPWP • Typ ewaluacji: zewnętrzna, ex post • Główne pytania: • Do jakiego stopnia PHARE-CBC wpłynął na poprawę sytuacji w regionie przygranicznym? • Które z najlepszych praktyk i doświadczeń we wdrażaniu programu współpracy przygranicznej, można by przenieść na granicę wschodnią? • Potrzeby informacyjne: • Pokazać efekty programu • Transfer wiedzy na wschód

25. Zakres badania • Zakres przedmiotowy: • Programy PHARE-CBC Polska-Niemcy 1999-2001 • ok.180 projektów (z 5 różnych pól) • Różna skala projektów • Zakres przestrzenny: • region dolnośląski, lubuski, zachodniopomorski • gminy na terenie których realizowano projekty • gminy przygraniczne po stronie niemieckiej • Zakres czasowy: • Interwencje wdrażane w latach 2000-2004

26. Działania, metody i narzędzia • Zbudować metodologię ewaluacji • Stworzyć kryteria oceny dla każdego z sektorów • Przeprowadzić analizę społeczno-ekonom. • Badanie dokumentów i kontekstu programów • Analiza sektorów • Badanie beneficjentów – wizyty studyjne • Wywiady z głównymi interesariuszami • Promocja wyników • Budżet i czas: 200 tys EUR, 8 miesięcy

27. Perspektywa WykonawcyStrukturyzacja bis • Zidentyfikowanie głównych potrzeb • Rozpisanie zakresu badania • Przedmiot – programy, sektory,projekty • Badane grupy interesariuszy • Rozpisanie problemu na pytania ewaluacyjne • Pogrupowanie pytań według… • Poziomów analizy • Kryteriów ewaluacyjnych • Przypisywanie metod • Weryfikacja pod kątem kosztów, zasobów, czasu