Beata Ciężka

1. WOJEWÓDZTWO PODKARPACKIE Beata Ciężka Metodologia badań ewaluacyjnych Projekt jest finansowany przez Unię Europejską z Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007 – 2013

2. WOJEWÓDZTWO PODKARPACKIE Ewaluacja jest rodzajem badania a więc metodologia badań ewaluacyjnych czerpie z dorobku metodologicznego nauk, w szczególności nauk społecznych: • Socjologii • Pedagogiki • Psychologii • Ekonomii • Nauk o zarządzaniu

3. WOJEWÓDZTWO PODKARPACKIE Ewaluacja pozytywistyczna vs. humanistyczna Paradygmat pozytywistyczny zakłada: • Obiektywne istnienie rzeczywistości • Niezależność badacza od przedmiotu poznania i sytuacji badawczej • Przyjmowanie a priori eksplorowanych kategorii pojęciowych Paradygmat humanistyczny zakłada: • Interakcyjne konstruowanie rzeczywistości • „Prawda” stanowi rodzaj konsensusu uzgodnionego między działającymi podmiotami • Badacz wywiera wypływ na rzeczywistość i sam doznaje wpływu • Kategorie pojęciowe wyłaniają się w trakcie badań i mogą być wyjaśnione tylko w towarzyszącym im kontekście • Maksymalne uspołecznienie całego przebiegu ewaluacji

4. WOJEWÓDZTWO PODKARPACKIE Konsekwencje zaprezentowanych rozważań metodologicznych w ewaluacji funduszy strukturalnych • Założenie możliwości kreowania rzeczywistości społecznej poprzez zastosowanie interwencji • Zastosowanie metodologii „pomiaru wskaźników” • Założenie stosowania zestawu z góry określonych kryteriów oceny Ale: • Partycypacyjność w formułowaniu założeń ewaluacji • Uznawanie ważności kontekstu • Uznawanie różnorodności punktów widzenia • Stosowanie triangulacji (w tym szerokiego wachlarza metod jakościowych)

5. Triangulacja Zwielokrotnienie: Metod i technik badawczych Źródeł informacji Typów danych Technik analitycznych Teorii wyjaśniających Liczby osób realizujących badania Zastosowanie Lepsze poznanie i zrozumienie badanego obiektu Uwzględnianie różnych punktów widzenia Bardziej „zobiektywizowana” analiza WOJEWÓDZTWO PODKARPACKIE 5

6. Założenia badań ilościowych i ich zastosowanie Obejmują gromadzenie i analizę informacji liczbowych (również informacji, które można zakodować w formie liczb np. opinii – badania sondażowe) Wykorzystywane są do poznania rozkładów częstości występowania badanego zjawiska oraz określenia poziomu zależności, jakie występują pomiędzy różnymi zmiennymi Podlegają analizie statystycznej i regułom w niej obowiązującym Badania ilościowe umożliwiają wnioskowanie na temat całej populacji w oparciu o badania przeprowadzone na próbce tej populacji Zasadniczym pytaniem jest: ILE? WOJEWÓDZTWO PODKARPACKIE 6

7. Założenia badań jakościowych i ich zastosowanie Dotyczą opisu, poznania i zrozumienia badanych zjawisk Dane jakościowe są najczęściej niezbędne dla właściwej interpretacji informacji liczbowych Jakościowy charakter badań i prowadzonych analiz pociąga za sobą nacisk na procesy i znaczenia, które nie podlegają ścisłym rygorom pomiaru w znaczeniu ilościowym Pozwalają na sformułowanie odpowiedzi na pytania: co?, jak?, dlaczego? Sąwieloznaczne i wielowymiarowe, trudno na ich podstawie formułować uogólnienia WOJEWÓDZTWO PODKARPACKIE 7

8. WOJEWÓDZTWO PODKARPACKIE Badania z zastosowaniem triangulacji – przykłady

9. WOJEWÓDZTWO PODKARPACKIE Badanie ewaluacyjne dotyczące realizacji perspektywy równości płci przez Sektorowy Program Operacyjny Rozwój Zasobów Ludzkich na lata 2004-2006

10. PERSPEKTYWA PROJEKTU Poziom instytucjonalny Poziom projektowy Badania ukierunkowane na dwie perspektywy: 1) Ogólna perspektywa - znajomości i stosunku do zasady równości płci 2) Perspektywa związana ze SPO RZL – stosunek oraz ocena konkretnych rozwiązań i działań lub ich braku 25 Indywidualnych wywiadów pogłębionych (IDI) z wybranymi przedstawicielami instytucji Ankieta internetowa (CAWI) obejmująca wszystkich pracowników instytucji mających związek ze SPO RZL  Case Studies 20 wybranych projektów w ramach wszystkich działań (próba celowa) 500 wywiadów telefonicznych wspomaganych komputerowo (CATI) – próba warstwowa wszystkich projektów Ankieta internetowa (CAWI) adresowana do wszystkich projektodawców (projekty zakończone i będące w trakcie) Desk Research PERSPEKTYWA SPOŁECZNA Badanie reprezentatywne ludności Polski powyżej 15 roku życia – badanie na 1000 osobowej ogólnopolskiej próbie reprezentatywnej (blok pytań w Pentor Omnibus). Badanie liderów opinii - wywiady pogłębione z przedstawicielami środowisk naukowych, świata polityki oraz przedstawicielami środowisk kobiecych (7IDI).

11. WOJEWÓDZTWO PODKARPACKIE Bariery realizacji celów w projektach Schematu b. Działania 2.3 SPO RZL

12. WOJEWÓDZTWO PODKARPACKIE Metody jakościowe Badanie dokumentacji (Desk research) Wywiady indywidualne w: • Polskiej Agencji Rozwoju Przedsiębiorczości (PARP), • Ministerstwa Rozwoju Regionalnego (MRR), • ekspertem z organizacji pracodawców (PKPP Lewiatan) Zogniskowany wywiad grupowy - FGI (Focus Group Interview) • 1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP (różnych wielkości i branż) korzystających ze szkoleń i korzystających z dofinansowania z funduszy UE • 1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP (różnych wielkości i branż) korzystających ze szkoleń i nie korzystających z dofinansowania z funduszy UE

13. WOJEWÓDZTWO PODKARPACKIE Studium przypadku (Case Study) 10 projektów wybranych projektów: • analiza dokumentacji projektowej; • pogłębione wywiady indywidualne z koordynatorami; • pogłębione wywiady indywidualne z osobami odpowiedzialnymi za promocję i rekrutację; • wywiady telefoniczne (lub indywidualne) z przedstawicielami punków rekrutacyjnych współpracujących z realizatorem projektu – (jeżeli realizator projektu korzystał ze wsparcia regionalnych punktów rekrutacyjnych); • wywiad indywidualny/grupowy z przedstawicielami firm szkoleniowych współpracujących z realizatorem projektu; • wywiady z osobami odpowiedzialnymi za projekt Polskiej Agencji Rozwoju Przedsiębiorczości.

14. WOJEWÓDZTWO PODKARPACKIE Metody ilościowe 1200 wywiadów telefonicznych (CATI Computer Assisted Telephone Interviewing) w tym: • 600 wywiadów na próbie reprezentatywnej ogólnopolskiej wśród MSP oraz • 100 wywiadów na próbie MSP branży elektronicznej • 100 wywiadów na próbie MSP branży turystycznej z wybranych regionów • 100 wywiadów na próbie MSP branży przemysłu drzewnego • 100 wywiadów na próbie BO projektu „Szkolenie kadr MŚP w zakresie wdrażania norm BHP” • 100 wywiadów na próbie BO projektu „Ogólnopolski program szkoleń w zakresie ochrony środowiska • 100 wywiadów na próbie BO projektu „Inwestycja w kadry”

15. WOJEWÓDZTWO PODKARPACKIE Wiele ewaluacji skupia się na pomiarze efektów dlatego kluczową rolę stanowi dobrze zdefiniowany system wskaźników oraz prawidłowo przygotowany i systematycznie prowadzony monitoring

16. WOJEWÓDZTWO PODKARPACKIE Przykładowe metody stosowane w ewaluacji wykorzystujące dane monitoringowe

17. WOJEWÓDZTWO PODKARPACKIE Ewaluacja oparta na teorii projektu Oddziaływanie Potrzeby Rezultaty Cele Nakłady Działania Produkty Trafność Efektywność Skuteczność Użyteczność i Trwałość

18. WOJEWÓDZTWO PODKARPACKIE Benchmarking • Ocenianie efektów programu/projektu poprzez porównanie ich z efektami podobnych programów/projektów, które zostały uznane za udane i mogą służyć jako przykład • W procesie porównania zidentyfikowane zostają silne i słabe strony programu/projektu oraz wyszukiwane są nowe rozwiązania, które mogą podnieść jakość osiąganych celów

19. WOJEWÓDZTWO PODKARPACKIE Grupy porównawcze • Porównanie dwóch grup podmiotów, z których jedna grupa była beneficjentem danego projektu lub programu, druga grupa natomiast nie korzystała z pomocy • Ocena efektu netto • Metoda może być z powodzeniem stosowana do ewaluacji szczegółowej różnych typów projektów i programów, zwłaszcza tych związanych ze wsparciem dla sektora produkcyjnego (np. granty dla małych i średnich przedsiębiorstw) oraz działaniami w zakresie rozwoju zasobów ludzkich (np. wsparcie dla bezrobotnych)

20. Dziękuję za uwagę! Beata Ciężka beata.ciezka@pte.org.pl WOJEWÓDZTWO PODKARPACKIE