Jak monitorować i ewaluować efekty interwencji publicznych?

1. Jak monitorować i ewaluować efekty interwencji publicznych? Marta Rószkiewicz & barbaraWarzybok 21 XI 2012

2. Świat ewaluacji Wymiar teoretyczny Wymiar praktyczny • Interwencja publiczna? • Różne typy działań publicznych realizowanych w ramach polityk publicznych przybierające formę: • Programów; • Projektów; • Przedsięwzięć; • Interwencja publiczna • Polityka publiczna: Polityka naukowa, polityka innowacyjna, etc. • Program: 5.,6., 7. Program Ramowy UE, Program Operacyjny Innowacyjna Gospodarka, etc. • Projekty/Przedsięwzięcia: projekty badawcze, projekty infrastrukturalne, projekty wspierające sieci współpracy etc.

3. Świat ewaluacji Wymiar teoretyczny Wymiar praktyczny • Monitoring? • Bieżące i systematycznegromadzenie informacji (danych) w zakresie rezultatów (rozumianych jako wyniki) programów/projektów dofinansowywanych m.in. z publicznych środków. • Monitoring - cel • Dane gromadzone w zakresie rezultatów programów/projektów dostarczają „wymiernych” informacji o wynikach działalności badawczej, naukowej, etc. od momentu rozpoczęcia realizacji programu/projektu do jego zakończenia (zgodnie z umową o dofinansowanie) – „kształtują” obraz programu/projektu i stanowią punkt wyjścia do analizy ich otoczenia • Witamy w świecie ewaluacji

4. Świat ewaluacji Wymiar teoretyczny Wymiar praktyczny • Ewaluacja? • Systematyczne badania społeczno-ekonomiczne informujące o jakości i wartości działań publicznych. • [Patton 2008; Rossi et at. 1999, Weiss 1998] • Centralnym elementem ewaluacji jest ocena – potrzebna do informowania o jakości i wartości działań publicznych. • Ewaluacja to proces, w którym niezbędnym narzędziem jest monitoring (gromadzenie danych na każdym etapie realizowanych działań) • Ewaluacja - doświadczenia międzynarodowe i polskie • ŚWIAT EUROPA • USA/Kanada Niemcy/Wielka Brytania inne kraje • (lata 60-te XX w.) (lata 80-te XX w.) • POLSKA • 2004 • Wstąpienie do UE • Obecnie: ponad 600 badań ewaluacyjnych w ramach funduszy strukturalnych

5. Świat ewaluacji Wymiar teoretyczny Wymiar praktyczny • Kto i co ewaluuje w Polsce – • w sektorze B+R ?

6. Świat ewaluacji Wymiar teoretyczny Wymiar praktyczny • Ewaluacja • Kto i co może być poddawane ewaluacji? Polityki publiczne (np. polityka naukowa, polityka innowacyjności) Pojedyncze projekty Programy CEL: Wpływ na formułowanie i prowadzenie polityki w zakresie wspierania innowacyjności i nauki

7. Świat ewaluacji Wymiar teoretyczny Wymiar praktyczny • Orientacja badań ewaluacyjnych na: • Ewaluacja w OPI • Perspektywa przedmiotowa/programy • 5.6.7 Program Ramowy UE • Ewaluacja podsumowująca – • analiza i ocena rzeczywistych efektów (rezultatów/wyników) • projektów Programów Ramowych UE • Badanie ewaluacyjne rezultatów zakończonych projektów • Programów Ramowych UE z udziałem polskich zespołów badawczych

8. Świat ewaluacji Wymiar teoretyczny Wymiar praktyczny • Skąd czerpaliśmy informacje o efektach projektów Programów Ramowych? • Baza E-CORDA: • 1. podstawowe informacje o beneficjentach (instytucjach, które otrzymały dofinansowanie), wysokości dofinansowania, ścieżce dofinansowanie, etc.; • 2. brak informacji (danych) o rzeczywistych efektach projektów • zgromadzenie informacji o efektach - bne beneficjenci Programów Ramowych, czyli BADANIE EWALUACYJNE

9. Świat ewaluacji Wymiar teoretyczny Wymiar praktyczny • Badanie ewaluacyjne – jak to zrobić? • Cel • Metodologia • Ocena rzeczywistych efektów projektów Programów Ramowych UE z udziałem polskich zespołów badawczych (koordynatorów i uczestników międzynarodowych konsorcjów) • 3 kryteria ewaluacyjne (oceny): • Skuteczność – stopień realizacji zakładanych celów i rezultatów, skuteczność instytucji i podjętych działań; • Użyteczność – ocena rzeczywistych efektów (planowanych i nieplanowanych) w kontekście bieżącej sytuacji; • Trwałość– ciągłość efektów w perspektywie krótko i długookresowej.

10. Świat ewaluacji Wymiar teoretyczny Wymiar praktyczny • Wielkość próby badawczej • Narzędzia i techniki wykorzystane • w badaniu • N= 300 podmiotów realizujących projekty ramowe (koordynowane i będące częścią konsorcjum – selekcja na podstawie wskaźnika pozycji instytucji w konsorcjum) • Badania ilościowe: • CATI – telefoniczny wywiad ankieterski wg kwestionariusza; • Badania jakościowe: • Analiza deskresearch(analiza dokumentów i przegląd literatury przedmiotu); • IDI – pogłębione wywiady indywidualne (beneficjenci, KPK, RPK); • Panel ekspertów (MNiSW, NCBiR, NCN, KPK, KRAB, beneficjenci); • Studia przypadków (case-studies): Warszawa, Poznań, Kraków

11. Świat ewaluacji Wymiar teoretyczny Wymiar praktyczny • Rozkład próby badawczej • pod względem Programu Ramowego • pod względem roli instytucji w projekcie • pod względem rodzaju beneficjenta oraz roli instytucji w projekcie

12. Motywacja Motywacja uczestnictwa w projektach programów ramowych Motywacja do uczestnictwa: wyniki innych badań ewaluacyjnych Norwegia: - dostęp do sieci naukowych;- dostęp do wiedzy eksperckiej;- do wiedzy określanej jako „doskonałość naukowa”;- dostęp do funduszy na finansowanie badań. Wielka Brytania:- dostęp do funduszy na finansowanie badań;- chęć rozwoju /tworzenia nowych sieci współpracy i kontaktów naukowych;- rozwój wiedzy i umiejętności;- chęć rozwiązania konkretnych problemów badawczych. Dania:- dostęp do funduszy na finansowanie badań;- chęć rozwoju /tworzenia nowych sieci współpracy i kontaktów naukowych;- stworzenie nowych narzędzi, metod i technik badawczych;- rozwój naukowy.

13. Skuteczność Osiągnięte efekty (Planowane i nieplanowane) SKUTECZNOŚĆ planowania i osiągania wyników

14. Skuteczność Wykorzystane Szanse Niewykorzystane kierunki Wdrożenia: - najczęściej wskazywane jako efekty planowany lecz nieosiągnięty; - najczęściej osiągany efekt przez Instytuty Badawcze (profil jednostki); Niska efektywność projektów w zakresie praw własności intelektualnej: (patent 12%, prawo ochronne 8%, sprzedaż licencji 5%); Duże zróżnicowanie zainteresowania wyposażeniem badawczo-technicznym między beneficjentami:Instytuty PAN (70%), zaś Instytuty Badawcze (45%), szkoły wyższe (57%) • Networking:kontakty częściej naukowe (97%), rzadziej biznesowe (29%); • Rozwój indywidualnych karier naukowych komplementarnym efektem projektów PR: publikacje naukowe (wyróżnione w JRC o IF>0 - 68% odpowiedzi) i prezentacje na konferencjach (zagraniczne 96%, krajowe 69%); • Podniesienie prestiżu instytucji poprzez rozwój naukowy (w kraju (49%), za granicą (32%))

15. Użyteczność OBSZARY oddziaływania projektów programów ramowych Zestawienie międzynarodowe Norwegia:- wzmocnienie sieci współpracy naukowej (w długim horyzoncie czasowym);- wzmocnienie możliwości naukowych instytucji;- umocnienie zasobu wiedzy w nowych obszarach badawczych; Wielka Brytania:- wzmocnienie sieci współpracy naukowej;- umocnienie zasobu wiedzy w nowych obszarach badawczych;- umocnienie zasobu wiedzy w obszarach badawczych będących w kompetencjach jednostki; Dania:- wzmocnienie sieci współpracy naukowej;- umocnienie zasobu wiedzy naukowej instytucji;- rozszerzenie możliwości naukowych i technologicznych instytucji; Skala ocen: 0 = brak wpływu; 5 = bardzo duży wpływ

16. Użyteczność Korzyści z uczestnictwa w PR Brak odnotowanego wpływu Niewielki wpływ na efekty mnożnikowe:- PR nie przyczyniają się do komercjalizacji technologii;- niska opłacalność wdrożeń; Efekty mnożnikowe ujawniły znaczenie efektów twardych (patenty oraz prawa ochronne); Efekty naukowe ocenione przez beneficjentów jako najistotniejsze, ale efekt uznany został za niewystarczający (kariery naukowe). • Najwyższa użyteczność projektów: podniesienie kwalifikacji i wiedzy personelu; • Umocnienie pozycji: wzrost innowacyjności (projekty badawcze); wizerunek organizacji (projekty nienaukowe); • Kontakty częstsze z sektorem naukowym niż z sektorem przedsiębiorstw; decydujący profil jednostki; • Networking dźwignią do uczestnictwa w kolejnych projektach.

17. Trwałość Ocena ciągłości wyników projektów Typ instytucji objętej badaniem Status instytucji w projekcie 1 = przewaga wyników krótkofalowych; 5 = przewaga wyników długofalowych.

18. Trwałość Aktywność podejmowana w ramach kontynuacji Cel kontynuowanych działań Skala ocen: 1 = zdecydowanie nie; 2 = raczej nie; 3 = raczej ta; 4 = zdecydowanie tak

19. TRWAŁOŚĆ EFEKTY Trwałe Efekty krótkotrwałe Powstałe miejsca pracy oceniane jako efekt krótkofalowy, ale:- 20% instytucji doświadczyło likwidacji miejsca pracy (szkoły wyższe oraz istotne z punktu widzenia projektu jednostki);- ewolucja podejścia do realizacji projektu;- PR jako argument konkurencyjności miejsca pracy dla młodych badaczy; • Utworzone sieci współpracy najbardziej długofalowym i trwałym efektem PR; • Wyniki innych projektów jako motywacja do podejmowania kolejnych działań projektowych; kontynuacja badań w kolejnych projektach (89%). • Zasięg przestrzenny wyników projektów coraz częściej międzynarodowy; • Efekt synergii: całokształt działalności naukowej decyduje o sukcesie projektu PR;

20. Wnioski ogólne • Skuteczność, użyteczność, trwałość rosną w czasie; • Przewaga wskaźników produktu; • Wyniki zbieżne z wynikami ewaluacji w innych krajach; • Kontynuacja działań na poziomie krajowym; • Umiejętność wykorzystania projektów ramowych do realizacji celów jednostki, ale efekty „gospodarcze” są niezadowalające; • Kontynuacja (ciągłość) badań wpływa na trwałość efektów; • PR pozwalają na podnoszenie standardu instytucji w krajowym systemie oceny;

21. Co Dalej? • Gospodarczy wymiar PR – ewaluacja polskich przedsiębiorstw; • Porównanie międzynarodowe; • Kontekst strategicznych kierunków badawczych- ujęcie tematyczne; • Perspektywa długofalowa: bieżące gromadzenie danych o efektach – powiązanie z Ankietą Jednostki; • Publikacja • Kolejne badania ewaluacyjne (w ramach PR?)

22. Jak monitorować i ewaluować efekty interwencji publicznych? Marta Rószkiewicz & barbaraWarzybok mroszkiewicz@opi.org.pl bwarzybok@opi.org.pl pokój 11 pokój 2 budynek 186 21 XI 2012