Prezentacja wyników badania i rekomendacji Posiedzenie grupy sterującej ewaluacją

1. Prezentacja wyników badania i rekomendacjiPosiedzenie grupy sterującej ewaluacją Wstępna ocena realizacji i efektów Regionalnego Programu Operacyjnego Województwa Śląskiego na lata 2007-2013 Prezentuje: dr inż. Korneliusz Pylak

2. Metodologia badania

3. Cele badania

4. Przebieg badaniaWykorzystane metody i techniki badawcze

5. Wyniki badania

6. Wniosek Analiza SWOT nie była podstawą przygotowania wskaźników kontekstowych, programowych i projektowych • wskaźniki bardzo nierównomiernie opisują silne i słabe strony województwa • występują silne lub słabe strony nieopisywane przez wskaźniki: • 27 (spośród 55) elementów analizy nieopisywanych przez wskaźniki kontekstowe, • 15 elementów nieopisywanych przez żadne wskaźniki programowe • 16 elementów nieopisywanych przez wskaźniki z poziomu projektu • Wiele elementów jest opisywanych tylko przez jeden wskaźnik: • 14 elementów – w przypadku wskaźników kontekstowych, • 9 – wskaźników programowych • 2 – wskaźników projektowych • Szczególnie jest to widoczne w przypadku silnych stron (znacząco mniej powiązań ze wskaźnikami) • Często wskaźniki przyporządkowywaliśmy na zasadzie umownej tzn. jedynie pośrednio mogły wpływać na zmiany w obrębie danej cechy

7. Usunięcie nieadekwatnych elementów analizy SWOT RekomendacjaOdnieść się w analizie SWOT jedynie do tych elementów gospodarki, na które przyszłe RPO może oddziaływać

8. Analiza SWOT Cele (priorytety) Działania Projektowanie wskaźników Projektowanie wskaźników Wskaźniki kontekstowe Wskaźniki programowe Wskaźniki projektowe Ewaluacja wpływu interwencji Ewaluacja wpływu interwencji RekomendacjaWypracować wskaźniki z analizy SWOT  Dopasować do celów  Stworzyć wskaźniki programowe

9. Wniosek Wpływ RPO WSL na zmiany w obrębie silnych i słabych stron jest niezadowalający • na 452 tys. przedsiębiorstw w województwie zakupiono 1 patent, wsparto 285 firm opartych na nowych technologiach, w tym tylko 1 firmę prowadzącą działalność B+R, • 143,9 mln zł dodatkowych inwestycji wykreowanych dzięki RPO stanowi jedynie 0,8% nakładów inwestycyjnych w regionie, • na 425 tys. mikroprzedsiębiorstw wsparcie uzyskało jedynie 0,2% z nich • 5 794 miejsc pracy stworzonych w RPO stanowi jedynie 0,35% pracujących w regionie • dzięki RPO rocznie przetworzy się 74 tys. ton odpadów, usunie 25 tys. ton, posegreguje 13 tys. ton wobec 1 380 tys. ton w województwie, • w RPO zrekonstruuje się 0,1% dróg regionalnych i 1,4% dróg lokalnych • Chociaż: • z obiektów turystycznych RPO WSL skorzysta 5,5 mln osób wobec 4,5 mln udzielonych noclegów rocznie w województwie • z obiektów kulturowych RPO WSL skorzysta ok. 2 mln osób wobec 7,9 mln odwiedzających w województwie

10. RekomendacjaNie ma sensu inwestować we wszystko  należy skupić się na specjalizacjach (smart)  tworzyć największe efekty synergii Stare podejście Nowe podejście horyzontalne Specjalizacje Efekt dźwigni 1 złoty transport Efekt dodatkowości 31 groszy Efekt mnożnikowy 2+2 =5 Efekt synergii

11. Wniosek Wiele obszarów RPO WSL nie jest opisywana przez wskaźniki • brakuje wskaźników produktu (nie licząc wskaźników liczby projektów, które nie mierzą produktów w odpowiedni sposób), • żadne wskaźniki produktu nie opisują takich osi priorytetowych jak: • oś III (‘Turystyka’), • Oś IV (‘Kultura’) w zakresie dostępu do informacji o zasobach i wydarzeniach kulturalnych w regionie oraz wzrostu rozpoznawalności oferty kulturalnej regionu, • całej osi V (‘Środowisko’) • osi VI (‘Zrównoważony rozwój miast’), • w Działaniu 9.3 (‘Lokalna Infrastruktura sportowa’). • W przypadku rezultatów, żaden wskaźnik nie opisuje tylko jednego Działania – 5.4 (‘Zarządzanie środowiskiem’).

12. Wskaźniki kontekstowe Cele RPO Poziom osi P1 R1 R2 Krajowy System Informatyczny Poziom Działania P1 P2 P3 R1 R2 R3 Typy projektów Poziom projektu P1 P2 P3 P4 P5 P6 R1 R2 R3 R4 R5 R6 Produkty Rezultaty RekomendacjaKażdy obszar musi mieć po jednym wskaźniku produktu i rezultatu + nawiązanie do wskaźników kontekstowych

13. Wniosek Problemem nie jest słaba realizacja wskaźników przez projekty, ale nierównomierny rozkład rodzajów wskaźników w projektach • Oś priorytetowa VIII jest najbardziej efektywną osią w kontekście osiągania wskaźników programowych • W przypadku osi VI i IX praktycznie cała alokacja została zagospodarowana, a większość wskaźników nie została osiągnięta • Dane z podpisanych umów przy założeniu, że wszystkie projekty zostaną zrealizowane a środki wydane

14. Wniosek Kryteria wyboru projektów słabo odnoszą się one do efektywności osiągania wskaźników programowych • Nie można zauważyć żadnej korelacji – wysokie oceny punktowe uzyskują zarówno projekty bardzo efektywne, jak i o efektywności zerowej • Mimo istnienia odpowiednich kryteriów pośród kryteriów zasadniczych podstawowych (punktowanych), ich waga i znaczenie rozmywa się w ogólnej liczbie i wartości pozostałych kryteriów

15. wskaźnik wynikający z alokacji na działania dzielonej na liczbę powstałych rezultatów np. alokacja 10 mln euro ------------------------------- 50 miejsc pracy +25% -25% 1 pkt 2 pkt 3 pkt 4 pkt 300 000 euro 200 000 euro 100 000 euro + ¥ 0 RekomendacjaWprowadzenie obligatoryjnego kryterium efektywności kosztowej (nie tylko dla miejsc pracy) Kryterium: Wartość dofinansowania z EFRR przypadająca na jedną jednostkę rezultatu

16. RekomendacjaA następnie zrównoważenie kryteriów wyboru Trafność Trwałość

17. Wniosek Najbardziej efektywną ścieżką wyboru okazały się Programy Rozwoju Subregionów • średnia efektywność PRS wyniosła 17,5 • ponad dwukrotnie mniej efektywne są projekty konkursowe (wskaźnik – 8,0) • najmniej efektywne okazały się projekty kluczowe (wskaźnik – 2,4)

18. RekomendacjaWiększe sterowanie ścieżkami wyboru + poprawa podejścia do projektów kluczowych • Przede wszystkim należy skoncentrować się na dwóch ścieżkach: • projekty konkursowe • PRS-y • na tych typach projektu, w których są one bardziej efektywne: • PRS-y są bardziej efektywne w przypadku projektów sieciowych, gdzie współpraca i wzajemna komplementarność są kluczowe do realizacji projektów • projekty konkursowe są bardziej skuteczne w przypadku projektów rozproszonych, w tym również projektów liniowych, ale bardziej niezależnych od siebie • W przypadku projektów kluczowych niezbędna jest lepsza analiza założeń, a nawet zmiana podejścia ich wyboru • wprowadzić bezwzględne kryteria opierające się nie tylko o wielkość wskaźników programowych, jaką projekty te będą realizować, ale również • efektywność ich osiągania lub uzasadnienie odejścia od tych kryteriów

19. Wniosek Mechanizm podziału na gminy pon. 50 tys. i pow. 50 tys. mieszkańców okazał się nieskuteczny • W skali całego Programu fundusze unijne mogły przyczynić się do pogłębienia się różnic pomiędzy gminami poniżej 50 tys. mieszkańców a gminach powyżej 50 tys. mieszkańców • Biorąc pod uwagę osie priorytetowe, niwelowanie różnic mogło mieć miejsce jedynie w przypadku: • projektów turystycznych • projektów środowiskowych (chociaż nie udało się zaspokoić 76% potrzeb gmin poniżej 50 tys. mieszkańców) • Projekty edukacyjne, transportowe i społeczeństwa informacyjnego z tych obszarów mają niewielkie szanse w walce o środki z innymi projektami • Sam mechanizm nie zadziałał poprawnie w przypadku połowy Działań (2.1, 5.2, 9.2, 7.1.2)

20. Wniosek Mechanizm wsparcia subregionów słabszych okazał się nieskuteczny Biorąc pod uwagę rozwój subregionów (PKB i stopę bezrobocia) wsparcie z RPO WSL pogłębia różnice pomiędzy lepiej a słabiej rozwiniętymi obszarami. Subregiony lepiej rozwinięte uzyskują wyższe dofinansowanie ogółem (na głowę mieszkańca) niż subregiony słabiej rozwinięte (nawet biorąc pod uwagę projekty z PRS-ów).

21. RekomendacjaPoprawić mechanizm wsparcia mniejszych gmin i PRS • Można rozdzielić pulę środków we wszystkich konkursach, w których mechanizm występuje i nie dopuścić do przekroczenia limitu składanych wniosków • Można dokonywać oceny w grupach (mniejsze i większe gminy), aby żadna z grup nie zagarniała sobie puli • Można wprowadzić podział puli również ze względu na przynależność do określonego subregionu albo… • pozostawić tak jak jest (lub nawet mechanizm zlikwidować) i pozwolić rozwijać się obszarom lepiej rozwiniętym szybciej (polaryzować wsparcie) i czekać na efekt dyfuzji • PRS rekomendujemy pozostawić i wzmocnić

22. Wniosek Perspektywa 2014-2020  region przedsiębiorczy?

23. Wniosek | cross-financingDziałania miękkie w projektach i tak są stosowane przez beneficjentów • we wszystkich Działaniach / Poddziałaniach beneficjenci widzą możliwość zastosowania finansowania krzyżowego w większym lub mniejszym stopniu

24. RekomendacjaRozszerzyć zakres cross-financingu + zwiększyć % cross-financing nawet ponad 10% Można zaproponować dwa rozwiązania: • określenie maksymalnego limitu na poziomie priorytetu (10%), ale przy założeniu maksymalnego poziomu tego współfinansowania na poziomie projektu (np. 30-40%); takie rozwiązanie wymaga zastosowania systemu monitorowania do zapewnienia, że limit 10% na poziomie priorytetu nie zostanie przekroczony; • określenie limitów cross-financingu na poziomie Działań / Poddziałań w sposób adekwatny do specyfiki projektów; wówczas poziomy dla różnych Działań / Poddziałań mogłyby być różne, natomiast maksymalny poziom wydatków z poziomu Działań / Poddziałań nie przekroczyłby 10% limitu na poziomie osi priorytetowej (takie rozwiązanie nie wymagałoby stosowania specjalnego systemu monitorowania).

25. Wniosek Zmiany w dokumentach programowych miały charakter ambiwalentny - poprawiały skuteczność osiągania celów RPO ale utrudniały życie beneficjentom • Analiza zmian wykazała dużą dbałość IZ RPO WSL o zgodność dokumentów ze zmianami przepisów prawnych, uszczelnienie i usprawnienie wdrażania, uproszczenie dokumentacji projektowej oraz zwiększenie możliwości realizacji celów (przesunięcia alokacji, doprecyzowanie kryteriów i wskaźników) • dla beneficjentów zmiany te często okazywały się dodatkowym utrudnieniem podczas składania i realizacji projektów.

26. Polityki horyzontalne Wnioski i rekomendacje

27. Wniosek Wśród beneficjentów pojawiały się głównie cztery problemy związane z politykami horyzontalnymi • Co siódmy beneficjent nic nie wiedział o konsultacjach Programu Operacyjnego lub innych dokumentów z nim związanych. • Co ósmy beneficjent twierdzi, że prowadzenie konsultacji społecznych w projektach to czysta formalność – nic z nich nie wynika • Co jedenasty beneficjent spotkał się z sytuacją, w której nie mógł aplikować o środki w interesującym go konkursie, bo jako beneficjent się nie kwalifikował • U co dziewiątego beneficjenta nie ma możliwości utworzenia miejsc pracy dla osób niepełnosprawnych • ponad połowa beneficjentów nie doświadczyła żadnego z wymienionych problemów

28. RekomendacjaZasada równości szans / partnerstwa Ad. 1. Proces konsultacji Programu powinien być lepiej komunikowany potencjalnym beneficjentom. Kluczowe jest poinformowanie wszystkich zainteresowanych o trwającym procesie. Warto wykorzystać tu kampanie medialne w prasie i radiu o zasięgu regionalnym. Warto również skorzystać chociażby z istniejącego i rozwiniętego w tym okresie newslettera. Ad. 2. W ramach warsztatów dla beneficjentów warto wprowadzić tematykę prowadzenia spotkań konsultacyjnych i moderowania rozmów. Ad. 3. To dziwne, postulat zgłaszały: gminy, dwa powiaty, jedna wojewódzka SJO, kilka MMŚP, jedno duże przedsiębiorstwo, kilka szkół wyższych, jedna jednostka naukowa, jedna szkoła, jedno stowarzyszenie, jeden związek zawodowy, kilka publicznych i jeden prywatny ZOZ Ad. 4. Należy wprowadzić różne alternatywy zasady równości szans dla beneficjentów tak, aby każdy mógł zrealizować ją w najbardziej dopasowany do jego potrzeb sposób (różne kryteria wyboru).

29. RekomendacjaZasada równości szans / partnerstwa • Wprowadzić do KM przedstawiciela organizacji kobiecych oraz przedstawiciela organizacji osób niepełnosprawnych • Mimo, iż skład KM RPO WSL został wybrany zgodnie z Wytycznymi MRR, warto zastanowić się nad wyrównaniem podziału przynajmniej pomiędzy stroną samorządową a partnerami społeczno-gospodarczymi • Należy egzekwować od członków KM wymianę poglądów z środowiskami, które reprezentują i podobnie jak omawiane są wyniki wdrażania Programu na każdym posiedzeniu, tak każdy z członków powinien zreferować, w jaki sposób podzielił się ze swoim środowiskiem informacjami, które uzyskał na ostatnim Komitecie

30. RekomendacjaWprowadzić kryteria dot. zasad horyzontalnych • uruchomienie różnorakich form konsultacji z mieszkańcami i ich stowarzyszeniami na poziomie lokalnym • premiowanie produktów i procesów produkcyjnych przyjaznych dla środowiska (działania dla przedsiębiorców) • preferencje dla projektów wykorzystujących efektywność energetyczną • wymiana wyeksploatowanych nośników energii na bardziej ekonomiczne i ekologiczne • wykorzystanie elementów recyclingowych (np. z rozbiórki starej nawierzchni) przy budowie drogi (infrastruktura transportowa) • stworzenie portalu dla celów komunikacji i informacji, mającego za zadanie ochronę obiektów bazy noclegowej i gastronomicznej i zasobów naturalnych zagrożonych w wyniku zwiększonego ruchu turystów, np. działania z zakresu prewencji i kontroli pożarów, inicjatywy zmierzające do uwrażliwienia na zjawiska wandalizmu itp. (infrastruktura turystyczna) • zastosowanie nowoczesnych technologii informacyjnych (dowolne) • instalowanie elementów sieci teletechnicznej (infrastruktura sieciowa)

31. Analiza systemu realizacji RPO WSL w ramach IZ oraz IP2 Wnioski i rekomendacje

32. Wniosek Nasza analiza wykazała niedokładność procedur, ale mimo tego pracownicy nie widzą potrzeby zmian

33. RekomendacjaDoprecyzowanie procedur poprzez zapisanie w tabelach Analiza procedur wykazała, że są one opisane bardzo luźno, przede wszystkim brakuje zdefiniowanego czasu na realizację procedury, w większości przypadków nie wiadomo, ile procedura trwa, kto konkretnie ma ją wykonywać. Z jednej strony zapewne powoduje to dużą elastyczność pracy, ale z drugiej powoduje niższą efektywność pracy i przede wszystkim niepewność beneficjentów co do terminu, w którym ich sprawy zostaną załatwione.

34. RekomendacjaUsprawnić pracę IZ i IP2 • rozgraniczyć kompetencje poszczególnych referatów w zależności od etapu na którym jest projekt (ujednolicić proces postępowania i stworzyć bardziej liniową strukturę w tym zakresie) • kluczowe jest stworzenie poczucia wspólnego celu i spojrzenia na instytucję ponad interesami i celami własnego referatu / komórki: • zwiększenie informowania pracowników o pracy innych referatów • bezpośrednie informowanie o celach danej komórki przez przełożonego (nie poprzez maile, czy telefony) • częstsze spotkania i większa formalizacja wymogów IZ wobec IP2 • wprowadzić szkolenia wewnętrzne prowadzone przez pracowników (cel: rozwiązania napotkanych problemów w praktyce, pokazywano by konkretne, praktyczne wskazówki do wykorzystania w codziennej pracy • wprowadzenie formalnych metod i technik dzielenia się wiedzą (rozmowy, dyskusje po szkoleniach, sporządzanie notatek po szkoleniach, wspólny folder, w którym umieszczane są spostrzeżenia, analizy i rozwiązania problemów)

35. Wniosek Największe motywatory w pracy IZ RPO WSL • Dobra atmosfera w pracy - 34% • Poczucie stabilizacji i bezpieczeństwa - 34% • Możliwość osobistego rozwoju i doskonalenia zawodowego - 33% • Częste nagrody i premie - 28% • Satysfakcja z wyników pracy - 22%. IP2 • Dobra atmosfera w pracy – 53% • Poczucie stabilizacji i bezpieczeństwa – 37% • Stosunkowo wysoka pensja w porównaniu do podobnych stanowisk w administracji publicznej – 32% • Częste nagrody i premie – 27% • Możliwość osobistego rozwoju i doskonalenia zawodowego – 25%.

36. Wniosek Co zdaniem pracowników należałoby wprowadzić, aby w większym stopniu zmotywować ich do pracy IZ RPO WSL • Stosunkowo wysoka pensja w porównaniu do podobnych stanowisk w administracji publicznej - 44% • Podwyżki - 44% • Możliwość awansu pionowego - 39% • Zdobywanie nowych doświadczeń - 22% • Pochwały przełożonych/ osób nadzorujących pracę - 19% IP2 • Podwyżki - 47% • Możliwość osobistego rozwoju i doskonalenia zawodowego - 36% • Częste nagrody i premie - 35% • Pochwały przełożonych/ osób nadzorujących pracę -28% • Możliwość awansu pionowego - 27%

37. Wniosek Co zdaniem pracowników najbardziej demotywuje do pracy IZ RPO WSL • Brak możliwości uzyskania podwyżki - 50% • Wysokość wynagrodzenia - 46% • Brak perspektyw awansu - 40% • Niesprawiedliwe traktowanie pracowników przez przełożonego/ osób nadzorujących pracę - 13% • Zła organizacja pracy w referacie - 10% IP2 • Brak możliwości uzyskania podwyżki - 47% • Brak perspektyw awansu - 30% • Wysokość wynagrodzenia - 22% • Niepewność zatrudnienia - 19% • Niesprawiedliwe traktowanie pracowników przez przełożonego/ osób nadzorujących pracę - 17% • Monotonia pracy - 17%