Wyniki ewaluacji okresowej projektu pn. „Wsparcie osób z zaburzeniami psychicznymi

1. II Konferencja realizowana w ramach projektu pn. „Wsparcie osób z zaburzeniami psychicznymi na rynku pracy II” Wyniki ewaluacji okresowej projektu pn. „Wsparcie osób z zaburzeniami psychicznymi na rynku pracy II” 23 maja 2012 r. Warszawa

2. Informacje wstępne • Ewaluacja okresowa o charakterze wewnętrznym • Obejmująca okres od 01.06.2011 do 31.03.2012 (data graniczna ewaluacji) • Zakres ewaluacji: - działania o charakterze zarządczym (aspekt administracyjny, finansowy, rzeczowy) - działania o charakterze merytorycznym (warsztaty kompetencji, aktywizujące, dla otoczenia OZP, szkolenia zawodowe) - proces rekrutacji i promocji projektu

3. Cele ewaluacji • oszacowanie wartości projektu pod kątem adekwatności, trafności, skuteczności, efektywności oraz użyteczności • identyfikacja słabych oraz mocnych stron projektu (w tym dobrych praktyk) • sformułowanie zaleceń dotyczących sposobu realizacji projektu, zarówno w odniesieniu do obecnej, jak i kolejnych edycji tego przedsięwzięcia

4. Kryteria ewaluacyjne • adekwatność – stopień dostosowania projektu do potrzeb OZP oraz ich otoczenia • trafność przyjętych metod rekrutacji oraz form promocji projektu • skuteczność – stopień osiągnięcia zaplanowanych celów i rezultatów projektu • użyteczność – stopieńprzydatności projektu dla OZP oraz ich otoczenia • efektywność – sprawność we wdrażaniu projektu ( czynniki ułatwiające/utrudniające realizację projektu)

5. Pytania badawcze 1. Czy program wsparcia dla OZP oraz osób z ich otoczenia zostały sformułowane adekwatnie do potrzeb i oczekiwań tych grup docelowych? (adekwatność) 2. Czy sposób realizacji danych form wsparcia sprzyjał osiągnięciu celów? (jw.) 3. Czy sposób organizacji przyjętych form wsparcia był odpowiedni do możliwości oraz potrzeb uczestników? (jw.) 4. Czy w projekcie uwzględniono specjalne potrzeby BO OZP? (jw.) 5. W jakim stopniu działania promocyjne i rekrutacja dotarły do odbiorców i miały wpływ na ich udział w projekcie? (trafność) 6. Jakie czynniki wpływały na podjęcie tej decyzji? (jw.) 7. Czy założone rezultaty są osiągane zgodnie z harmonogramem? Czy i ew. które cele mogą być zagrożone? (skuteczność) 8. W jakim stopniu zostały zrealizowane założone wskaźniki? (jw.) 9. Czy wskaźniki produktów i rezultatów są osiągane zgodnie z harmonogramem? (jw) 10. Czy rokuje to pełnemu ich osiągnięciu? (jw.) 11. Jaki jest poziom satysfakcji i zadowolenia BO z udziału w projekcie? (użyteczność) 12. Jakie czynniki wpływały na poziom satysfakcji BO? (jw.) 13. Jaką wiedzę i umiejętności uzyskali BO? (jw.) 14. Jakie czynniki ułatwiały/utrudniały osiąganie celów i rezultatów? (efektywność)

6. Kwestie metodologiczne (1) • Koncepcja badania została zaplanowana z dużym wyprzedzeniem czasowym i opisana w dokumencie pn. „Strategia ewaluacji i monitoringu w projekcie Wsparcie osób z zaburzeniami psychicznymi na rynku pracy II” • W badaniu ewaluacyjnym wykorzystano metody: • jakościowe - analizę dokumentacji i danych zastanych • ilościowe - ankiety papierowe

7. Kwestie metodologiczne (2) • Analiza dokumentacji i danych zastanych obejmowała: - wniosek o dofinansowanie projektu - raporty z ewaluacji mid-term oraz ex-post I edycji projektu - raport podsumowujący I edycję projektu - raport z ewaluacji ex-ante ewaluowanego projektu - dane z monitoringu - protokoły z posiedzeń Komitetu Sterującego - informacje dotyczące wydatkowania środków - rejestr wypracowanych produktów - ankiety zarządcze i opracowane na ich podstawie raporty za okres VI-IX i X-XII 2011

8. Kwestie metodologiczne (3) • Sondaż zrealizowany przy pomocy ankiet papierowych odnoszących się do poszczególnych form wsparcia: - kwestionariusze ankiet dot. warsztatów aktywizujących, warsztatów kompetencjioraz szkoleń zawodowych - kwestionariusze ankiet dot. oceny projektu przez OZP oraz ich otoczenie (tj. ankiety samooceniającejwypełnianej przed i po zakończeniu udziału w projekcie w celu dokonania pomiaru rezultatów miękkich) - kwestionariusze ankiet o charakterze ogólnym dla OZP oraz ich otoczenia

9. Dane z monitoringu • Do dnia 31.03.2012 r. udział w projekcie rozpoczęło 700 osób (58%), w tym 430 to OZP (72%) a 270 to osoby z ich otoczenia (45%) • Kobiety stanowią 47% wśród OZP i 75% ich otoczenia oraz 58% ogółu BO • 176 osób zakończyło, 17 przerwało, zaś 507 kontynuuje swój udział w projekcie

10. Struktura grupy docelowej (1)

11. Struktura grupy docelowej (2)

12. Struktura grupy docelowej (3)

14. Opracowanie ID • Warsztaty kompetencji • Warsztaty aktywizujące • Konsultacje specjalistyczne • Opracowanie IPD/IŚZ • Badania lekarskie • Szkolenia zawodowe • Szkolenia BHP • Staże rehabilitacyjne • Zatrudnienie • Podjęcie nauki • Warsztaty dla otoczenia OZP • Indywidualne konsultacje

16. Obszar I: postęp finansowy i rzeczowy • Zdiagnozowane problemy: • opóźnienie w wydatkowaniu środków (34%). Kwota wniosków zaakceptowanych przez IW stanowi ok. 17% budżetu projektu • niedostateczny poziom realizacji 10 spośród 13 wskaźników • zróżnicowany udział Partnerów w osiąganiu ww. rezultatów: - największy wkład Partnera z Gorzowa (9 wskaźników zrealizowanych na najwyższym poziomie) - największą ilość wskaźników na poziomie ‹ 3% wykazują Partnerzy z Gdańska (8), Bydgoszczy (7), Poznania (7) • Skutki: ryzyko niezrealizowania projektu w zaplanowanym terminie, nieosiągnięcia 6-ciu założonych wskaźników, nadmierneobciążenieniektórychPartnerówkosztemniewywiązywaniasięinnych z podjętychzobowiązań

17. Rekomendacje: • zmiana harmonogramu projektu (wydłużenie czasu wdrażania) • zwiększenie poziomu wydatkowania środków o około 20% • modyfikacja wskaźników (uelastycznieniezapisów) • zintensyfikowanie wymiany doświadczeń pomiędzy Partnerami (dobre praktyki): - Partner z Gorzowa; wskaźnik zatrudnienia BO OZP 187%, konsultacji specjalistycznych 96%, konsultacji indywidualnych 83%, badań lekarskich 70% - Partner z Gdańska; opracowanie ID 73%, podjęcie/kontynuacja nauki przez BO OZP 67% - Partner z Łodzi; wskaźnik badań lekarskich oraz szkoleń BHP po 70%, warsztatów kompetencji 63% - Partner z Poznania; wskaźnik zatrudnienia BO OZP 80%

18. Obszar II: zarządzanie i komunikacja • Zdiagnozowane problemy: • trudności o charakterze zarządczym: - absencja na posiedzeniach KS przedstawicieli niektórych Partnerów, nadużywanie upoważnień do udziału w KS - brak terminowości w przekazywaniu przez Partnerów wymaganych dokumentów (w tym ankiet zarządczych) - trudności we współpracy i komunikowaniu się Lidera z niektórymi Partnerami oraz pomiędzy samymi Partnerami (funkcjonowanie niektórych z nich w oderwaniu od pozostałych, mniejsze zaangażowanie, wyłączenie z procesów decyzyjnych) • trudności merytoryczne (problem z rekrutacją osób z otoczenia OZP oraz pracodawców, identyfikacją osób zainteresowanych podjęciem/kontynuacją nauki) • długi czas oczekiwania na decyzje/informacje z IW (CRZL)

19. Skutki - utrudnione zarządzanie projektem, powstawanie barier i opóźnień, słabsza jakość współpracy, opóźnienia w składaniu wniosków o płatność, w przypadku niektórych Partnerów brak rzetelnych informacji zbieranych przy pomocy ankiet zarządczych • Rekomendacje: • wprowadzenie działań o charakterze dyscyplinującym, mających na celu zwiększenie zaangażowania części członków KS oraz zachowania terminowości w przekazywaniu dokumentacji (np. określenie w umowie warunków uczestnictwa/obecności na KS) • zacieśnienie współpracy pomiędzy Partnerami poprzez podjęcie działań służących integracji, wymianie doświadczeń oraz dobrych praktyk (np. organizowanie wizyt studyjnych) • uczulenie Partnerów na konieczność sumiennego wypełniania ankiet zarządczych, wyjaśnienie celu w jakim gromadzone są te informacje

20. Obszar III: rekrutacja i promocja • Zdiagnozowane problemy: • główne źródło informacji o projekcie stanowią dla 54% BO OZP ulotki i plakaty, a dla ich otoczenia sami OZP (53%), mniej więcej co trzecia osoba z obu tych grup wskazała znajomych i rodzinę (kolejno 36% i 29%) - z portali dla ON korzystało 22% BO OZP i 5% osób z ich otoczenia - z informacji prasowych po 14% osób z obu tych grup - ze strony Internetowej projektu 12% osób z otoczenia i 4% OZP (radio wskazało 5%, zaś audycje TV 2% • PartnerzyniedostarczająnabieżącoLiderowiprojektumateriałówpromocyjnych, któremająbyćzamieszczanenastronieInternetowejprojektu • Skutki – Internet, prasa, radio i TV mają nikłe znaczenie w procesie rekrutacji, niedostateczna promocja projektu, szczególnie na poziomie regionalnym

21. Rekomendacje: • intensywne angażowanie OZP w proces rekrutacji otoczenia: - przekonywanie OZP o celowości i znaczeniu uczestnictwa osób z ich otoczenia w projekcie, pokazywanie przykładów i dobrych praktyk - zachęcanie do włączania do udziału w projekcie osób spoza kręgu rodziny (przyjaciół, kolegów) - próba dotarcia do terapeutów i psychologów mających kontakt z OZP • podjęcie działań służących: - zbadaniu potrzeb Partnerów w zakresie promocji projektu na poziomie regionalnym oraz intensyfikacja danych form promocji - uświadomieniu Partnerom celowości oraz korzyści wynikających z zamieszczania materiałów promocyjnych na stronie projektu, - aktualizacji informacji nt. promocji na poziomie regionalnym (na podstawie danych z miesięcznych sprawozdań) - zintensyfikowaniupromocjiprojektunaportalachdla ON

22. Mocne strony projektu (1) • doświadczenie Lidera oraz 2-ch Partnerów w realizacji pilotażu • wdrażanie projektu zgodnie z zasadą równości szans ze względu na płeć, wiek oraz wykształcenie • zarządzanie projektem zgodnie z PCM oraz elementami metodyki PRINCE 2 • bieżące wyjaśnianie nieścisłości i nieporozumień, demokratyczny sposób podejmowania decyzji w Partnerstwie, w oparciu o wypracowany konsensus • stopniowa poprawa współpracy Partnerów z Liderem projektu, a także pomiędzy poszczególnymi Partnerami • satysfakcja Partnerów z uczestnictwa w projekcie oraz odnoszone przez nich korzyści (wzmocnienie organizacji poprzez nabywanie wiedzy i doświadczeń, nawiązywanie nowych kontaktów, autopromocja, większa rozpoznawalność)

23. Mocne strony projektu (2) • dostosowanie projektu do potrzeb prawie wszystkich BO OZP oraz osób z ich otoczenia, wysoki stopień spełnienia oczekiwań wobec projektu (98% i 95%), • bardzo wysokie odsetki pozytywnych ocen uzyskiwanego wsparcia (98% i 100%) • spełnienie oczekiwań ogromnej większości uczestników warsztatów aktywizacyjnych oraz kompetencji, szkoleń zawodowych i warsztatów dla otoczenia OZP • wysoka ocena ww. form wsparcia przyznana przez ogromną część uczestników (87-93%) gł. przygotowanie prowadzących, tematyka i forma zajęć, otrzymane materiały • przydatność zdobytej podczas warsztatów wiedzy i umiejętności (88% OZP i 94% otoczenia OZP) • wszyscy uczestnicy szkoleń zawodowych wskazują na osiągnięte korzyści (100%)

24. Mocne strony projektu (3) • postrzeganie udziału w projekcie w kategoriach sukcesu przez 96% BO OZP (ze względu na wzrost samodzielności, aktywności społeczno-zawodowej, poczucia własnej wartości), • wzrost wiary w siebie (77%) • zadowolenie niemal wszystkich BO OZP z wykonywanej pracy (poprawa sytuacji materialnej, wzrost kontaktów społecznych, zwiększenie stabilności i komfortu psychicznego, odzyskanie poczucia własnej wartości oraz wzrost aktywności) • w większości przypadków bardzo dobra współpraca z pracodawcą/pracownikami • zmiany w funkcjonowaniu społecznym OZP zaobserwowane przez 94% osób z ich otoczenia • wzrost świadomości osób z otoczenia OZP w zakresie możliwości ich wspierania (88%), zmiana sposobu postrzegania OZP, lepsze zrozumienie i uświadomienie sobie dotychczasowych błędów, uwrażliwienie, większa cierpliwość

27. Mocne strony projektu (4) • wysoki poziom kompetencji miękkich po zakończeniu udziału w projekcie większości BO OZP: - motywacji do poszukiwania pracy, mobilności zawodowej, komunikowania się, pracy w zespole, autoprezentacji, pisania cv i LM oraz samooceny (dane zebrane przez 4-ch Partnerów) • jw. w odniesieniu do osób z otoczeniaOZP: - wiedzy nt. możliwości społeczno-zawodowych OZP, radzenia sobie z chorobą, komunikowania się z OZP, interweniowania w sytuacji kryzysowej, motywacji do wspierania OZP, umiejętności jej kontrolowania i dyscyplinowania, społecznego funkcjonowania (dane zebrane przez 5 Partnerów) • brak różnic w ww. zakresie pomiędzy poszczególnymi Partnerstwami

28. II Konferencja realizowana w ramach projektu pn. „Wsparcie osób z zaburzeniami psychicznymi na rynku pracy II” Dziękuję za uwagę