Zarządzanie badaniem ewaluacyjnym

1. Zarządzanie badaniem ewaluacyjnym Elżbieta Opałka Krajowa Jednostka Oceny Departament Koordynacji Polityki Strukturalnej Ministerstwo Rozwoju Regionalnego

2. Decyzja o ewaluacji Zakres ewaluacji Realizacja badania Instytucja Zarządzająca/Pośrednicząca (Zespół Sterujący Ewaluacją) Jednostka Ewaluacyjna/Grupa Sterująca Zespół ewaluacyjny Raport z ewaluacji Opinie/wnioski Wykorzystywanie wyników Proces realizacji badania ewaluacyjnego

3. Kryteria jakości procesu ewaluacji: • Odpowiedni opis przedmiotu zamówienia (SOPZ): opis zamówienia został dobrze przygotowany, był przydatny i nie wymagał weryfikacji • Prawidłowe zamówienie publiczne: zostało prawidłowo przeprowadzone a wybrany wykonawca był w stanie przeprowadzić ewaluację na odpowiednio wysokim poziomie • Dostępność: informacji/danych (z systemu monitorowania), respondentów • Odpowiednie zarządzanie procesem: bieżąca współpraca zamawiających i innych partnerów z ewaluatorami • Skuteczne wykorzystanie wyników ewaluacji (z dostarczonych raportów ewaluacyjnych) przez zlecających ewaluację oraz wszystkich zainteresowanych partnerów (w tym popularyzacja wyników ewaluacji)

4. Współpraca z Wykonawcą Spotkanie inicjujące badanie: • Ustalenie szczegółowych zasad współpracy (w tym częstotliwość spotkań) • Szczegółowe omówienie koncepcji badania • Uwagi i pytania do treści oferty będącej podstawą raportu metodologicznego (dyskusja nad słabościami oferty) • Wymagania dot. raportu metodologicznego • Dostępność danych oraz namiary na uczestników badania • Ustalenie treści pisma wprowadzającego • Podpisanie umowy na realizację badania

5. Współpraca z Wykonawcą Spotkania w trakcie realizacji badania: • Spotkania wcześniej zaplanowane (najlepiej dostosowane do etapów prac badawczych) oraz spotkanie ad hoc (w razie konieczności) • Możliwość kontroli nad przebiegiem badania • Identyfikacja barier w realizacji badania • Ewentualne modyfikacje koncepcji badania (np. w przypadku obiektywnych trudności w uzyskaniu danych; weryfikacja i zmiana wymagań odnośnie zakresu wyników badania, w tym modyfikacja prób, grup respondentów, narzędzi)

6. Współpraca z Wykonawcą Prezentacja raportu metodologicznego: • Ok. 2-3 tygodnie od dnia podpisania umowy • Prezentacja projektu raportu na forum Grupy sterującej (uwagi, dyskusja - zlecający pełni rolę moderatora) • Raport wcześniej rozesłany do członków Grupy sterującej • Rola zlecającego/jednostki ewaluacyjnej: weryfikacja zasadności uwag zgłaszanych przez zainteresowane strony/członków grupy sterującej

7. Raport metodologiczny • Układ raportu metodologicznego: • opis obszaru badawczego • metodologia badania (metody, narzędzie) • plan organizacji pracy badawczej • ocena raportu metodologicznego analogiczna jak w przypadku oceny ofert (raport metod. stanowi uszczegółowienie oferty) • poprawna weryfikacja raportu metodologicznego pod kątem celów badania i dostępności danych determinuje przebieg całego procesu badawczego

8. Raporty cząstkowe • w przypadku badań dużych, etapowych lub gdy części składowe badania stanowią odrębne całości (np. analiza ilościowa/diagnoza stanu) • możliwość większej kontroli nad przebiegiem badania • możliwość ukierunkowania badania w trakcie realizacji • uzależnienie płatności od postępów badania (czynnik motywacyjny)

9. Raport końcowy Oczekiwania odnośnie raportu końcowego i prezentacji wyników (wskazane w SOPZ): Struktura raportu końcowego: • streszczenie raportu (w języku polskim i angielskim), • spis treści, • wprowadzenie, • opis zastosowanej metodologii oraz źródła informacji wykorzystywanych w badaniu, • opis wyników ewaluacji, • wnioski i rekomendacje, • aneksy

10. Raport końcowy Oczekiwania odnośnie raportu końcowego i prezentacji wyników: • określenie terminu prezentacji (np. na forum Grupy Sterującej), • w ramach prezentacji wyników: konsultacje z ewaluatorem w zakresie wdrożenia rekomendacji

11. Raport końcowy Oczekiwania odnośnie raportu końcowego i prezentacji wyników: • określenie terminu prezentacji (np. na forum Grupy Sterującej), • w ramach prezentacji wyników: konsultacje z ewaluatorem w zakresie wdrożenia rekomendacji.

12. Raport końcowy Forma raportu: • Raport ewaluacyjny powinien zawierać krótkie (10stronicowe) podsumowanie przebiegu badania, w tym głównych obserwacji, wniosków i rekomendacji (tzw. executive summary). Ten dokument będzie podstawą rozpowszechniania wyników ewaluacji. • Raport wraz ze streszczeniem powinien być napisany zwięzłym i przejrzystym językiem; liczyć ok. 100 stron (dodatkowo w aneksach przedstawić można przeanalizowane studia przypadków czy przeprowadzone analizy ilościowe). • Wnioski i rekomendacje mogą być powtórzone w formie listy na wstępie raportu (po executive summary). Powinny jednak mieć jasne uzasadnienie w tekście – przy każdym z nich powinno się znaleźć odesłanie do szczegółowej części raportu.

13. Raport końcowy Forma raportu: • Wskazane jest by, każdy z rozdziałów miał krótkie podsumowanie. • Rekomendacje powinny być jasne i praktyczne, najlepiej pogrupowane tematycznie Jeśli to możliwe dobrze jest podać rekomendacje wiodące (np. 10 rekomendacji) i do każdej z nich szczegółowe zalecenia o bardziej operacyjnym charakterze. • Rekomendacje powinny mieć załączoną skalę czasową (czy są to działania pilne, czy możliwe do wprowadzenia w średnim okresie), a także określać/sugerować, do kogo należeć powinno w pierwszej kolejności ich wdrażanie.

14. Raport końcowy Forma raportu: • Jeśli grupa odbiorców raportu jest duża i zróżnicowana warto pomyśleć o przewodniku dla czytających (krótkie sugestie, które części raportu będą dla danego czytającego – np. KE, beneficjenta, samorządu – najbardziej użyteczne). • Krótkie komentarze na marginesie – prezentujące sedno danego akapitu czy części raportu bardzo ułatwiają szybkie czytanie i znajdowanie interesujących dla czytelnika informacji. • Przejrzystość i przystępność tekstu zwiększają tabele, schematy i zestawienia zamieszczone w ramkach studia przypadku (case studies). • W aneksach do raportu powinny znaleźć się: wykorzystane dane statystyczne, załączniki z formularzami użytych ankiet, listy konsultowanych osób i wykorzystane źródła. Do raportu (w oddzielnym aneksie) można również dołączyć tekst SOPZ.

15. Ocena raportu końcowego(elementy oceny) • Spełnione oczekiwania: Czy ewaluacja rozstrzyga wszystkie zagadnienia ewaluacyjne i czy odpowiada wymaganiom sprecyzowanym w SOPZ? • Właściwy zakres: Czy trafność programu, jego produkty, rezultaty, oddziaływania, interakcje z innymi politykami i nieoczekiwane efekty zostały objęte analizą? • Odpowiedni projekt: Czy wybrane podejście badawcze i użyte narzędzia były adekwatne w stosunku do postawionych pytań (uwzględniając istniejące ograniczenia metodologiczne)? • Poprawność doboru danych: Czy użyte dane pierwotne i wtórne były odpowiednie do przedmiotu analizy? Czy są wystarczająco wiarygodne?

16. Ocena raportu końcowego • Solidna analiza: Czy informacje jakościowe i ilościowe były poprawnie analizowane, zgodnie z bieżącą metodologiczną wiedzą i standardami? Czy były kompletne i wystarczające by odpowiedzieć na zadane pytania? • Wiarygodne wyniki: Czy wyniki badania są logiczne, wypływają z przeprowadzonej analizy i mają oparcie w zebranych danych oraz ich interpretacji opartej na sformułowanych hipotezach wyjaśniających? • Ważne konkluzje: Czy raport dostarcza jasnych konkluzji? Czy są one poparte wiarygodnymi dowodami?

17. Ocena raportu końcowego • Bezstronne i użyteczne rekomendacje: Czy rekomendacje są uczciwe, niezniekształcone przez osobiste uprzedzenia zlecającego? Czy są wystarczająco szczegółowe by móc je wdrożyć? • Przejrzystość raportu: Czy raport opisuje kontekst, cele, organizację i rezultaty analizowanego programu w taki sposób, że przedstawiane informacje są przystępne?

18. Najczęstsze błędy w raportach ewaluacyjnych • raport zbyt obszerny opisujący wszystko co się wydarzyło • wyciąganie nieuprawnionych wniosków, nie mających uzasadnienia w ustaleniach • zalewanie danymi, z których tylko część poddana jest analizie • formułowanie mało użytecznych rekomendacji • pobieżność analiz • ograniczona wiedza o szerszym kontekście ewaluowanej interwencji (innych podobnych przedsięwzięciach i ich ewaluacjach)

19. Najczęstsze błędy w raportach ewaluacyjnych • brak interpretacji, wniosków, komentarzy • zbędna koncentracja na szczegółach bez ogólnego obrazu wyników • schematyzm i rutyna w doborze metod badawczych • wykorzystywanie informacji bez podawania jej źródeł • chaotyczna struktura raportu, streszczenie napisane w pośpiechu • używanie żargonu badawczego (skrótów językowych)

20. Kanały Komunikacji Spotkanie połączone z dyskusją Skrócony raport Publikacja Prezentacja Broszury, artykuły Konferencja prasowa Odbiorcy Zarządzający i wdrażający program     Instytucje europejskie, regionalne, krajowe   Obywatele, Prasa    Kanały komunikacyjne raportów ewaluacyjnych

21. Zarządzanie rekomendacjami Wnioski i rekomendacje powinny być: • jasne / konkretne • realistyczne, pragmatyczne (z podanym horyzontem wdrożenia) • aktualne • bezstronne, obiektywne • skierowane do konkretnych adresatów • uzasadnione – wynikające z faktów i oparte na wynikach badań, na wiarygodnych danych, szczegółowej wielowymiarowej analizie i trafnej ocenie • kluczowym wnioskom odpowiadają konkretne rekomendacje

22. Zarządzanie rekomendacjami • o zakresie i sposobie wykorzystania rekomendacji decyduje w zakresie swoich kompetencji Instytucja Zarządzająca/Pośrednicząca, • rolą Jednostki Ewaluacyjnej we współpracy z Grupą sterującą jest analiza i operacjonalizacja zaproponowanych przez ewaluatora rekomendacji, • umowa z wykonawcą może zakładać doradztwo ewaluatora w zakresie sposobu wdrażania rekomendacji, • Instytucja Zarządzająca/Pośrednicząca monitoruje proces wdrażania rekomendacji sformułowanych w wyniku przeprowadzonych ewaluacji (Informacja roczna w zakresie ewaluacji)

23. Dziękuję za uwagę elzbieta.opalka@mrr.gov.pl