Principy, procesy a metody sebe-evaluace

1. Principy, procesy a metody sebe-evaluace Prabir Ganguly EURO SERVICE GROUP, s.r.o. info@eurosg.com Seminář “Sebehodnocení projektu v rámci CIP EQUAL“, 27. března 2007, Ostrava Program Iniciativy Společenství EQUAL v ČR je spolufinancován ESF a státním rozpočtem ČR

2. Co je sebe-evaluace? 1/2 Sebe-evaluace je strukturovaný proces systematického plánování, kontrolování (měření) a hodnocení výstupů / výsledků, nějaké činnosti / souboru činností / předmětu zájmu (míra jednotlivých principů CIP EQUAL) za účelem pochopení některých jevů, zejména ve vztahu k procesům a produktům. Tento proces vesměs používá vnitřní zdroje RP i když využívání služeb externích evaluátorů není vyloučeno. Sebe-evaluace není monitorování. Monitorování poskytuje informace o stavu naplnění výstupních indikátorů.

3. Co je sebe-evaluace? 2/2 Monitorovací údaje je nutné interpretovat (evaluovat) a někdy jsou základem pro další zkoumání. Proto je monitorování velmi užitečný startovací bod pro efektivní evaluaci. Monitorování lze provést bez evaluace, ale evaluace nelze provést bez monitorování. • Evaluace využívá monitorovací údaje za účelem získání odpovědí na otázky typu: • Co se stalo? • Jak se to stalo? • Proč se to stalo? • Zda-li bylo dosaženo cíle?

4. Některé charakteristiky sebe-evaluace RP Sebe-evaluace vesměs používá vnitřních zdrojů RP, i když využívání služeb externích evaluátorů není vyloučeno • Sebe-evaluace je průběžný a cyklický proces a výsledky lze použít pro zlepšení kvality projektu, RP a výstupů • Rozsah sebe-evaluace lze určit dle potřeby RP ve vztahu k potřebám programu • Sebe-evaluace RP poskytuje vstupní údaje pro hodnocení programu • Kvalita sebe-evaluace je závislá na alokaci zdrojů, dovedností partnerů, členů projektového týmu apod.

5. Vztah sebe-evaluace k evaluaci CIP EQUAL 1/2 CIP EQUAL je evaluován ve třech úrovních :

6. Realizace projektu Výstupy Dopady Sebe-evaluace RP Cíle Aktivity/ Akce Principy Implementace Produkty /procesy Výsledky sebe-evaluace RP Vztah sebe-evaluace k evaluaci CIP EQUAL 2/2

7. Tři úrovně sebe-evaluace Sebe-evaluace má tři úrovně: • evaluace cílů, aktivit, výstupů, principů • evaluace způsobů provedených aktivit, způsobů fungování RP, způsobů dosažených výstupů • evaluace dopadů aktivit Sebe-evaluace na jakékoliv úrovni by měla mít na paměti základní záměr financování RP. Základním záměrem financování RP je, aby finanční prostředky byly využity pro testování, rozvíjení a rozšíření nových způsobů, metod a produktů za účelem obohacení politiky zaměstnanosti na národní úrovni i na úrovni EU, zejména v oblasti boje proti diskriminaci a nerovnosti na trhu práce.

8. Některé záměry sebe-evaluace • Obecně sebe-evaluace je zaměřena na: • výstupy a jejich srovnávání s plánovanými hodnotami, • zjištění míry dosažení cílů, • efektivitu výstupů ve vztahu ke vstupům, • aktivity projektu ve vztahu k potřebám cílových skupin, • zkušenosti s neplánovanými jevy, ať jsou pozitivní či negativní, • udržitelnost po skončení finanční podpory.

9. Některé globální úkoly sebe-evaluace • Hodnocení cílů projektu (Podařilo se nám dosáhnout původních cílů RP? Byl tento cíl relevantní ve vztahu k cílu CIP EQUAL?) • Hodnocení produktů (Dokázali jsme vytvořit plánované inovativní nástroje v požadované kvalitě, aby odpovídaly cílům projektu a přispělo k cílům CIP EQUAL? Jaká je efektivita procesu při tvorbě a testování těchto produktů? Jaký může být dopad těchto produktů?) • Hodnocení principů (Jaká je míra naplnění jednotlivých principů? Jaký je dopad procesu naplnění na konečné výstupy? ) • Hodnocení horizontálních témat (Rovné příležitosti, Udržitelný rozvoj a Informační společnost) • Hodnocení implementace projektu (Zejména řízení, zapojení klíčových aktérů apod.)

10. Některé výsledky sebe-evaluace • V konečném důsledku sebe-evaluace poskytuje následující informace: • Co funguje velmi dobře • Co nefunguje tak dobře • Kde je třeba učinit opatření • Jaký má být rozsah a metodiky opatření. • Sebehodnocení poskytuje tyto informace na základě čtyř typů základních otázek. Jsou to: • Co se stalo? • Jak se to stalo? • Proč se to stalo? • Byly splněny stanovené cíle?

11. KDO a KDY provádí sebe-evaluaci 1/2 • KDO? • RP využitím vnitřních zdrojů projektu • Externí evaluátor • RP + externí evaluátor • KDY externí evaluátor? • Volba mezi interním a externím evaluátorem závisí na : • co chce RP evaluovat • kdy chce evaluovat • zda-li jde o průběžnou nebo závěrečnou evaluaci • časová dispozice kompetentních osob nebo partnerů RP • míra kompetence členů vnitřního evaluačního týmu RP • dostupný zdroj

12. KDO a KDY provádí sebe-evaluaci 2/2 • KDY se provádí sebehodnocení? • Provádí se v rámci životního cyklu projektu / RP • Doporučuje se provést průběžná sebe-evaluace při dosažení určitých milníků (např. ukončení Akce 1, ukončení analytické části projektu, ukončení tvorby a testování inovativních produktů, před zahájení Akce 3, po ukončení klíčové aktivity apod.) • Konečná sebe-evaluace má být provedena během konečné fáze projektu, za účelem sumarizování zkušeností RP.

13. Komu jsou určeny výsledky sebehodnocení? • Vedoucímu projektu • Členům řídícího výboru projektu/pracovním skupinám • Partnerům RP • Vybraným členům cílových skupin • NTS, NPS, ŘO • Evropská komise • Tvůrcům politik • Ostatním zainteresovaným subjektům

14. Strategie / plán realizace projektu Zdroj pro sebe-evaluaci Strategie sebe-evaluace Plán sebe-evaluace Realizace sebe-evaluačního projektu Výsledky sebe-evaluace Logický model projektu sebe-evaluace

15. Metody sebe-evaluace 1/4 • Základní způsob provedení sebe-evaluace spočívá v následujících krocích: • Stanovení indikátorů úspěšnosti (performance indicators) ve vztahu k evaluačnímu předmětu. Jde o stanovení výstupních i procesních indikátorů. • Stanovení potřeb dat, zjištění zdrojů dat a stanovení metod sběru dat • Sběr a zpracování dat ve vztahu k zadáním (úkolům a otázkám). Je nutno vytvořit podotázky • Analýza a syntéza dat • Zpracování, závěry a doporučení

16. Metody sebe-evaluace 2/4 Jednoduchá matice stanovení indikátorů úspěšnosti

17. Metody sebe-evaluace 3/4 • Nástroje ke sběru dat: • Studium souvisejících dokumentů (zápisy, DPA, TCA, programové dokumenty apod.) • Dotazníkový průzkum (pomoci otevřených i uzavřených otázek) • Případová studie (individuální řízený pohovor se subjekty, zejména partnery, členy cílových skupin apod.) pomoci strukturovaných otázek • Skupinová diskuse (setkání fokusních skupin, workshopy, brainstorming) • Peer review (odborný posudek ve vztahu k produktům či procesům) • Pozorování (zejména účastníků procesů či aktivit) • Testování (zejména inovativních produktů)

18. Metody sebe-evaluace 4/4 • Struktura sebe-evaluační zprávy: • Úvod • Kontext a cíle evaluace • Stručný popis o DP, včetně procesu vzniku • Dosavadní pokroky a problémy (evaluace realizačních aktivit, naplnění principů apod.) • Hlavní závěry (očekávaný vývoj, směr pokroku, problémů) • Doporučení (akční plán)

19. Děkujeme za pozornostPrabir GangulyEURO SERVICE GROUP, s.r.o.