TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING

1. TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING THEMATIC SESSION OF THE SLOVAK SOCIETY FOR EVALUATION Bratislava, 22.10.2009 PhDr. Marie Kaufmann Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

2. TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING • Přivítání a vzájemné představení • Pozdravení jménem prezidenta EES Murray Soundry • EES / European Evaluation Society • Poslání EES, vývoj a současná činnost • NESE – Network of Evaluation Societies • EES, Conferences • Situace a rozvoj evaluační kultury v ČR • Historie, potřeba a provádění hodnocení • Souvislost s čerpání programů pomoci EU, bilaterální a další rozvojové pomoci • Hodnocení v oblasti ekonomické a sociální politiky, Koordinace implementace a evaluací programů SF • Česká evaluační společnost • Diskuse, výměna zkušeností Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

3. TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING • Témata k diskusi: • Proč a jak hodnotit dopady, • Proč nám připadá, že evaluace nezodpovídá hlavní • strategické problémy dneška? • Jak se postavit k nejistotám prostředí? • Jakými metodami měřit dopady v oblasti ekonomické, sociální, zdravotnictví, kultury a životního prostředí? • Kdo ve vaší zemi podněcuje rozvoj teorie a praxe evaluace? Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

4. TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING • Představení: • společensko-vědní vzdělání, zaměření na mezinárodní vztahy a region latinoamerických zemí • Od roku 1996 práce na projektové bázi v oblasti evaluací, a to v souvislosti s legislativními požadavky EK na hodnocení programů – Program PHARE, TF, programy SF • Projekty v zahraničí – rozvojová pomoc, CARDS, IPA a další rozvojových programů (assessment and monitoring), lektorská činnost • Od 2004 konzhultační činnost, www.evasco.cz • Člen EES od konce 90.let, člen výkonného výboru od 2007 • Člen DEGEVAL, zakládající člen České evaluační společnosti Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

5. TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING • 2. Pozdravení jménem prezidenta EES Murray Sounderse • Universitní profesor (Lanchaster University) • Prezident EES od r.2007¨, činný v UKES • Pozdrav založení Slovenské společnosti pro evaluace, přivítání jako člena EES a NESE • Rozvoj NESE • EES a „activity streams“ Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

6. TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING • 3. Evropská evaluační společnost - EES • cíle/Goal - To promote theory, practice and utilization of high quality evaluation • Členská základna, konference, publikace, vize • „Activities streams“ • Membership services, • Communication and web • Connection with other societies • Professional development and capacity building • Resources and financial management • Quality if practice, standards and accreditation Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

7. Ideas for a first work programme for NESE • Possible objective • Exchanges of information • Presentation of good practices • Monitoring of evaluation activities and context • Encouraging use and usability • Possible means • Page on EES website • Permanent contacts • Continued moderation by EES + a national society • Meeting in Lisbon - October 2008 • Meeting in Munster October 8/9th 2009 Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

8. Raising politicians’ awareness Promoting evaluation training high Promoting evaluation as a rather high profession rather low Promoting standards low Defining standards 0% 20% 40% 60% 80% 100% Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

9. TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING • Competences • Survey - www.europeanevaluation.org • Whose competencies? • Evaluators (92%) • Evaluation managers (77%) • Junior and senior evaluators (65%) • Evaluation commissioners (63%) • Self evaluators (38%) Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

10. TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING • 9. Konference EES v Praze • Říjen 2010 • Vítejte do Prahy!! Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

11. 4. Situace a rozvoj evaluační kultury v České republice Historie, potřeba a provádění hodnocení Souvislost s čerpání programů pomoci EU, bilaterální a další rozvojové pomoci Hodnocení v oblasti ekonomické a sociální politiky, Koordinace implementace a evaluací programů SF Zkušenosti ze zpracování publikace pro V4 Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

12. EVALUAČNÍ KAPACITA Zdroj: vlastní šetření Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

13. TEMATICKÉ ZAMĚŘENÍ EVALUACÍ Tematické zaměření evaluací v rámci kohezní politiky v ČR v období 2004-2008 Zdroj: vlastní šetření Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

14. BUDOVÁNÍ EVALUAČNÍ KAPACITY • Stále markantněji se projevuje potřeba vzdělávání. Od roku 2007 se každoročně koná týdenní intenzivní školení organizované neziskovou organizací Development Worldwide s názvem "Czech Development Evaluation Training" vedené experty Světové banky. • Zapojení akademické sféry do oblasti evaluace je poměrně nízké a lze konstatovat, že evaluaci není věnována dostatečná pozornost v sociálních vědách. Zmínit můžeme pouze Centrum pro ekonomické a sociální strategie Fakulty sociálních věd Karlovy univerzity v Praze, jež se ve své výzkumné činnosti věnuje hodnocením veřejných politik. • Objevují malé ostrůvky evaluační činnosti v neziskové sféře zaměřené na hodnocení ve vzdělávání či sociální politice bez přenosu zkušeností do oblasti hodnocení programů politiky soudržnosti. • Je patrná poměrně silná dělící linie mezi hodnocením národních politik a programů a programů financovaných ze zdrojů Evropské unie. Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

15. EVALUAČNÍ TRH • V současné době je evaluační trh poměrně malý a vyprofilovaný, avšak vzrůstá konkurenční tlak, snižuje se cena. • Pracovníci v evaluačních jednotkách patří většinou ke stabilním pracovníkům řídících orgánů dřívějších programů i programů současného období. Jejich znalost prostředí a řízení projektů roste. • Strana nabídky evaluačního trhu je dnes poměrně ustálená a stabilní. Některé společnosti se již začaly uplatňovat i na zahraničních evaluačních trzích. • Vývoj evaluačního trhu plně reflektuje stav a rozvoj evaluační kultury. Hodnocení veřejných intervencí v České republice má velice slabou tradici. Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

16. ZADÁVÁNÍ A ŘÍZENÍ EVALUAČNÍCH PROJEKTŮ • Evaluace jsou většinou zadávány s legislativou EU a jejich provádění naplňuje pouze minimální požadavky. • Dalším problémem je špatné načasování evaluačního projektu způsobený jak dlouhým administrativním procesem spojeným s dodržováním zákona o veřejných zakázkách, tak v některých případech váhavostí a neznalostí na straně zadavatele. Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

17. KVALITA A VYUŽITÍ EVALUACE • Není prováděno hodnocení evaluac – metaevaluace. • Přetrvává poměrně nízká kvalita evaluačních zpráv. Mezi nejčastější nedostatky patří příliš obsáhlé závěrečné zprávy, příliš mnoho deskripce místo syntézy poznatků, nízká využitelnost závěrů a doporučení. • Nejčastěji se používají standardní metody běžně užívané v sociálně vědním výzkumu, jako jsou dotazníková šetření, řízené rozhovory, pořádání diskusních skupin, benchmarking aj. Zřejmá je absence užití sofistikovanějších metod např. využití složitějších kvantitativních i kvalitativních analýz, zkoumající úroveň cílových skupin • Často se evaluační projekty redukují na jednoduché přehledy finančního a věcného plnění, zaměřené na proces, bez jasného vztahu finančních alokací k výsledkům a dopadům dané intervence. • Dostupné jsou pouze některé evaluační zprávy, neexistuje jednotné pravidlo pro jejich šíření, publicitu a využití jejich výsledků. MMR ČR chystá jednotné místo na www. Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

18. ZÍSKANÉ ZNALOSTI A ZKUŠENOSTI • Za posledních pět let došlo k nárůstu počtu zadávaných evaluací a projektů technické asistence, jejichž výsledkem je značné zvýšení znalosti procesu hodnocení na straně jak zadavatelů, tak expertů a konzultačních společností. Jedná se o vývoj „learning by doing“. • I přes přerušenou kontinuitu na straně koordinace evaluace programů SF na Ministerstvu pro místní rozvoj ČR, se pomalu generuje know-how a zkušenosti se zpracováním zadávací dokumentace a využíváním evaluačních výsledků. • Hodnotitelé se zdokonalují v metodických přístupech k projektu, v aplikaci kvalitativních a kvantitativních metod sběru dat a stále lépe zpracovávají a strukturují evaluační zprávy. Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

19. TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING • Užitečné odkazy a kontakty • www.strukturalni-fondy.cz • http://www.strukturalni-fondy.cz/evaluace/pracovni-dokumenty- ek-k-evaluace-2007-2013 • http://www.strukturalni-fondy.cz/Narodni-organ-pro-koordinaci/Evaluacni-cinnost-2 • National coordination Unit e-mail: nok@mmr.cz • Hodnocení rozvojové pomoci: Rozvojová agentura • http://www.czda.cz/evaluace.php Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

20. TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING • Doporučené akce: • Evaluating Impact in the Current Crisis – UKES Conference • United Kingdom Evaluation Society (UKES) • Termín: 24. 11. 2009 – 25. 11. 2009 • Místo: Holiday Inn London Bloomsbury, Corman Street, London WC1N HT • www:http://www.profbriefings.co.uk/ukes2009/index.htm • Evaluation Conference of DG REGIO • Termín: 30.11. – 1.12.2009 • Místo: Waršava • 9th EES Conference in Prague, October 2010 Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz

21. TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING Děkuji za pozornost! PhDr. Marie Kaufmann Evasco s.r.o. Evaluation & Assessment & Consulting marie.kaufmann@evaluation.cz Evasco s.r.o. • Rumunská 1 • CZ 120 00 Praha 2 •Tel/Fax +420 222 074 109 • www.evasco.cz