Jazyková terminologická poznámka

1. Funguje to, co děláme?anebmožnosti kontrafaktuálních evaluačních přístupů ke zjišťování skutečných účinků veřejných politik. (V prezentaci je použita část materiálů z letní školy ve Fenestrele 1.-12.9.2010, vedené Albertem Martinim)

2. Jazyková terminologická poznámka • Terminologie Counterfactualimpactevaluation v současné době nemá ustálenou českou podobu (případně nemá žádnou českou podobu). • Rozvoj českého pojmosloví je jedním z vedlejších cílů evaluačního projektu, v jehož rámci se koná tento seminář. • Ve svém vystoupení tak budu užívat jak anglických termínů, tak budu experimentovat s možnými odpovídajícími českými pojmy. • Zpětnou vazbu k pojmosloví vítáme!

3. Cíl workshopu • Seznámit s konceptem CounterfactualImpactEvaluation(?srovnávacího hodnocení dopadů?), možnostmi a limity použití použití jednotlivých metod. • Ambice je v posunu účastníků ze stavu „nevím, co nevím“ do stavu „vím, co nevím“ (nenaučím vás CIE). • Připravit předmostí pro častější používání kvantitativních metod v prostředí českých strukturálních fondů. • Přinést úvod do problematiky před navazujícím workshopem, který se věnuje aplikaci metod CIE na oblast podpory 1.1 OP LZZ – „Adaptabilita“

4. Co to je ta Counterfactual impact evaluation • Nejprve se pustíme vysvětlení klíčových pojmů: counterfactual a impact • O vysvětlení pojmu evaluace se raději pokoušet nebudu…

5. Kontext Při hodnocení programů strukturálních fondů existují tři základní otázky: • „Manažerská“: Plním plán? • Na tuto otázku více-méně odpovídá monitoring • „Politická“: Přináší to výsledky dostatečné, abych byl opět zvolen? (Accountability) • Pokrok metodou pokusů a omylů? • „Vědecká“: Co funguje, jak a proč? • Intuice se může mýlit, co platí jsou důkazy. • Kauzalita se nemůže jen předpokládat, musí se prokázat (snižují rekvalifikace nezaměstnanost?). V současná (česká/evropská) evaluační praxe stojí hodně na názorech expertů a málo na rigorózních důkazech, často se píše o tom, jak a proč něco funguje, aniž by se věrohodně prokázalo, že to vůbec funguje.

6. Counterfactual impact evaluation Counterfactualimpactevaluation je důsledně vědecký převážně kvantitativní přístup opírající se experimenty a kvaziexperimenty (kontrolní a srovnávací skupiny / control & comparisongroups). Není to jediný správný přístup (průzkumy, případové studie, ekonometrické modelování, kvalitativní metody obecně jsou také důležité). Není vždy použitelný (vyžaduje velké „N“, dostatek dat, určitý typ intervence…). Pomocí CIE nelze hodnotit program jako celek (příliš složitý komplex), ale velmi dobře některé projekty, výzvy či oblasti podpory. Ale pokud jde použít, představuje „zlatý standard“ kvality důkazů. V rigorózním designu CIE se snadno hledají chyby (pro toho, kdo tomu rozumí), protože je velmi transparentní. CIE evaluátoři jsou nazí evaluátoři.

7. What the hell is „Counterfactual“!? • „Český“ pojem kontrafaktuál není nic moc. • Nenapadá mě výstižnější než „co-by-kdyby“. • Counterfactual tedy označuje hypotetickou situaci, která by nastala, pokud by intervence nebyla realizována. Jde o stav cílové oblasti v případě alternativní historie. • Counterfactual nelze pozorovat, jde o fikci, ideu. V řadě případů však lze pomocí statistických metod a za explicitně vyjádřených předpokladů counterfactual věrohodně odhadnout (estimate). • Odhad kontrafaktuálu(?nulové varianty?)je ústředním problémem Counterfactualimpactevaluation – CIE.

8. Pozorovatelnost Observability Je principiální, teoretická. Dostupnost dat Data accessibility Je praktická záležitost, dostupnost může být limitována rozpočtem, (ne)existencí záznamů atd. Intermezzo ITerminologická vsuvka

9. Dekonstrukce pojmu Impact • Impact, česky dopad je v žargonu strukturálních fondů (vzor 2007-2013) zpravidla chápán v souvislosti s logickým rámcem (logframe, logicalframework) jako nějaký finální výsledek, dlouhodobý efekt intervence kdesi na konci tradiční kauzální linievstup => aktivita => výstup => výsledek => dopad

10. Stylizovaný logframe operativní specifické globání cíle výsledky dopady výstupy vstupy aktivity indikátory Jak se toto sleduje?

11. Indikátory dopadu • Současné (2007-2013) metodiky EK říkají: • “The ultimate objective of Structural Funds and Cohesion Fund assistance is a certain impact, measured as far as possible by impact indicators” • Indikátory mají různá označení, která pomáhají uchopit jejich význam. • Máme indikátory vstupů (input indicators), indikátory výstupů (output indicators), … indikátory dopadů (impact indicators), indikátory kontextu (contextual indicators),… • Pokud indikátory výstupů měří výstupy, pak indikátory dopadů měří dopady. • Pokud indikátory výstupů měří výstupy, pak indikátory dopadů měří dopady???

12. NE! • Protože to by znamenalo, že impact je pozorovatelný a stav cílové oblasti po intervenci je ovlivněn pouze intervencí samotnou.

13. Aby bylo jasno:Na indikátorech není nicšpatného. Něco shnilého ve státě dánském je však s indikátory pokud jde o přičitatelnost (attribution). Klíčovou otázkou je, zda indikátory samy o sobě mohou měřit impact/dopad.

14. Contribution(česky = přispění?) Užívá se pro vyjádření, že zkoumaná intervence má nějaký účinek na cílovou oblast, tj. je schopna dění v cílové oblasti (nějak) ovlivnit. Neboli: je intervence jedním z faktorů ovlivňujících cílovou oblast? Na „contribution“ lze usuzovat z konstrukce teorie změny (popisu kauzálních vztahů intervence) a zkoumáním naplnění jejích předpokladů. Attribution (česky = přičitatelnost?) Označuje skutečný příspěvek intervence ke stavu cílové oblasti. Co intervence skutečně způsobila? Jakou změnu cílové oblasti lze přičíst jen intervenci po očištění dalších vlivů? „Attribution“ lze odhadnout pomocí metod „Counterfactual impact evaluation (CIE)“. Intermezzo IIDva často zaměňované pojmy

15. V kontextu logického rámce (a EK 2007-2013) Pozorovatelná proměnná Stav, který plánujeme, nebo si přejeme, aby nastal V kontextu counterfactualimpactevaluation(a snad EK 2014+) Nepozorovatelný rozdíl mezi pozorovatelnou skutečností a hypotetickým stavem Skutečný účinek intervence Odlišné významy Impact

16. Na logických rámcích není nic špatného • Jsou nenahraditelné pro plánování (Kéž by každý program či projekt měl už v základním dokumentu namalovanou teorii změny!) • Jsou důležité pro monitoring • Jsou užitečné pro evaluace • Ale nemohou dost dobře odpovědět na základní otázku: „FUNGUJE TO?“

17. Impact v kontextu CIE • Sociální vědy definují impact/dopad jako • “the difference between a situation observed after a stimulus has been applied and the situation that would have occurredwithout such stimulus” • „rozdíl mezi situací pozorovanou po provedené intervenci a situací, která by nastala bez takové intervence“.

18. Co je tedy impact? • Impact lze definovat pouze, pokud víme: • Dopad čeho zkoumáme (intervence/treatment) • Dopad pro koho(a ve srovnání s kým) zkoumáme(pro podpořené osoby, firmy) • Dopad na co zkoumáme(na konkrétní proměnnou – tržby, zaměstnanost, výdělek…) • Otázka jaké jsou dopady OP LZZ proto bez dalšího upřesnění nedává smysl.

19. Co je tedy impact? • Dopad/impact je definován jako rozdíl v hodnotě zkoumaného indikátoru (Y) v situaci s intervencí (Y1) a v situaci bez intervence (Y0). • Tedy, impact= Y1 – Y0 • Impact lze v tomto kontextu použít jako synonymum slov efekt, účinek, dopad. Nemá smysl se zabývat tím, zda jde o efekt krátkodobý či dlouhodobý.

20. Co je tedy contrafactual impact evaluation? “An impact evaluation is a study which tackles the issue of attribution by identifying the counterfactual value of Y (Y0) in a rigorous manner“ CIE je studie, která řeší problém přičitatelnosti (attribution)pomocí hledání kontrafaktuální hodnoty Y (Y0) rigorózním, vědeckým způsobem. CIE není umění. Je to věda. No dobře, je to věda, při které se občas hodí trocha intuice.

21. Ideální postup evaluace • Kvalitativní přípravná studie s cílem porozumět zkoumané intervenci (klíčové je přesné zmapování procesu výběru účastníků/participants). • Kvantitativní evaluace - konstrukce kontrafaktálu (získáme odpověď na otázku FUNGUJE TO?) (CIE) • Pokud to statistické parametry (velikost vzorku apod.) dovolí, lze zkoumat otázku PRO KOHO TO FUNGUJE LÉPE? (CIE) (Ryzí kvantitativci mohou skončit zde.) 4. Kvalitativní studie (např. případové studie) s cílem vysvětlit PROČ TO (NE)FUNGUJE? (Theory based evaluation, case studies)

22. Jak účinkuje intervence Zjednodušený příklad • Předpokládejme, že náš program (treatment) spočívá v možnosti získat grant v jednotné výši 50.000 Kč na vytvoření jednoho pracovního místa. Jde o binární proměnou, buď T=1 (existuje možnost grantu) nebo T=0 (neexistuje možnost grantu). Pro zjednodušení: každý, kdo grant dostane, pracovní místo i vytvoří. • Výsledek je také binární, buď se vytvoří místo (Y=1) nebo nevytvoří (Y=0).

23. Co může v tomto jednoduchém světě nastat? Počet vytvořených míst S intervencíBez intervence Dopad (Y|T=1) (Y|T=0) (Y|T=1) - (Y|T=0) Compliers/ovlivnitelní:1 0 = 1 Always takers/pilní:1 1 = 0 Never takers/líní: 0 0 = 0 = -1 Defiers (kverulanti):0 1 (také se jim říká puberťáci)

24. Možné výsledky T=1 Pozitivní dopadje jen mezi ovlivnitelnými, je však obtížné je identifikovat COMPLIERS ALWAYS-TAKERS 1  = 1  = 0  = 0  = -1 DEFIERS 0 NEVER TAKERS T=0 1

25. T=1 COMPLIERS 1 ALWAYS-TAKERS  = 1  = 0 Řekněme, že neexistují (nebo jich je zanedbatelný počet – jsou fakt divní).  = 0  = -1 DEFIERS (Pokud existují) 0 NEVER TAKERS T=0 1

26. T=1 COMPLIERS 1 ALWAYS-TAKERS  = 1  = 0  = 0 Jsou pozorovatelní: Ti, kteří si grant mohli vzít, ale nevzali. 0 T=0 NEVER TAKERS

27. T=1 Vzali si grant a změnili své chování COMPLIERS 1 ALWAYS-TAKERS  = 1  = 0 Vzali si grant, ale nové místo by vytvořil i bez něj 0 T=0 1

28. T=1 Neexistuje zjevný způsob jak je odlišit COMPLIERS 1 ALWAYS-TAKERS  = 1  = 0 0 T=0 1

29. Co může v tomto jednoduchém světě nastat? S intervencíBez intervence Impact (Y|T=1) (Y|T=0) (Y|T=1) - (Y|T=0) Compliers(ovlivnitelní):1 0 = 1 Always takers (pilní):1 1 = 0 Never takers (líní): 0 0 = 0 = -1 Defiers (kverulanti):0 1 (také se jim říká puberťáci)

30. To je vše co lze pozorovat! Compliers: Y = 1 Always takers : Y = 1 Never takers: Y = 0 Se všemi daty (a se všemi myslitelnými indikátory) nemůžeme určit, které z 1000 podpořených firem by vytvořily pracovní místo i bez obdrženého grantu. Takže zatím nevíme, jaký byl dopadnaší politiky

31. A také zde narážíme na jeden další pojem – Mrtvá váha • DEADWEIGHTnení nic jiného než maskovaný counterfactual; • DEADWEIGHTje výsledek always-takerů; • DEADWEIGHTnení efekt, který by se měl odečíst, spíše ukazuje na absenci zamýšleného efektu zkoumané politiky; • DEADWEIGHT je zpravidla uvažován, jen pokud stojí peníze, jinak nikoho nezajímá (přitom čistě logicky mrtvá váha politiky nařizující snížení rychlosti na silnici jsou ti, kteří jezdí pomalu sami od sebe); • DEADWEIGHT pohřbíme na Hřbitov Zbytečných Pojmů, protože • Je nepozorovatelný, a proto nepoužitelný v monitoringu • Je redundantní v konceptu CIE

32. Occamova břitva “entia non sunt multiplicanda praeter necessitatem” „pojem nemá být vytvořen pokud to není nezbytně nutné“. • Deadweight • Hrubý dopad • Čistý dopad • Indikátory dopadu • Účelnost / Effectiveness • (Účinnost / Efficiency) Hřbitov zbytečných pojmů

33. Odlišitcompliersa always takersje stejný problém jako odlišit impactacounterfactual (nebo †deadweight) Potřebujeme další data a (netestovatelné) předpoklady, abychom mohli impact odhadnout. Potřebujeme identifikační strategii (identification strategy)

34. Přehled identifikačních strategií(designů CIE) Existuje několik základních přístupů, které vyžadují různě silné předpoklady. Neexistuje univerzálně nejlepší přístup. Některé ale vyžadují tak silné předpoklady, že jsou v praxi neužívané (ale svojí jednoduchostí se hodí k pochopení těch složitějších). Zpravidla mají velmi silnou interní validitu, avšak často slabší externí validitu.

35. Vnitřní platnost Internal validity Vnitřní čistota vědeckého postupu, kdy ze samotné jeho konstrukce vyplývá platnost závěrů pro konkrétní zkoumaný jev. Vnější platnost External validity Souvisí se zobecnitelností závěrů. Např.: pokud prokáži s velkou interní validitou, že impact OP LZZ na zaměstnanost podpořených žen v jihočeském kraji ve srování s nepodpořenými byl velký, mohu usuzovat, že OP LZZ bude fungovat i na muže v moravskoslezském kraji? Intermezzo IIITerminologická vsuvka

36. Interní a externí validita Slabou interní validitu má např. fokusní skupina vybraná metodou sněhové koule. Slabiny CIE metod v externí validitě lze odstranit opakováním velkého množství evaluací obdobných intervencí nebo kombinací s kvalitativními metodami (mixedmethods), kdy poté, co díky CIE zjistím, jak moc intervence funguje, mi např. Theorybasedimpactevaluation může osvětlit, proč to funguje.

39. PRE & POST • Měříme pouze situaci účastníků před intervencí a po intervenci. • Tzv. one group pretest posttest design(Před a po bez kontrolní skupiny) • Základní předpoklad: neexistuje přirozená dynamika, tj. bez politiky by zůstal původní stav • Takto lze např. zjišťovat „Dopad stavebních aktivit ŘSD v roce 2010 na délku dálniční sítě v ČR“

41. PRE & POST • Problém je v akceptovatelnosti předpokladu, že neexistuje přirozená dynamiky, protože věci se, jak známo, mění samy od sebe. • Pokud přirozená dynamika je nulová, pak je dopad skutečně roven rozdílu mezi konečnou a výchozí situací. • Pokud však je přirozená dynamika pozitivní (věci se samovolně zlepšuji), pak by byl dopad nadhodnocen. • Pokud je přirozená dynamika negativní (věci se zhoršují), pak by byl dopad podhodnocen.

42. PRE & POST • Možností rozvinutí tohoto přístupu je získání dalších pozorování – časové řady • Onegroupinteruptedtime-series design Impact? Začátek intervence

43. PRE & POST • Předpoklad absence přirozené dynamiky se mění na předpoklad neměnnosti trendu. • Stále velmi silný předpoklad • (Můžete se třeba pokusit vyloučit všechna alternativní vysvětlení, proč by se trend mohl změnit.)

45. Intuitivní příklad? • Ve třídě nabídneme doučování z matematiky. • Část žáků se přihlásí, část nikoliv. • Na konci roku je průměrná známka z matematiky ve skupině doučovaných 3,2 a ve skupině nedoučovaných 2,7. • Bylo doučování prospěšné? • Jaký je impact/dopad doučování? • Jak probíhal proces výběru (selectionprocess)?

46. WITH & WITHOUT • Měříme situaci účastníků po intervenci a situaci neúčastníků po intervenci, rozdíl považujeme za dopad. • Základní předpoklad: neexistují předintervenční rozdíly mezi skupinami způsobené procesem výběru účastníků • Nebo jinak: pokud by ani jedna skupina nebyla podpořena, jejich výsledky by byly stejné.

47. Diskuse • Navrhněte způsob, jak změřit účinek (impact) doučování žáků z matematiky.

48. Jak zajistit totožnost (tedy porovnatelnost) skupiny účastníků a neúčastníků, tj. nulový selectionbias – nulové zkreslení výběrem účastníků?Tady aby výsledek účastníků a neúčastníků v situaci bez intervence byl totožný? NEJLEPŠÍ ZNÁMÝ ZPŮSOB JE PROVÉST NÁHODNÉ PŘIŘAZENÍ (RANDOM ASSIGNMENT) 48

49. Experimentální metodyRandomizedcontroltrials • Experimentální design používá náhodně vybranou skupinu účastníků (treatedgroup) a kontrolní skupinu (controlgroup). • Při použití náhodného přiřazení centrální limitní věta (a dostatečná velikost obou skupin) zajistí, že obě skupiny jsou ekvivalentní ve svých pozorovatelných i nepozorovatelných charakteristikách. • Tento přístup má silnou interní validitu (byť existují problémy, zvláště pokud se ví, kdo je v jaké skupině – viz tzv. Hawthroneeffect), ale omezenou možnost zobecnění.

50. Výběr ve skutečném světě strukturálních fondů • 1. OprávněnostOprávněnost je dána na základě pozorovatelných, zpravidla objektivních veličin (působí to selecionbias?). • 2. Rozhodnutí o účastiNe všichni oprávnění podají žádost, rozhodují o tom nepozorovatelné jevy (působí to selectionbias?). • 3. VýběrRozhodování o tom, koho podpořit, probíhá na základě pozorovatelných objektivních i subjektivních veličin, s určitou dávkou náhodnosti (působí to selectionbias?).