Hvordan vurderer jeg effekter af indsatser ? - workshop om effektmåling

1. Hvordanvurdererjegeffekterafindsatser?- workshop omeffektmåling Ved Danmarks Evalueringsinstitut (EVA) 19. august 2013

2. Program 10.00-10.10: Velkomst og program for dagen 10.10-10.30: Oplæg om forskellige tilgange til vurdering af effekter 10.30-14.10: Oplæg og arbejde med indsatsteori (både oplæg og arbejde med case) inklusiv 35 min til frokost 14.10-15.45: Oplæg og arbejde med brug af sammenligningsgrupper (både oplæg og arbejde med case) 15.45-16.20: Arbejde med case ud fra selvvalgt fokus 16.20-16.30: Opsamling på dagen i plenum

3. Forskellige tilgange til at vurdere effekt

4. Hvad er effekt? • Definition på effekt: • Årsags-virkningssammenhæng (kausalsammenhæng) mellem en indsats og et mål. • En indsats har først en effekt, hvis den kan forklare hele eller dele af ændringen i et ønsket/uønsket resultat (mål). • Evidens: • Evidensbegrebet forbindes ofte med viden om indsatsers effekt (hvad virker) • Evidens begrebet er bredere end effekt • Evidence: ”the availablebody of facts or information indicatingwhether a beliefor proposition is true or valid”Kilde: Oxford Dictionaries

5. Hvad vil det sige at vurdere effekter?

6. Fundamentet i vurdering af effekter Om indsatsen: • Indsatsen er afgrænset så vi ved hvilke tiltag der hører til indsatsen og hvilke der ikke gør • Vi ved hvem der er målgruppen for indsatsen • Vi skal have viden om at indsatsen er implementeret Om resultatmålet: • Vi har en klar forestilling om hvad indsatsen skal påvirke og vi kan måle det Om tidsperspektivet: • Vi har gjort os nogle tanker om hvornår det er rimeligt at tro at indsatsen har haft en effekt

8. Virkningsevaluering

9. Virkningsevaluering • Virkningsevaluering handler om at undersøge hvordan og hvorfor en indsats virker, for hvem og under hvilke omstændigheder. • Fokus på den betydning konteksten har for indsatsen og resultatet.

10. To faser ved virkningsevaluering 1) Man opstiller en teori for indsatsen: Bag enhver indsats ligger nogle antagelser om, hvad, hvordan og hvorfor vi tror en indsats virker for at nå et mål. Teorien gør disse antagelser tydelige. 2) Dernæst tester man teorien, gerne ”real time” Ved hjælp af forskellige typer data undersøger vi • om indsatsen rent faktisk implementeres som det var tænkt • om og hvordan indsatsen fører til de ønskede resultater

11. Virkningsevaluering kræver en indsatsteori Eleverne får redskaber til at håndtere vanskelige situationer Indsats: Netværk mellem tidligere hu-elever og hu-lærere Netværket består både af tidligere hu-elever som lige er påbegyndt en uu og tidligere hu-elever som har været i gang med deres uu i længere tid. Netværket mødes ugentligt fra august – november. Møderne foregår på hu-tilbuddet. En hu-lærer faciliterer netværksmøderne Udfordring Overgangen mellem hu og uu er for mange elever vanskelig Eleverne deler tanker, følelser og erfaringer med at påbegynde en uu. Eleverne oplever at de er i stand til at håndtere nye udfordringer Mål (kort sigt) Eleverne fastholdes i de første 3 måneder i uu. Mål (lang sigt) Eleverne gennemfører en ungdomsuddannelse De ‘erfarne’ elever fortæller om deres overgang fra hu til uuog om deres tid på uu. Eleverne bliver inspireret af de gode historier Eleverne trives Eleverne oplever at de ikke står alene med deres oplevelser Eleverne fastholder relationen til deres hu-kammerater

12. Hvad kan en indsatsteori bruges til? (1) I planlægningsfasen: • fokusere indsatsen og tydeliggøre sammenhængen mellem aktiviteter og mål • opnå et fælles billede af antagelserne – og gøre implicitte antagelser eksplicitte • træffe en fælles beslutning om hvor kompleks eller enkel indsatsteorien skal være • synliggøre behov for prioritering/fokusering

13. Hvad kan en indsatsteori bruges til? (2) I gennemførelsen: • tydeliggøre hvilke aktiviteter der skal gennemføres, og hvilke indikatorer og succeskriterier, der skal følges/holdes øje med/registreres I evalueringsfasen: • udgøre en ramme for evaluering af indsatsen

14. Virkningsevaluering kræver en indsatsteori Eleverne får redskaber til at håndtere vanskelige situationer Indsats: Netværk mellem tidligere hu-elever og hu-lærere Netværket består både af tidligere hu-elever som lige er påbegyndt en uu og tidligere hu-elever som har været i gang med deres uu i længere tid. Netværket mødes ugentligt fra august – november. Møderne foregår på hu-tilbuddet. En hu-lærer faciliterer netværksmøderne Udfordring Overgangen mellem hu og uu er for mange elever vanskelig Eleverne deler tanker, følelser og erfaringer med at påbegynde en uu. Eleverne oplever at de er i stand til at håndtere nye udfordringer Mål (kort sigt) Eleverne fastholdes i de første 3 måneder i uu. Mål (lang sigt) Eleverne gennemfører en ungdomsuddannelse De ‘erfarne’ elever fortæller om deres overgang fra hu til uuog om deres tid på uu. Eleverne bliver inspireret af de gode historier Eleverne trives Eleverne oplever at de ikke står alene med deres oplevelser Eleverne fastholder relationen til deres hu-kammerater Kontekstfaktorer Dét læreren har indflydelse på: Trygge rammer, god facilitering, møderne bliver afholdt etc. Dét læreren ikke har indflydelse på: Elevernes travlhed (på studie, job..), dynamikken mellem eleverne etc.

15. På hvilket grundlag opstilles indsatsteori ? Forandringsteorien kan opstilles ud fra: • Egen viden • Forestillinger • Strategier, handleplaner og lign. • Forskning og/eller undersøgelser • Lovtekster/bekendtgørelser • osv.

16. Øvelse • Lav en grafisk opstilling af din indsatsteori. • Beskriv følgende i nævnte rækkefølge: • Udfordringen • Målet (lang sigt) • Målet (kort sigt) • Indsats • Virksomme mekanismer (trin på vejen) • Kontekstforhold • Placér de gule sedler i en kausal rækkefølge. Omplacér dem hvis der er behov for det.

17. Støttespørgsmål: Udfordringen: • Hvilken konkret udfordring ønsker I at løse? • Hvad tror I er årsagerne til udfordringen? • Hvilke årsager til udfordringen er det realistisk at gøre noget ved? Indsatsen: • Hvilke aktiviteter består indsatsen af? • Hvad skal være på plads, for at indsatsen kan gennemføres? • Hvad skal være på plads for at indsatsen har den virkning, I forventer? Virksomme mekanismer: • Hvilken adfærdsændring vil I gerne se? • Hvilke processer skal indsatsen være med til at forbedre/ændre/sætte i gang? Målet: • Hvad vil I i sidste ende opnå med jeres indsats? • Hvad har ændret sig som resultat af indsatsen? Kontekstforhold: • Hvad har især betydning for om indsatsen kan implementeres og målene nås?

18. GOD ARBEJDSLYST!

19. Test afvirkningsevaluering

20. Virkningsevaluatoren som detektiv og analytiker • Evaluator følger virkningskæden fra indsats til resultat og undersøger hvert led i indsatsteorien. • Er indsatsen blevet implementeret som forudsat i indsatsteorien, eller er der tale om implementeringsfejl? • Har resultaterne indfundet sig som forudsagt af indsatsteoriens antagelser, eller er der tale om teorifejl?

21. Tre hjælpere Tegn / indikator Succes-kriterium Dataindsamlings-metode Hvilke tegn skal vi se efter, for at kunne vurdere om vi er på rette vej Hvornår kan vi konstatere, at vi har opnået vores mål? Hvad er godt nok? Hvilken type data kan fortælle os om de tegn, vi leder efter?

22. Dataindsamlingsmetoder Tests: Er den ønskede forandring i præstationerne sket? Fokusgrupper Hvordan har indsatsen medført et ønsket resultat? Hvad har især fungeret godt? Hvad skal der til for at det virker? Hvem profiterer bedst? Interviews Hvordan virker indsatsen i praksis hos den enkelte? Observationer Kan vi iagttage de forandringer vi havde forventet? Spørgeskemaer Udbredelse og fordeling af praksis og holdninger Protokoller /kommunale oplysninger

23. Virkningsevaluering kræver en indsatsteori Dataindsamlingsmetode Læreren observerer . Tegn/ Indikator: Eleverne lytter aktivt og respektfuld til hinandens fortællinger. Eleverne får redskaber til at håndtere vanskelige situationer Indsats: Netværk mellem tidligere hu-elever og hu-lærere Netværket består både af tidligere hu-elever som lige er påbegyndt en uu og tidligere hu-elever som har været i gang med deres uu i længere tid. Netværket mødes ugentligt fra august – november. Møderne foregår på hu-tilbuddet. En hu-lærer faciliterer netværksmøderne Udfordring Overgangen mellem hu og uu er for mange elever vanskelig Eleverne deler tanker, følelser og erfaringer med at påbegynde en uu. Eleverne oplever at de er i stand til at håndtere nye udfordringer Mål (kort sigt) Eleverne fastholdes i de første 3 måneder i uu. Mål (lang sigt) Eleverne gennemfører en ungdomsuddannelse Tegn/ Indikator: Flere elever fastholdes de første 3 måneder på deres uu. De ‘erfarne’ elever fortæller om deres overgang fra hu til uuog om deres tid på uu. Eleverne bliver inspireret af de gode historier Eleverne trives Tegn/ Indikator: Tidligere hu-elever deltager i netværket Tegn/ Indikator: Eleverne har lyst til at gå i skole om morgenen. Succeskriterium 95 % af eleverne fastholdes de første 3 måneder. Eleverne oplever at de ikke står alene med deres oplevelser Eleverne fastholder relationen til deres hu-kammerater Succeskriterium Eleverne deltager i min. hvert andet møde. Dataindsamlingsmetode hu-tilbuddet indsamler data om de pågældende elever fra uu. Dataindsamlingsmetode Læreren spørger eleverne om dette forb. med netværksmøderne. Dataindsamlingsmetode Lærerne noterer fremmøde ved hvert møde Kontekstfaktorer Dét læreren har indflydelse på: Trygge rammer, god facilitering, møderne bliver afholdt etc. Dét læreren ikke har indflydelse på: Elevernes travlhed (på studie, job..), dynamikken mellem eleverne etc.

24. Øvelse: Test din egen indsatsteori • Opstil indikatorer eller ”tegn” for de vigtigste led? • Formuler succeskriterier? • Hvilke data kan du bruge til at teste de vigtigste led?

25. Den eksperimentelletilgang

26. Den eksperimentelle tilgang – hvad skal vi høre om? • Hvilket effektræsonnement bygger tilgangen på? • Effektmål baseret på årgangen inden indsatsen gennemføres • Effektmål baseret på en før- eftermåling

27. Hvad kendetegner den eksperimentelle tilgang? • Forsøger at besvare spørgsmålet: Hvad var der sket hvis de personer der modtog indsatsen ikke fik den? Tid 0 Tid 1 Indsatsgruppe Indsatsgruppe Kontrolgruppe Kontrolgruppe Hvad betyder det i praksis? • Fokus er rettet mod at skabe en kontrolgruppe der ligner indsatsgruppen • Meget lidt fokus på teori om hvordan indsatsen virker Indsats

28. Forskellige eksperimentelle metoder • Lodtrækningsforsøg • Kvasi-eksperimentelle metoder (komplicerede) • Difference in difference • Matching • Regressionsmodeller • Kvasi-eksperimentelle metoder (pragmatiske) • Bruge årgang inden som kontrolgruppe • Før- eftermålinger

29. Årgangen inden indsats bruges som kontrolgruppe • Brug årgangen inden at indsatsen blev gennemført som kontrolgruppe. Træk kontrolgruppens resultatmål fra indsatsgruppens resultatmål • En farbar vej hvis man tror at årgangene før indsatsen kan sammenlignes med den årgang der får indsatsen

30. Årgangen inden som kontrolgruppe – et eksempel Titel: Kontaktlærere på folkeskolerne Indsats: Ved starten af skoleåret 2013/2014 ansættes der kontaktlærere på et antal folkeskoler som skal øge elevernes kendskab til ungdomsskolens tilbud. Målgruppe: Elever i ungdomsskolealderen. Mål: Eleverne får et øget kendskab til ungdomsskolen og flere elever bruger ungdomsskolens tilbud. Mulige resultatmål: Kendskab til ungdomsskolen, brug af ungdomsskolens tilbud. Indikator på effekt: Er der større kendskab til ungdomskolen og større brug af ungdomsskolens tilbud efter indførelsen af indsatsen.

31. Effektmålet er kun en indikator • Ens forudsætninger i kontrolgruppe og indsatsgruppe (Er årgangene sammenlignelige?) • Er der andre faktorer end indsatsen der kan skabe forskelle mellem indsatsgruppe og kontrolgruppe (fx andre indsatser eller tiltag for at få flere til at bruge ungdomsskolen) • Har faktorer i omverdenen forandret sig (fx øget aktivitet fra andre aktører der henvender sig til målgruppen, sportstilbud, musiktilbud osv..) • Kræver ensartet registreringspraksis for kontrol- og indsatsgruppe (vi skal altså have registreret antal elever i ungdomsskolen på samme måde for de to årgange). • Kan målgruppen defineres ensartet på tværs af årgangene (har der fx været skolesammenlægninger)? • Er indsats og kontrolgrupperne store nok (Hvis målgruppen pr. årgang er ca. 300 og der fx er 25 % der bruger ungdomsskolen, så er der en usikkerhed på 5 % på hver årgang)?

32. Kan man finde en anden sammenligningsgruppe? • Hvad med bare at sammenligne med andre skoler for de samme årgange? Problemer • Har eleverne på sammenligningsskolerne i udgangspunktet samme lyst/motivation, incitament, forudsætninger. Vi ved at elevgrundlaget fra folkeskole til folkeskole kan være meget forskelligt. Så her skal man passe meget på. • Det kan endda være at man har udvalgt indsatsskolerne fordi det er skoler der i særlig grad har brug for ungdomsskolen. Eller det er måske skoler der har lav aktivitet. I så fald er indsatsgruppen i udgangspunktet bag ud på point. • Det kan også være at der er andre indsatser på de andre skoler • Og sidst kan faktorer i omverdenen påvirke skolerne forskelligt.

33. Kan vi reducere betydningen af nogle af de her problemer ved at kombinere de to tilgange? • Problemer ved at se på årgangen inden • Problem 1: faktorer i omverdenen ændrer sig • Problem 2: indsatser ændrer sig over tid • Problem ved at se på andre skoler fra samme årgang • Problem 3: eleverne på kommunens skoler er forskellige

34. Effekt af kontaktlærere – forskellen på forskellene – tænkt eksempel Forskellen på forskellen = 10 – (-3) = 13 procentpoint

35. Fordele ved dette design: • Såfremt omverden-faktorerne rammer skolerne nogenlunde ens, så er designet robust over for disse faktorer (men det kan selvfølgelig diskuteres) • Designet er robust over for indsatser der implementeres på alle skoler. • Designet er i nogen grad robust over for forskellige i elevgrundlag, da der ses på forskelle. Men der er en grænse for hvor store forskelle der må være tale om. forbehold/udfordringer: • Har skolerne nogenlunde samme elevgrundlag på tværs af årgange? (tjek med data) • Er det sandsynligt at der ikke gennemføres forskellige indsatser på skolerne som fordrer at man går i ungdomsskole • Er vi sikre på at kontrolgruppen ikke har nydt godt af indsatsen? • Er datagrundlaget stort nok? • Ensartet registreringspraksis? • Etisk udfordring – er det fair at det kun er nogle skoler der får indsatsen?

36. Kan en før- eftermåling bruges som effektmål? • Stil spørgsmålet: Hvis indsatsgruppen ikke havde fået indsatsen ville deres resultater så være status quo i indsatsperioden • Giver mulighed for at bruge udvikling i resultatmål for indsatsgruppen som effekt • Vi bruger altså i princippet indsatsgruppen som deres egen kontrolgruppe ved at måle på dem inden de får indsatsen og efter de har fået indsatsen • Effekten er forskellen på de to måleresultater

37. Før- eftermåling - et eksempel Titel: IT – satsning (Silkeborg ungdomsskole) Målgruppen: lærerne på ungdomsskolen Indsats: Lærerne skal på kursus i brug af IT i undervisningen. Mål: At lærerne bliver fortrolige med brug af IT i undervisningen. Effektmål: Stigning i brug af IT i undervisningen. Brugen af IT i undervisningen før kurset sammenlignet med efter kurset

38. Forbehold • Er det rimeligt at antage at lærernes brug af IT havde været status quo såfremt de ikke havde været på kursus? • Er det rimeligt at antage at måletidspunkterne er sammenlignelige. Hvis pensum før er mindre IT-rettet end efter, så kan det være en falsk effekt vi finder frem til. • Antallet – er der nok lærere til at lave en kvantitativ sammenligning. Stor usikkerhed på estimaterne. • Programeffekt/indsatseffekt i forhold til at måle øget brug – derfor vigtigt at få data på lidt længere sigt og evt. også data fra andre aktører end lærerne selv • Er det vigtigt at undersøge en kvantitativ forskel? …

39. Ofte er det ikke muligt at bruge den eksperimentelle tilgang • Resultatmål er svære at kvantificere • Meget forskellige succeskriterier for målgruppen • For få i indsatsgruppen og/eller kontrolgruppen • Svært at afgrænse hvem der får indsatsen • Tidsperspektivet: Effekt når ikke at indtræde på det anvendte resultatmål • Ikke muligt at danne kontrolgruppe

40. Øvelse: Kan I bruge den eksperimentelle tilgang? • Kan I bruge ”årgangen” inden indførelse af indsats som kontrolgruppe i jeres case? • Hvis I kan, hvilke udfordringer kan der være? • Kan I lave en før- og eftermåling på Jeres indsatsgruppe og bruge det som effektmål? • Hvis I kan, hvilke udfordringer kan der være? • Hvis I ikke kan noget af ovenstående, så prøv at blive skarp på jeres argumentation

41. Litteratur • EVA’s hjemmeside: • Håndbog I indsatsteori, video omindsatsteoriogandetgodt: http://www.eva.dk/tema/indsatsteori • Hvordankan man evaluereeffekter: http://www.eva.dk/udgivelser/2012/effektevaluering-notat • Øvriglitteratur: • Steward Donaldson (2007): Program Theory-Driven Evaluation Science: Strategies and Applications • Michael Q. Patton (2008): Utilization-Focused Evaluation, 4.th ed.. Sage. (Kap 10). • Peter Dahler-Larsen og Hanne Kathrine Krogstrup (2003): Nye veje i Evaluering. Forlaget Systime Academic • Krevi (2008) Den logiske model http://krevi.dk/publikationer/rapporter/den-logiske-model • Charlotte Hansen ogMaria Rye Dahl (2012): ”Virkningsevaluering og progressionsmåling som input i beslutningstagen”, papertil Nordisk Evalueringskonference 2012

42. Tak for i dag!