S vækker eller styrker evidenskampen ”evalueringens ” videnskabelige fundering?

1. Nordisk Evalueringskonference 13. juni 2012 Svækker eller styrker evidenskampen ”evalueringens” videnskabelige fundering? v. Hanne Kathrine Krogstrup Dekan ved Det Samfundsvidenskabelige Fakultet, Aalborg Universitet

2. Definition af evaluering • Systematisk retrospektiv vurdering af processer, præstationer og udfald i offentlig politik, som tiltænkes at spille en rolle i praktiske handlingssituationer (Evert Vedung)

3. Globalisering af evaluering • Udbredelse verden over • Tidsskifter, konferencer, internet • Organisering i sammenslutninger f.eks. AEA og EES • Konkurrence om den ”rigtige evalueringsviden” • Evaluering indskrevet i NPM styringsdoktriner • Evaluering udvikling sig i bølger • Videnskabelige relevanskriterier er kun i begrænset omfang grundlag af metodologi

4. Evalueringens videnskabelige relevanskriterier • Eksplicitte kriterier • Sammenhæng mellem problemets karakter (genstandsfeltet) og metoder = validitet • Det ses, at der bestilles evaluering, hvor metodologi er et bestillerkriterium

5. Tamme problemer • Nemme at definere • Kan adskilles fra andre problemer • Klare kriterier for bedste løsning • Løsningen er af teknisk karakter

6. Vilde problemer • Vanskelige at definere • Vanskelige at adskille fra andre problemer • Der er ikke objektive kriterier for den bedste løsning • Mange variable er inddraget i løsningen • Kontekst har indflydelse på interventionen og på effekterne heraf

7. Interventioner mod vilde problemer • Komplekse og uregelmæssige • Årsagsvirkningssammenhænge kan ikke generes gennem iagttagelse af regelmæssige handlinger • Udfordring: Generative mekanismer må identificeres

8. Generative mekanismer • Alle interventioner er baseret på antagelser om , hvad der virker • "Hvad virker, for hvem, hvornår og i hvilken sammenhæng?" • Såfremt en effekt ikke opstår, kan det skyldes 1) at interventionsteorien er forkert 2) Implementeringen sker ikke i overensstemmelse med det foreskrevne

9. Interventionens karakteristika • Interventionsteorier er dynamiske • Mange interventionsteorier er i spil • Interventioner er ikke lineære • Interventioner er indlejret i systemer

10. Kontekstuafhængig viden/tamme problemer Kontekstafhængig viden/vilde problemer • Interventionen virker uafhængigt af kontekst • Resultater kan nemt duplikeres og overføres til en anden kontekst • Interventionen er kompleks og mangefacetteret • Ingen entydige kausalsammenhænge • Vanskelig at identificere entydige kausal- sammenhænge

11. Deterministisk effekt • Sikker effekt indebærer, at variabel X forårsager Y, hvis og kun hvis X uvægerligt fører til Y. Det betyder, hvis X er til stede, da vil Y nødvendigvis og uundgåeligt forekomme. Sikker effekt udtrykker en lovmæssighed. Et centralt begreb i forbindelse med sikker effekt er” alt andet lige”, så vil X producere Y

12. Probabilistisk effekt • Sandsynlighedseffekt vil sige, at en forøgelse eller formindskelse af en bestemt faktor tilsvarende vil forøge (eller formindske) sandsynligheden for, at en bestemt effekt er tilstede. Det er således muligt at specificere betingelserne under hvilke X mere eller mindre sandsynligt vil forårsage Y – statistisk og analytisk generalisering

13. To spor at ”tænke med” • Tamme problemer • Kontekstuafhængig viden • Entydig Kausalitet • Tilnærmelsesvis deterministisk effekt • Vilde problemer • Kontekstafhængig viden • Kompleks og tvetydig kausalitet • Probabilistisk effekt

14. Evalueringsdesign Forskningsbaseret/hverdagsviden • Forskningsbaseret evaluering • Eksperimentelle evalueringer • Casebaseret evaluering • Metaevalueringer • Hverdagsevaluering

15. Eksperimentelle design

16. Caseorienteret evaluering • Dybde men ikke bredde • Hvordan og hvorfor spørgsmål • Casestudiet fokusere på særlige tilfælde • Kan være multiple (generalisering) • Forklaringskraft, når man ved lidt • Fokusere på det særlige tilfælde • Har ikke eksplicitte metodebindinger

17. Metaevaluering –eksperimental society • Sammenfatter en række evalueringer • Metaevaluering som reviewproces (Cochrane) • Udvælgelse af emne • Udarbejdelse af forskningsprotokol • Godkendelse af protokol • Identifikation af primærstudier • Selektion af studier, der skal udgå • Syntetisering af data • Endelig rapport • Kontrol af rapportens kvalitet (Foss Hansen og Rieper)

18. Metaevaluering ”synthesizing” • Problemstilling afklares og præciseres • Afsøgning af alle studier og kilder • Internet, databaser, personlige kontakter • Hypotesegenerering • Ny programteori eller forfinelse af eksisterende • Syntese: A, be aware of B, take care of C, D can result in both E and F; G and H means …… • Formidling helt afgørende (Pawson)

19. Hverdagsevaluering opfølgning • Præimplementeringsevaluering • Metaevaluering • Opsummerer antagelser • Hurtig vurdering • Interview nøgleinformanter • Fokusgrupper • Observation • Survey

20. Om evidensbegrebet • Konflikt om hvad evidensbaseret viden er • Præstationsmålinger har sjældent noget med evidens at gøre • Den evidensbaserede viden, der eksisterer anvendes ikke efter hensigten

21. Evidensbaseret politik • Sammenhængen mellem evidensbaseret politik og evaluering • ”Evaluering skal hjælpe beslutningstagere til at udvikle evidensbaseret politik på baggrund af dybtgående videnskabelig viden” (Pawson)

22. Evidensbegrebets historie • Forskningsoversigter og metaevaluering • Organisering af videnskaben • Cochrane, Campbell, MTV, Clearinghouse • Den medicinske verden • USA • Kamp i forskersamfundet (Foss Hansen og Rieper)

23. The Golden Standard-Evidens hierarkiet • Det randomiserede kontrollerede forsøg • Quasi-eksperimentelle design • Før og efter sammenligninger • Procesevaluering, formative studier og aktionsforskning • Kvalitative studier og etnografisk design • Deskriptive guidelines og eksempler på god praksis • Professionelle og ekspertvurderinger • Brugervurderinger

24. Kritik af The Golden Standard • Forskningsresultater giver ikke sikker viden • Eksperimentelle og ikke-eksperimentelle studier giver samme resultater • Samme intervention udsat for forskellige RKT giver forskellige resultater • Kontrol -og indsatsgrupper er i mange sammenhænge ikke mulige at etablere • Der er lavet mange årsagsforklaringer uden involvering af eksperimenter • Social viden er ikke rationel og entydig men: Fortolket, kontekstuel og dynamisk, midlertidig, inkluderer værdi og ideologi • Gennemsnitsviden kan være interessant, men behøver ikke at være det

25. Evidens begrebets 3 spor • Det eksperimentelle spor • Positivisme • En virkelighed der kan begribes objektiv, men ikke til fulde • Kausalitet er observerbar • Det kritiske spor • Ikke én virkelighed, men mange virkeligheder • Subjektive • Kontekst har betydning • Kvalitative metoder • Neutral og ufortolket viden eksisterer ikke • Evaluering er samfundets sociale bevidsthed • Maximal effekt negligerer kompleksitet og kontekstuel bunden rationalitet • Det pragmatiske spor • Objektivitet og subjektivitet er yderpunkter på et kontinuum • Metoder afhænger af undersøgelsesspørgsmålet • Mange forklaringer, men muligt at identificere kausalsammenhænge • Casestudium – kvantitative og kvalitative metoder

26. Validitet • Validitet = gyldighed • ” Undersøger forskningen eller evalueringen det den siger, den undersøger” • Validitet er et kriterium for logisk test af forskningen • Validitetsformer • Konstruktionsvaliditet • Intern validitet • Ekstern validitet • Reliabilitet eller pålidelighed

27. Konstruktionsvaliditet • Operationalisering af det fænomen eller begreb, der studeres i evaluering • Udvælgelse af den specifikke forandring, der studeres • Sammenhængen mellem mål for intervention og forandring • Konstruktionsvaliditet eksperimentelle design • Høj konstruktionsvaliditet – fokus på et fænomen- medicinsk forskning enkelt at operationalisere • Konstruktionsvaliditet casestudier • Vanskelig at etablere og ofte ringe • Metoder • 1) Mange kilder • 2) Test af logiske kæder • 3) Prøvelse af den færdige rapport

28. Intern validitet • Relevant når årsagsvirknings- sammenhænge skal identificeres • Regler for data skal overholdes sådan, at der ikke etableres falske kausalsammenhænge • Hvis det konkluderes, at der er årsagsvirknings- sammenhænge mellem X og Y uden opmærksomhed omkring, at z kunne have forårsaget Y, har resultaterne ikke intern validitet

29. Det eksperimelle designs interne validitet • Kan være høj • Trusler mod intern validitet • Ved hvem der modtager behandling • Påvirkning af resultater (medicinsk forsknings finansiering af medicinalindustrien) • Når kontrol og indsatsgrupper påvirkes forskelligt • Frafald der skævvrider sample • Utilsigtet forskelle i kontrol- og indsatsgrupper • Kontrol- og indsatsgrupper er ofte ikke tilstrækkelige til at beskytte mod systematiske fejl

30. Casestudiets interne validitet • Casestudiet beskæftiger sig i begrænset omfang med intern validitet • En begivenhed giver ikke en følgeslutning – flere begivenheder og inddragelse af kontekst er nødvendig • Mangel på intern validitet er så at sige indbygget i casestudiet, og anses for at være en præmis for at studere årsags-virkningssammenhænge i komplekse organisationer

31. Ekstern validitet • Kan resultaterne generaliseres? • Eksperimentelle design har svag fokus på ekstern validitet ”kan generaliseringer ikke gennemføres, ved vi heller ikke, om de virker, og det er problematisk at anvende dem som grundlag for politiske beslutninger” • Casestudier (særligt multiple) har høj ekstern validitet

32. Pålidelighed • Vil forskere, der undersøger samme sag, nå frem til samme konklusion? – minimering af fejl og bias • Uanset design må pålidelighed søges optimeret gennem beskrivelse af forskningsprotokoller og metoder

33. Realismen i forestillingen om det evidensbaserede samfund • Evalueringsviden anvendes ikke instrumentelt, men kognitivt og symbolsk • Ufuldkommenhed hos forskere • Forskningsviden er fragmenteret og ufuldkommen • Politiske krav om hurtige resultater skaber overfladisk og kortsigtet viden • Metaevalueringer skaber begrænset viden om kontekstspecifikke forhold • Ufuldkommenhed hos politikere • Anvendelse afhænger af politiske dagsordner og ideologi • Vilkårene for kommunikation mellem forskere og politikere er komplicerede: forskellige dagsordner; Skriftlig/mundtlig kommunikation

34. Autorativ viden/autorative beslutninger • Evidens som forudsætning for bevilling • Evalueringsresultater er ofte inkonsistente og modstridende • Evidens bæres oppe af magtfulde organisationer • Evidens udgør autoritativ viden, der kan lukke eller åbne programmer

35. Hvad er problemet i det herskende evidensbegreb? • Demokratisk problem at værdier ekskluderes • Evidensbaseret viden er ikke nødvendigvis innovativ • Evidens implicerer ikke den efterspurgte neutralitet • Der er forskel på menneskelig og fysisk aktivitet

36. Europæiske tendenser versus USA • Ikke samme tendens til at hylde evidens ukritisk • Ikke samme fokus på det randomiserede kontrollerede design • Højere grad af paradigme-flertydighed • En samfundsmæssig kamp mellem evidens og politik (Foss Hansen og Rieper)

37. Evalueringbørvære en videnskabeligdisciplin Tak