Evaluering og evalueringsmodeller

1. Evaluering og evalueringsmodeller Kandidatuddannelsen i Læring og Forandringsprocesser Oktober 2009 Palle Rasmussen

2. Temaer • Programevaluering og evalueringsforskning • Evalueringsmodeller og eksempler • Metoder

3. Evalueringsgenstanden: Læring og uddannelse • Produktet af uddannelse og læring er forandrede mennesker. Andre effekter går via menneskelig forandring • Menneskelige udviklingsprocesser er, at de foregår med en eller anden grad af bevidsthed og egensindighed • Der er forskel på uddannelse; noget er adfærdstræning, andet er formidling af viden og begreber, og andet igen er udvikling af social og moralsk refleksion. Det betinger også forskelle i evalueringstilgange.

4. Definitioner Evert Vedungs definition på evaluering: • Evaluering er en systematisk retrospektiv (dvs. Tilbageskuende) bedømmelse af gennemførsel, præstationer og udfald i offentlig virksomhed, og det er en bedømmelse, som tiltænkes at spille en rolle i praktiske handlingssituationer. Begreber om evaluering • Intern evaluering over for ekstern • Proces- eller produktevaluering • Formativ evaluering over for summativ

5. Evalueringsforskningens udvikling • Oprindelse i pædagogisk evaluering • Opblomstring i USA i 60erne • Slår forholdsvis sent igennem i Danmark, først inden for socialpolitik; udviklingsbistand og forskning • Vækst i løbet af 80erne, spredning og institutionalisering i løbet af 90erne. • Institutionalisering inden for udviklingsbistand: Evalueringsenhed i DANIDA fra 1982 • Institutionalisering inden for uddannelsessystemet: Evalueringscenter fra 1992 • Hvorfor sen vækst i Danmark? • Stærk udbredelse af evalueringsorganer de sidste 10 år • Fra evalueringsforskning til professionel evalueringspraksis • Organisationalisering af evaluering

6. Udvikling i evalueringsparadigmerefter Pawson og Tilley 1. Eksperimentel evaluering • Tilvejebringe et rationelt beslutningsgrundlag for offentlige politikker ved at undersøge, hvordan givne politikker virker. Vurdering af midler i forhold til givne mål. • Forskningen: Eksperimentelle eller kvasi-eksperimentelle undersøgelser, søger “sand” viden om kausale sammenhænge 2. Pragmatisk evaluering • Fokus på den politisk-pragmatiske dimension af reformer. Mål som kompromis’er, der ikke reelt forventes at være styrende. Reformer og programmer som arenaer for magtspil mellem interesser. • Forskningen: Dokumentation af reform- og programaktiviteter via en flerhed af metoder. Bevidst om, at evalueringen påvirker programmet. 3. Konstruktivistisk evaluering • Fokus på, hvad reformprogrammet og dets aktiviteter betyder for de forskellige interessenter i deres hverdagsliv. Programmet som en løs sammenkobling af forskellige initiativer og interesser. • Forskningen: Især kvalitative metoder; afdække de forskellige aktørers “konstruktion” af reformen med henblik på at fremme empowerment og reel forhandling. Pawson og Tilleys egen position: Realistisk evaluering; virkningsevaluering

7. Evaluering og forskning Traditionel forståelse: • Forskning er produktion af generel viden, evaluering er en praktisk og løsningsorienteret aktivitet • Forskere er selv i stand til at definere undersøgelserne, evaluatorer må tage hensyn til interessenters ønsker Scott og Usher forståelse: • Der er ingen principiel forskel på vidensproduktionen i forskning og evaluering • Evaluatorer kommer ud for at arbejde tættere på magtfulde dagsordener Efter Scott & Usher, kapitel 12

8. Evalueringstilgange Målopfyldelsesevaluering • Positivistisk udgangspunkt • Måling af effekter snævert knyttet til graden af målopfyldelse • Kvantitative undersøgelser; eksperimentelle eller kvasi-eksperimentelle designs Målfri evaluering • Kritisk over for positivismen og ideen om rationel politik • Undersøge virkningerne af en indsats, uafhængigt af målene for indsatsen • Bredt oplysende sigte Postmoderne evaluering • Konstruktivistisk udgangspunkt • Evalueringen skal inddrage de forskellige interessenter i en indsats • Evalueringsdesign skal respektere de særlige forhold inden for det undersøgte felt • Overvejende kvalitative undersøgelser: interviews, feltarbejde mm. Efter Hanne Kathrine Krogstrup

9. Effektevaluering og præstationsmåling Klassisk effektevaluering • Måling af effekter snævert knyttet til graden af målopfyldelse • Eksperimentelle design kvasi-eksperimentelle design og statistiske undersøgelser Præstationsmålinger • Vurderer indsatsen gennem et begrænset antal præstationskriterier, oftest defineret af organisationen selv • Siger intet om effekter. • Vanskeligt at vurdere præstationer på tværs af sektorer og organisationer Efter Hanne Krogstrup: Evalueringsmodeller

10. Effektevaluering: Skoleressourcer og uddannelsesforløb • Skoleressourcers effekter på elevers uddannelsesforløb (Heinesen m.fl. i kompendium) • Store forskelle mellem kommuner i udgifter og lærerressourcer pr. elev • Sandsynligheden for at gennemføre en ungdomsuddannelse efter folkeskolen • Datagrundlag: Registerdata for 10 pct. Af befolkningen; seks årgange i 8. klasse = 37.933 personer • Kontrol for en række faktorer, dels i elevernes kommuner, dels i deres individuelle familiebaggrund • Resultat: Højere skoleudgifter har effekt, men den er lille. Social arv betyder langt mere • Konsekvenser?

11. Præstationsmåling: PISA • PISA-undersøgelserne (Heinesen m.fl. i kompendium) • Tvær-national måling af faglige kompetencer (på livsområder) hos unge • 32 lande • Testning af kompetencer, indhentning af baggrundsoplysninger • Data i Danmark: 4.242 unge fordelt på 226 uddannelsesinstitutioner • Procedurer for gyldighed og pålidelighed i dataindsamling • Resultater: Danske elever placerer sig jævnt i sprog, pænt i matematik, dårligt i naturvidenskab og fint i personlige og sociale kompetencer • Konsekvenser?

12. Præstationsmåling: HR-funktionen Måling af HR-funktionen i virksomheder. To hovedparametre • HR-funktionens positive indflydelse på forretningsorganisationens drift og fremdrift • HR-funktionens produktivitet Indflydelse: Fire spekter af HR-funktionens rolle • (1) strategisk sparringspartner; (2) forandringsagent • (3) Rationaliseringsekspert; (4) medarbejderudvikler og –ambassadør. Produktivitet: Forholdet mellem omkostninger og aktivitet inden for tre driftsområder: • Lønadministration • Rekruttering • Kompetenceudvikling Formel for HR-funktioners lønsomhed: F (indeks for lønsomheden) = y2 (indflydelse i anden potens) + x (produktivitet). Kilde: Krogager & Schmidt: Måling af HR-funktionen

13. Evaluering af et kompetenceudviklingsprojekt Projektet • En fusionerende uddannelsesinstitution • Dobbeltmålsætning: Styrke integration, udvikle medarbejdergruppers fælles kompetencer • Udvalgte funktionsområder • Længerevarende forløb, opdelt i faser • Kombination af projektgrupper og seminarer Evalueringsdesignet • Følge faserne i projektet • Kvalitative interviews med projektleder og enkelte andre nøglepersoner • Tilstedeværelse dele af seminarerne, men ikke systematisk observation • Registrering af materiale fra projektgruppernes arbejde • Kvalitative spørgeskemaer til deltagerne Gruppeinterview lederne af projektgrupper

14. Evaluering af et kompetenceudviklingsprojekt 2 Evaluering i en organisation under forandring Evalueringens udsagnskraft • Kompetenceprojektet • Organisationsudviklingen Samarbejdet mellem evaluator og opdragsgiver • Mellem evaluering og sparring • Opdragsgiverens roller

15. Undervisningsevaluering Evaluering er nødvendig for at at få alsidigt grundlag for udvikling; lærerens spontane oplevelser af undervisningen kan ofte være vildledende Undervisningsevaluering er svær • Hos lærerne: Frygt for krænkelse • Hos lærerne: Frygt for, at dårlige resultater i evalueringer spredes til kolleger og ledelse. Usikkerhed på, om evaluering er et redskab til fornyelse eller til kontrol • Hos eleverne: Mistillid til, at evalueringen reelt vil føre til bestræbelser for at forbedre undervisningen • Eleverne er på uddannelsen/kurset/faget een gang, lærerne oftest i lang tid. Det giver en forskel i perspektiv Retningslinier • Elevernes opfattelser er ikke sandheden, men en del af den • Undervisningsevaluering må bygge på en vis grad af gensidig forpligtelse • Helst både skriftlig evaluering og evalueringsdiskussion

16. Danmarks Evalueringsinstituts evalueringsmodel Ikke en stram metode, men en række faste elementer • Projektgruppe (i EVA) • Forundersøgelse • Kommissorium • Evalueringsgruppe (medlemmerne skal være uafhængige) • Selvevaluering (udgangspunkt i vejledning fra EVA) • Supplerende undersøgelser (materialeundersøgelser, brugerundersøgelser). • Besøg • Rapport (konklusioner, forslag, beskrivelser, analyser) • Opfølgning (ifølge bekendtgørelse fra Undervisningsministeriet)

17. Kriterier for akkreditering af universitetsuddannelser • Kriterium 1: Behov for uddannelsen • Kriterium 2: Dimittendernes arbejdsmarkedssituation • Kriterium 3: Uddannelsen er forskningsbaseret • Kriterium 4: Uddannelsen er baseret på et aktivt forskningsmiljø • Kriterium 5: Kvaliteten og styrken af det bagvedliggende forskningsmiljø • Kriterium 6: Uddannelsesstruktur • Kriterium 7: Undervisningens tilrettelæggelse og undervisernes kvalifikationer • Kriterium 8: Løbende kvalitetssikring af uddannelsen • Kriterium 9: Uddannelsens faglige profil • Kriterium 10: Uddannelsens mål for læringsudbytte og de studerendes realiserede læringsudbytte

18. Anvendelse af evaluering To grundlæggende anvendelser af evaluering: • kontrol • læring To bredere anvendelser: • vidensudvikling eller oplysning • symbolske og konstitutive virkninger Efter Peter Dahler-Larsen

19. Undersøgelser af evalueringsanvendelse Hvem udfører evalueringer i staten? • Konsulentfirma (30 pct) • Flere i samarbejde (24 pct) • Sektorforskningsinstitut (12 pct) • Peers (10 pct.) • Universitetsforskere (8 pct) • Intern (5 pct) (Efter Hanne Foss Hansen, Evaluering i staten, 2003) Evalueringer i kommunale socialforvaltninger • Hvilke konsekvenser har evalueringer for de evaluerede aktiviteter? De fører næsten aldrig til nedlæggelse, men har som regel en vis indflydelse. De mest udbredte konsekvenser er derfor fortsættelse (37 pct), mindre justering (45 pct) eller større omlægninger (27 pct). • Den hyppigst oplyste bivirkning ved evaluering (27 pct) har at gøre med at skabe opmærksomhed eller sætte fokus. (Efter Peter Dahler-Larsen, Evaluering kortlagt, 2002)

20. Metoder i evaluering Ingen principiel forskel mellem evalueringsmetode og videnskabelig metode Særlige betingelser for metodeanvendelse i forbindelse med evaluering: • Det anvendelsesorienterede opdrag (herunder forholdet mellem opdragsgiver og andre interessenter) • Etik (især i.f.t. de grupper, som gøres til genstand for evaluering; "kognitiv respekt" i tolkningen, konsekvensbevidsthed i anvendelsen). • Formidling (hvordan og til hvem skal evalueringens resultater fremstilles og formidles). • Organisering (skal evalueringen være intern, ekstern eller en kombination, hvilke type folk skal udføre den) Ved evalueringsundersøgelser er der som regel begrænsninger på penge og (især) på tid. Derfor særlig nødvendigt at udvikle metoder, som på den ene side kan leve op til krav om gyldighed og pålidelighed, på den anden side kan håndteres i situationen

21. Undersøgelsesmetoder To hovedtyper af metoder: Dokumenterende metoder, herunder • Eksisterende tekstlig dokumentation • Eksisterende statistisk dokumentation • Evalueringsdiskussion (Peer review som en særlig variant af evalueringsdiskussion) Empiriske undersøgenser, herunder • Kvalitative undersøgelser • Kvantitative undersøgelser (eventuelt med inddragelse af databaser) Kombinations-designs

22. Anvendelse af evalueringsmetoder i kommunale socialforvaltninger De tre mest udbredte metoder er spørgeskemaer (69 pct), interviews (57 pct) og statistik oparbejdet i organisationen (54 pct) er de tre mest udbredte metoder. Det er almindeligt, at der anvendes flere metoder i evalueringer Sammenhænge mellem metoder og organisering: • Spørgeskemaer anvendes meget, hvor evaluering er en organisatorisk rutine. • Interviews anvendes mere, hvor der er evalueringsspecialister i organisationen, og hvor der deltager eksterne konsulenter Sammenhænge mellem hensyn/motiver og metoder: • spørgeskemaer anvendes, hvor der er ønsker om at kortlægge brugertilfredshed og borgertilfredshed. • Interviews anvendes i særlig grad, hvor ønsket er at fremme organisatorisk læring Efter Dahler-Larsen, Evaluering kortlagt, 2002

23. Repetition • Evaluerigsparadigmer: Fra rationalistisk til realistisk • Evalueringsmodeller • Anvendelser og konsekvenser • Ingen principiel forskel mellem evalueringsmetode og videnskabelig metode