Bliver grisen federe af at blive vejet? Giver evaluering forbedring?

1. Bliver grisen federe af at blive vejet?Giver evaluering forbedring? Marselisborg Gymnasium 6.november 2007

2. Om mig selv. Og om dette oplæg Håkon Grunnet Cand.mag. hi/ ps. Master Ledelse & Organisation MarsGym mv.  ACU  CfU/ JCVU: udv. projekter, kurser, evaluering, kvalitetsprojekter Evalueringskonsulent UUA/ JCVU. (fra jan 2008: ”VIA-Professionshøjskole. University College Jutland”) HG - JCVU Mars. Gym.

3. Credo • Evaluering – fra ’sandhed til information’: • Hvad er meningen? • Hvad skal det til for? Hvor kommer det fra? • Hvad skal vi stille op med det? • Hvad mener jeg selv? HG - JCVU Mars. Gym.

4. Hvad er evaluering…? ”At evaluere betyder i al sin enkelhed at standse op midt i eller efter et af sine gøremål og vurdere om resultaterne står i et fornuftigt forhold til hensigt og anstrengelser” (Erik Albæk, 1994) ”En systematisk, retrospektiv bedømmelse af gennemførelse, præstationer og udfald i offentlig virksomhed. En bedømmelse, der tiltænkes at spille en rolle i praktisk beslutningssituationer” (E. Verdung, 1998) HG - JCVU Mars. Gym.

5. Det er …. • Ikke (kun) ny-liberalisme & NPM (fx M. Lykketoft i 1990.erne) • Ikke (kun) kontrol (nye kontrol og styringsformer: input til output) • Ikke (kun) centralisering (tight-loose-thigt) • Institutionerne/ virksomhederne skal styre sig selv • Nye ledelsesformer – mere netværks-styring & mere ’selvledelse’ • Krav om professionsudvikling • Evaluering, dokumentation & kvalitetsudvikling = ’sprog’ HG - JCVU Mars. Gym.

6. Forholdet mellem kvalitetssikring & kvalitetsudvikling Kundens krav til kvalitetssikring Leverandørens interne kvalitetsstyring (’system’) Input information Output (Bakka & Fivelsdal, 2001, s 294) ’Sprog’ / prof. kommunikation Dvs. en tillidsskabende foranstaltning HG - JCVU Mars. Gym.

7. Hvorfor evaluere? Intuition   systematik Hvad kan evalueres? Undervisning kan fx ikke..! Evaluering forudsætter mål Evalueringskultur = fagligt og didaktisk samarbejde Evalueringsred-skaber & -metoder. Brug de metoder, du synes bedst om Mål – indikatorer – tegn – læringsmål Nu nærmer vi os: I vil i den kommende time blive udsat for: HG - JCVU Mars. Gym.

8. Hvorfor evaluere? Altid: ’Hvorfor?’ først Siden: ’Hvordan?’ ………………………. ”Evaluering for at planlægge og forbedre” Rasborg, Finn, Jesper Jensen og Gustav Leunbach (red.) (1977). …………………………………………….. • Undersøgelsesproblemet • Gennemførelsesproblemet • Forbedringsproblemet HG - JCVU Mars. Gym.

9. ’Synsninger’ – det intuitive blik Synsninger er vurderinger, der kan bero på alt mellem himmel og jord • Udgangspunktet er den enkeltes oplevelse af, hvad denne mener eller synes om et givent forløb/undervisning • Hvad er målene med undervisningen? • Forventning om sammenhæng mellem undervisning og læring – hvad virker? HG - JCVU Mars. Gym.

10. Til forskel fra intuitiv vurdering eller ’synsninger’ bygger evaluering på: systematisk indsamling af information/data HG - JCVU Mars. Gym.

11. Sammenhæng mellem intuitiv baseret forandring, summativ evaluering og formativ evaluering HG - JCVU Mars. Gym.

12. Bekendtgørelse om kvalitetsudvikling og resultatvurdering Stk. 3. … En proces der består i at indsamle information og implementere procedurer, der muliggør kontinuerlige, systematiske og kritiske diskussioner om uddannelsesmæssige og undervisningsmæssige forhold … HG - JCVU Mars. Gym.

13. Intuitiv og systematisk arbejdsmetode HG - JCVU Mars. Gym.

14. Læs om intuition: Malcolm Gladwell: ”Blink – Styrken ved at tænke uden at tænke” Intuitiv og systematisk arbejdsmetode 80-90 % 10-20 % HG - JCVU Mars. Gym.

15. Hvad er det vi står overfor?? Forventede resultater Opnåede resultater  Sammenhæng? Mål på ’Tegn på læring’ Model udviklet af Torben Spanget Christensen, ACU, Århus Amt HG - JCVU Mars. Gym.

16. Hvad kan evalueres? • Undervisning kan ikke evalueres – i sin helhed, totalitet, kompleksitet. ”Kortet bliver 1 : 1” . Med Læring ligesådan • Man kan derimod måle på: • ’Tilfredshed’. eller: • ’Variation i undervisningsformer’ eller: • ’% elever, der har stiftet bekendtskab med denne eller hin metode’ eller: • Teste om eleven kan bruge disse metoder eller ??? • Man kan krydstabulere og opstille mulige sammenhænge • Man kan altså måle og evaluere på tegn & indikatorer, som man tilkende værdi eller mener fører til læring…. •  Så: hvor og hvordan findes ’tegn på læring’ og indikatorer? HG - JCVU Mars. Gym.

17. Evaluering er ikke i sig selv forbedring. Men… • Lærerens eller teamets systematiske arbejdsproces: • Målsætning  • undersøgelse (evaluering fx)  • vurdering  • ny aktivitet/ handlinger  • nye resultater ….. • kan føre til forbedringer. • Så evaluering kræver mål, dvs. faglige og didaktiske diskussioner = evalueringskultur, samarbejde og valg af evalueringsmål og evalueringsmetode før aktiviteten påbegyndes HG - JCVU Mars. Gym.

18. Der skal derfor vælges ud.Når man vælger ’noget’ – så udelades andet - Men til gengæld kan man fokusere & stille skarpt HG - JCVU Mars. Gym.

19. Problemstillinger med evaluering i praksis • ”Evaluering – det har vi da altid gjort!” • Men: målsætningen - hvad er det, der skal evalueres på? Og hvorfor? • Hvordan gøres evalueringen meningsfuld? • Hvilke evalueringsredskaber/metoder findes der, og hvilke kan bruges til hvad? HG - JCVU Mars. Gym.

20. Forslag til kriterier for udvælgelse af evalueringsområder Evalueringen skal være: • Betydningsfuld for uddannelsen • Meningsfuld for deltagerne HG - JCVU Mars. Gym.

21. Placering af evalueringsbegreberne - er jo også kontrol plejer vi da også at lære af HG - JCVU Mars. Gym.

22. Evaluering ud fra mål – kræver kapacitet ’Pædagogisk & didaktisk teori’ Hvad skal den viden bruges til ? Hvad vil man vide? Hvordan vil man skaffe den viden? HG - JCVU Mars. Gym.

23. Evaluering Vurdering Test Måling Niels Egelunds definition • Test: Hvor godt klarer eleven sig i fht. gennemsnittet? • Måling: numerisk beskrivelse i fht. til ét parameter, hvad kan eleven i fht. parameter? • Vurdering: bredt sortiment af metoder, hvordan klarer eleven sig totalt set på et område? Evaluering: systematisk, hvordan virker systemet i fht. de intenderede formål? HG - JCVU Mars. Gym.

24. HG - JCVU Mars. Gym.

25. Eksempel på mål Teamet arbejder med Almen Studieforberedelse - AT: ”I efteråret 1.g. skal teamet i gangsætte udviklingen af en undervisning i AT, der tager højde for progression i elevernes arbejde med forskellige taksonomiske niveauer.” 1. Flere mål i ét: dels tage højde for progression i elevernes arbejde (= evne til? kompetencer?), dels for forskellige taksonomiske niveauer 2. Hvad forstås ved ”i gangsætte”? HG - JCVU Mars. Gym.

26. At arbejde med mål der kan evalueres Et mål skal være formuleret så klart at det umiddelbart kan operationaliseres, dvs. oversættes til konkrete ønskede ændringer. Fx: ”Medio/ ultimo december skal lærernes/ teamets undervisning være udviklet sådan at den tager højde for progression vedr. undervisning i taksonomiske niveauer.” Hvis dette er målet, hvad er så evalueringsspørgsmålet? ”Tager teamets undervisning højde for progression vedr. undervisning i taksonomiske niveauer” HG - JCVU Mars. Gym.

27. Mål & indikatorer - 1 Et operationelt mål skal være formuleret så klart at der kan opstilles indikatorer for om målet er nået. En indikator er et tegn som kan ses i den situation I ønsker at opnå efter en given periode. Man skal kunne • Registrere • Måle • Eller vurdere det indikatoren angiver. HG - JCVU Mars. Gym.

28. Mål og indikatorer - 2 Målet: ”Ved afslutningen af efteråret skal lærernes/ teamets undervisning være udviklet sådan at den tager højde for progression i undervisning vedrørende taksonomiske niveauer.” Eksempler på indikatorer: ”Lærere og elever arbejder systematisk med at afdække taksonomiske niveauer...” (fx redegørelse, analyse, fortolkning, vurdering) ”I dele af/ hovedparten af undervisningstiden er undervisningen organiseret sådan at eleverne kan vælge arbejdsmetoder, der understøtter progression og forståelse af taksonomiske niveauer.” HG - JCVU Mars. Gym.

29. Succeskriterier – og evalueringsform • Alle elever er bevidste om taksonomiske niveauer • Lærerne er bevidste om elevernes aktuelle forståelse på området • Eleverne anvender normalt af sig selv (fx ved opgaveskrivning), taksonomiske niveauer • Lærerne udfordrer regelmæssigt eleverne ved opgaver mv. • Elevlogbog, elevsamtaler (interview) • Lærer-/teamlogbog • Observationer, elevsamtaler (interview) • Observationer, lærer/teamlogbog HG - JCVU Mars. Gym.

30. Eksempler på indikatorer • At der foreligger mål for eleverne for nærmere fastsatte perioder • At eleverne efter et år kan redegøre for disse måls betydning for deres arbejde • At lærerne har udarbejdet undervisningsplaner der viser hvordan de har varieret undervisningen • At der foreligger oversigter over/henvisninger til de opgaver eleverne er blevet stillet samt elevresultater • At teamet har ført notater vedr. deres refleksioner over arbejdet med individuelle mål HG - JCVU Mars. Gym.

31. UV-mål og læringsmål i Historie Ex. på mål i historiefaget(STX) - ”at kunne analyse samspillet mellem mennesker, naturgrundlaget og samfund gennem tiderne”. Hvordan kan en elev vide hvad hun skal arbejde med for at nå målet/opstille egne læringsmål? Hvordan kan en elev vide om hun har nået målet? HG - JCVU Mars. Gym.

32. Fra UV-mål til læringsmål- fra historiefagets læreplan Undervisningsmål: Undervisningen skal lede frem mod at eleverne bliver i stand til :at analyse samspillet mellem mennesker, naturgrundlaget og samfund gennem tiderne”. Ex på kriterier for målopfyldelse (fastsat af læreren): Elevernes arbejde skal sigte mod at de lærer: - at kunne redegøre for et givent samfunds naturgrundlag - at kunne fremdrage og analysere relevante data til denne beskrivelse - at læse/forstå økonomiske/ samfundsmæssige beskrivelser - at kunne pege på forskelle og ligheder mellem to eller flere forskellige samfundstyper - at kunne forklare forskelle og ligheder i samfundstyper/ naturgrundlaget Den enkelte elevs læringsmål: (Fastlægges af elev og lærer) HG - JCVU Mars. Gym.

33. Fra læringsmål til evaluering Målopfyldelsen dokumenteres fx ved: • udfyldte skemaer • gruppesamtale om opgaveløsningen • skriftlig ’rapport’ Evalueringsredskaber: Logbog/portefølje der indeholder - elevernes (den enkeltes?) læringsmål - skemaer, observationer, billeder og tekster fra forløbet - elevens kommentarer til sit eget arbejde HG - JCVU Mars. Gym.

34. HG - JCVU Mars. Gym.

35. HG - JCVU Mars. Gym.

36. Fra ansvarshavende til ansvarstagende Svar på komplekse problemstillinger i senmoderniteten Nye ledelses & styringsformer Liberalisme og ’dit / jeres eget ansvar’ Målsætning  evaluering  forbedring. Hvorfor??? HG - JCVU Mars. Gym.

37. Så: Bliver den federe af at blive vejet? Eller bliver den blot slagtet? HG - JCVU Mars. Gym.

38. Kontrolaspektet vinder over- hånd, når institutionerne ikke ’svarer’ på politikernes krav og ønsker om resultater. ’Tight-loose-tight’ Ændringer i den offent- lige sektor har forløbet i i hvertfald 4 modernise- ringsbølger siden 1970.erne. Overvejende decentralisering og nye styringsrationaler Hvad skal ’evaluerings-, dokumentations- og kvalitetsbølgen’ til for? Fra borger til (for-) bruger Fra ’regelstat’til ’responsiv stat’. Fra institutioner til ’off. virksomheder’ Fra hjælp til service til ydelser (af varer?) Ledere: Fra ansvarsha- vende til ansvarstagende Fra medarbejdere til ’selvledere’ Evaluering, dokumentation & kvalitets udvikling er et vilkår  fra én kontrol form til en anden HG - JCVU Mars. Gym.