Hva vi vet – og hva kan vi gjøre med det

1. Hva vi vet – og hva kan vi gjøre med det Nå stor tilgang på data - er det trykk i oppfølgingen? ”Fra Learning by Doing – til Doing without Learning” Kan Peder Haugs refleksjon om norsk skole også passe for resultatopppfølgingen? ”Godt skolemiljø – men pedagogisk praksis spriker i alle retninger”

2. To dimensjoner i en evalueringskulturKaren Leth Nilsen kln@dafolo.dk • Refleksjons- og dialogbasert (pedagogisk tradisjon) • Primærformål å stimulere læring og utvikling • Viten/kunnskapsbasert (samfunnsvitenskapelig tradisjon) • Primærformål å innsamle kunnskap, analysere og formidle resultatet Hvordan koble disse tradisjonene i en meningsfull pedagogisk praksis? • Vi må alltid spørre: gir det mening, kan det brukes i praksis??

3. Pedagogisk dokumentasjon er lærers ansvarÅpenhet - lærerne må snakke sammen om alle resultater…..

4. ”Politisk” dokumentasjon og system-dokumentasjon leders ansvar

5. Skole og kommunenivå Læringsstøttende vurdering Nasjonale prøver Kartlegginger og tester Lesprøver 2. og 7. trinn Regneprøve 2. trinn Språktest min.språklige Andre Annen underveisvurdering Sluttvurdering Eksamenskarakterer - Standpunktkarakterer Elev- lærer- og foreldreundersøkelsen Skolebasert vurdering Skolevandring Forskning i egen kommune Virksomhetsrapportering og styringsdialog Nasjonalt nivå PISA, Pirls, TIMMS mfl Skoleporten Læringsutbytte Ressurser Utdanningsspeilet Kompetanseberetningen GSI – KOSTRA Tilsyn Evaluering L97, R94, LK 06 Skoleforskning Oppfølging av kartlegging, rapporter, evaluering og dokumentasjon

6. Evaluering av MILL- programmet - TelemarksforskningMål: si noe om hva MILL har betydd for læringsmiljø og elevers læring, motivasjon og trivsel • Både kvalitative og kvantitative evalueringsresultater peker i retning av at MILL-programmet har hatt positiv effekt på elevenes læringsmiljø • Elevene gir uttrykk for at de er motivert for skolearbeid og at de trives. Flere gir ros til lærerne sine • Lærerne sier MILL har hjulpet dem til bedre tilpasset opplæring • MILL har hjulpet med innføring av kunnskapsløftet • Skolelederne positive til felles program • Mener opplæring og oppfølging har vært svært bra • Elevers læring. • Mange bakgrunnsvariabler. Usikkert hva som skyldes MILL og hva skyldes andre faktorer? • Vekt på hva skoleledelse, lærere og elver uttaler og hva de mener å ha erfart med hensyn til læringsutbytte! • Ønske om at MILL må fortsette • Vi trenger vedlikehold og støtte

7. Fem hovedproblemstillinger • I hvilken grad har MILL-programmet realisert målet om et elevaktivt og mangfoldig læringsmiljø? • Hovedinntrykk: stor grad av tilfredshet med MILL-programmet • Ungdomstrinnet – fortsatt mye bråk og uro i klasserommet • Store forskjeller i grad av elevaktivitet • Elever opplever lite medvirkning/innflytelse på læringen • Store forskjeller i grad av bevissthet om egen læring • I hvilken grad er teorigrunnlaget forstått og tatt i bruk av lærere og elever? • Lærerne har ulik forståelse av hva som er viktig i MILL • Ifølge elevene gjennomsyrer MILL ikke undervisningen.. Ulikt, mest læringsstrategier • MILL har lettet arbeidet med TPO • Elevene har fått sterkere fokus på læring og hvordan man lærer • Litt over halvparten mener de har fått bedre innsikt i sterke og svake sider…

8. Fem hovedproblemstillinger 3 Hvor godt er MILL integrert i skolens læringsmål og undervisning i ulike fag? • Mer eller mindre synlig i rommene og i arbeidsplaner • Mest i KRL, norsk og miljø og natur… • Noen ledere mer kompetente enn andre i å motivere og inspirere medarbeidere • Noen kollegier er lettere å inspirere enn andre • Skapt nye praksiser og nye strategier for skoleutvikling.. • Programmets oppbygging har virket etter sin hensikt; har fått frem begrunnelser og refleksjon • Kritisk: Hvor mange har det hatt reell innflytelse på… 4 I hvilken grad har MILL lykkes i å skape helhet og sammenheng i det ti-årige utdanningsløpet? • Nettverk bra for dem som er med • Samarbeid i kretsen et vellykket grep • Progresjonsplan viktig • Det er lagt strukturer som kan komme elevene til gode i årene fremover.. 5 Har MILL-programmet hatt positiv virkning på elevenes læringsresultater? Hvilke positive effekter kan dokumenteres? • Vanskelig å si noe eksakt - ikke førmåling. • Lærere og elever mente de lærte mer og bedre • ” Det er rimelig å anta ut fra annen forsking at god klasseledelse, trivsel, tilpasset opplæring og klare mål virker positivt på elevenes faglige kompetanse..( s.43)

9. Må bli bedre bedre hos mange Lærerollen - undervisningen Forberedelse av undervisningen Lærerrolle, variasjon Oppstart, modellering Klasseledelse Klare læringsmål Elevdeltakelse Elevens læring, oppfølging og sjekking Mer elevfokusering Kjenne hver elev Tilpasset opplæring Individuell vurdering, elevsamtaler Læringsstiler, hensyn til VAKT Klasserommets utforming, fysisk læringsmiljø Orden, ryddighet God praksis hos mange Klare læringsmål Lærerollen, god undervisning MILL-opplegg i fag Synliggjør elevarbeider Klasseledelse Organisering i klasserom Læringsstrategier Modellering Tydelige voksne SkolevandringBlikk fra praksisvirkeligheten 06 - 07

10. Skolebasert vurdering 06 – 07Noen funn • Våre utfordringer: • Å snakke med elever om hva de skal gjøre for å lære • ungdomskolene lavere enn barneskolene • Elevmedvirkning • veldig lav score, lavest for u-trinn • Foreldresamarbeid • På rett vei: • Læringsstrategier • Modellering • Bruk av bakgrunnskunnskap • Ledere er er generelt mest fornøyd med MILL –arbeidet

11. Ikke en gang for alle, men hele tiden…Elevvurdering må være kjernen i alt lærerarbeid • Vurdering har betydning for elevens mulighet for læring • Underveisvurdering er integrert i læringsprosessen og skal fremme læring, utvikle kompetanse og gi grunnlag for tpo.. • Hensikten med oppfølging og kontroll er bedre læringsutbytte Utfordring nå Balansen mellom prosess og resultat. Fra for mye tilbakemelding på prosess til flere tilbakemeldinger på resultat • Vurdering har betydning for elevens rettssikkerhet • Sluttvurdering er måloppnåelse på et gitt tidspunkt ift hele kompetansemålet Lærerutfordring Å gjøre kompetansemålet oppnåelig for så mange som mulig

12. Elevundersøkelsen 2007 • Prioriterer du å bruke tid på skolearbeid • I alle fag 27% - de fleste 35% - noen 27% • Er du interessert i å lære • 40% - 36 % - 18 % • Har du nok utfordringer i fagene • 36% - 36 % - 21% • Vet du hva du skal lære i fagene • I de fleste fag 36% - mange fag 35% - noen 20% - svært få 6% - ikke i noen 2,5% • I hvor mange fag er du med på å sette egne læringsmål • 5,7% - 14% - 26% - 25 % - 16%

13. Elevundersøkelsen 2007Ingen klare tendenser til endring 2005 - 2007Negativ utvikling: Mobbing og forstyrring/bråk og uro • Har læreren snakket om hva som kreves for å oppnå de ulike karakterene • 21% de fleste fag – 30% mange fag – 29% i noen fag - 15% i svært få – 4% ingen • Vet du hva som kreves for å oppnå kompetansemålene : • 15% i nesten ingen fag - 5 % ingen fag - 16% vet ikke hva k-mål er • Spør lærerne hvordan du selv vurderer skolearbeidet ditt: • 8% i de fleste fag – 17% i mange fag – 30% noen – 28 % svært få – 17 % ikke i noen • Forteller lærerne deg hva du bør gjøre for at du skal bli bedre i fagene: • 17% flere g/uke - 26% én g/uke - 27% 1-3 g/mnd – 17% 2 -4 g/halvår, 13% sjeldnere

14. Elevundersøkelsen 2007 • Kommer lærerne presis til timene/læringsøktene • 22 % svært ofte – 43 ofte % - 24 % av og til – 5% sjelden – 3 % aldri • Kommer elevene for sent til timen • 9% svært ofte – 20% ofte - 50% av og til • Må lærerne bruke mye tid på å få ro i klassen • 15 % svært ofte – 25% ofte – 41% av og til • Blir du forstyrret av at andre elever lager uro/bråk.. • 10% - 18% - 39%

15. Elevundersøkelsen 2007 • I hvor mange fag får du være med å lage arbeidsplaner • 5% de fleste – 4 % mange – 11% noen – 25% noen få - 5% ingen • Velge mellom ulike oppgavetyper • 5% i de fleste fag - 12% mange - 32 % noen - 30% noen få - 21% aldri • Elevsamtaler med kontaktlærer siste år: • 34% én - 12% ingen • Hvor mange samtaler med lærer alene eller med foreldre: • 20% én – 9% ingen

16. Internasjonale undersøkelser PISA: Programme for International Student Assessment Lesing, matematikk, naturfag – 15-åringer 200 skoler • 30 elever trekkes tilfeldig fra hver skole • Hvilke elever kan fritas (fritaksprosent oppgis) • Elever med fysisk funksjonshemming • Elever med psykisk og/eller emosjonell funksjonshemming • Elever med begrensede norskkunnskaper 2000 – 2003 - 2006 • 2 timers faglig prøve • Spørreskjema elever og ledelse Fra 2000 til 2003, Norge: tilbakegang i alle tre fag.. • Tendens til sterkere sammenheng med sosioøkonomiske forhold • Store kjønnsforskjeller i lesing i jentenes favør • Problematisk situasjon for undervisningen • arbeidsmiljø i klasserommet – tiden brukes til mye annet • Mindre vektlegging av læringsstrategier • Høy tilhørighet til skolen Hva vil PISA 2006 fortelle oss …… ??? Offentliggjøres 4. desember

17. Internasjonale undersøkelser TIMMS 8. trinn: Trends in Math and Science Study • Gjennomført 1995 – 2003 • Norge og Sverige størst tilbakegang PIRLS 4. trinn: Progress in International Reading Literacy Study Hvert 5. år Resultater for 2006 : 28. nov TIMMS, PIRLS Læreplanbasert Situasjonen nasjonalt – ikke enkeltskole og enkeltelev

18. PISA 2000 – 32 land 2006 - 57 landGjennomsnitt beregnes fra OECD-landene • PISA kartlegger kompetanser som er viktige i et livslangt perspektiv • PISA måler elevenes evne til å bruke kunnskaper og erfaringer i en aktuell situasjon • Ikke utgangspunkt i landenes læreplan • Det fagdidaktiske eksperter mener er viktige kunnskaper og ferdigheter for 15-åringene • Gir et bilde av situasjonen i vårt land i et internasjonalt perspektiv, målet er ikke å kartlegge den enkelte skole eller elev • De områdene som blir målt er kvalitetssikret

19. PISA 2003 - i et nordisk perspektiv Grafer fra UiO – ILS, EKVA - Enhet for kvantitative utdanningsanalyser

20. Endringer PISA 2003 - PISA 2000Grafer fra UiO - ILS – EKVA

21. Endringer i norske prestasjoner Grafer fra UiO - ILS – Ekva

22. Endring i matematikk-prestasjoner 8. klasse TIMSS1995 – 2003Grafer fra UiO - ILS – EKVA

23. Selv-oppfatning i naturfag8. klasseTIMSSGrafer fra UiO - ILS – EKVA

24. Grunnopplæringen har svak evalueringskultur ? • For lite systematikk i opplæringen • Lite tilbakemeldinger og underveisvurdering Grafer fra KD, TIMMS 2003

25. Variansen mellom og innen skolenGrafer fra UiO - ILS – EKVA

26. Til refleksjon…Kvalitet i Skiensskolen • Hvordan vil du bruke skolens egne resultater i et utviklingsperspektiv? • Prøveresultater, eksamensresultater, elev- og lærerundersøkelser, nasjonale prøver sbv med mer • Hvordan bør denne type data kommuniseres med egen og andre skoler? • Hvordan bør denne type data kommuniseres med omverden? • Skoleporten.no kommer i ny versjon. Hvordan vil dere bruke den?

27. Elevresultater - skolefag Kartlegginger Lesing 2 -7 trinn Regning 2-trinn Språktest-min.spr. Andre Nasjonale prøver Standpunkt- og eksamenskarakterer Elevundersøkelsen Lærerundersøkelsen… foreldreundersøkelsen? Ståstedsanalysen? Skolebasert vurdering Skolevandring Forskningsbasert vurdering TFN, Nordlandsforskning o.a. Skolen – hvis den vil være en lærende organisasjon… Sammenlignet med internasjonalt nivå Hvilke spørsmål bør vi stille oss til resultatene? 2 Sammenlignet med nasjonalt nivå Hvilke spørsmål bør vi stille oss til resultatene? 3 Sammenlignet med kommunalt nivå Hvilke spørsmål bør vi stille oss til resultatene? 4 Sammenligning klasse til klasse Hvilke spørsmål bør vi stille til resultatene ? 5 Sammenligning ulike elevgrupper Hvilke spørsmål bør vi stille til resultatene? Sammenlignet med tidligere Hvilke spørsmål bør vi stille til resultatene? Hva vet du om resultater på egen skole?

28. Trend: å vektlegge elevresultater som mål på hvordan skole, de voksne og systemet fungerer….Hva betyr dette for oss? • Hvordan bruke karakterer/eksamensresultater som verktøy i kvalitetsutvikling og kvalitetsvurdering • Hvordan bruke elevundersøkelsen som verktøy i kvalitetsutvikling og kvalitetsvurdering • Hvordan bruke nasjonale prøver ( i år 5. og 8. trinn) som verktøy i kvalitetsutvikling og kvalitetsvurdering • Hvordan bruke kartlegging lesing som verktøy i kvalitetsutvikling og kvalitetsvurdering • Hvordan bruke kartlegging matematikk som verktøy i kvalitetsutvikling og kvalitetsvurdering • Hvordan bruke kartlegging min.språklige som verktøy i kvalitetsutvikling og kvalitetsvurdering • Hvordan bruke skolebasert vurdering som verktøy i kvalitetsutvikling og kvalitetsvurdering

29. Hva har viinnflytelse på på kort sikt?Hva mener vi kan gi gevinst relativt raskt?

30. Hvor stor åpenhet om elevresultater?Personalmøter – Plangruppe - Team/trinnmøter – Fau/styre – Kommunale nettverk – Ledernettverk – Plangruppesamling – Rektormøter - Hoku

31. Hvis du ikke vet hvor du skal, spiller det heller ingen rolle hvor du går