Institutt for lærerutdanning og skoleforskning

1. Institutt for lærerutdanning og skoleforskning PISA og nasjonale prøver i lesing – hva måler de og hvordan kan resultatene brukes? Astrid Roe

2. Faktorer som påvirker leseforståelsen • Avkodingsferdigheter, lesehastighet og flyt – overgang fra å lese for lesetreningens skyld til å lese for å lære og oppleve • Engasjement • Positiv interesse for leseaktiviteter • Forståelse for viktigheten av å lese • Lesevaner (hva man faktisk leser i fritiden, og hvor ofte) • Overvåking ev egen leseforståelse (metakognisjon) • Kjennskap til og bruk av lesestrategier

3. Leseforståelse henger også sammen med elevenes • sosiale og kulturelle bakgrunn • tidligere leseerfaringer • kunnskaper om teksters form og innhold • evne til å finne fram til informasjon, tolke, trekke slutninger og reflektere over form og innhold i ulike tekster

4. Kartleggingsprøver (Utdanningsdirektoratet/Lesesenteret) • Fokus på de ca 15 -20 % svakeste leserne, ”takeffekt” fordi mange elever klarer alt (lesing og regning). 2. trinn og Vg1 • Lesehastighet måles ved at alle oppgaver er tidsbegrenset. • Ordavkoding måles også (f.eks ordkjeder) • Er ment å brukes på individnivå, men enkelte kommuner publiserer også resultatene

5. ”Kartleggern” Utviklet av Grieg Multimedia i Bergen • Norskprøve med blant annet lesetest: • Ordavkoding, lesehastighet, skumming, evne til å oppfatte og huske faktainnhold fra teksten (dette kalles leseforståelse i prøven). • Elevenes resultater oppgis i form av profiler, der 100% er gjennomsnitt, og 60% er ”kritisk grense” • Kan brukes på individnivå

6. Nasjonale prøver i lesing • For alle elever på 5. og 8. trinn • Tekster i ulike sjangrer og fra mange fagområder • 25 – 30% av oppgavene er åpne, resten er avkryssingsoppgaver • En gjennomsnittselev vil klare ca 60% av alle oppgavene

7. Nasjonaleprøverilesing • Resultatene skal gi tilbakemelding på systemnivå og individnivå. • Resultatene kan brukes til å måle den enkelte elevs eller den enkelte skoles nivå i relasjon til det totale gjennomsnittet • elever, klasser/grupper, skoler, kommuner og fylker kan sammenlikne seg med gjennomsnittet. • Resultatene kan si noe om elevers og gruppers relative styrker og svakheter.

8. For å kunne tolke og bruke resultatene fra en prøve, er det nødvendig å vite hvordan det akutelle fagområdet er definert og operasjonalisert • Nasjonale prøver i lesing er i stor grad påvirket av leseprøven i PISA-undersøkelsen

9. PISA • 15-åringers kompetanse i lesing, matematikk og naturfag • Undersøkelse hvert tredje år med ulike fokusfag • PISA 2000: Lesing (Reading literacy) • PISA 2003: Matematikk (Mathematical literacy) • PISA 2006: Naturfag (Science literacy) • PISA 2009: Lesing • PISA 2012: Matematikk . • Alle tre fagene med hver gang for å kunne måle endring over tid • PISA 2009 - resultater 7. desember 2010

10. Innhold (forts.) • To timers faglig prøve til elevene med oppgaver fra alle tre fagområder • Elektronisk lesing for et utvalg elever i 2009 • Spørreskjema til elevene • Hjemmebakgrunn, holdninger, undervisning, bruk av IKT etc • Spørreskjema til skolens ledelse • Skole- og klassestørrelse, ressurser, organisering av skolen, antall lærere etc.

11. Begrensninger: • Gir gode data kun på nasjonalt nivå • Elevenes svar er anonyme - ingen resultater gis om den enkelte elevs besvarelse • Skolens resultat er anonymisert • Ingen resultater på kommune- eller fylkesnivå

12. Er det mulig å sammenlikne land? • PISA tar ikke utgangspunkt i landenes læreplan • Rammeverkene i de tre fagområdene er utviklet av fageksperter • PISA tar ikke hensyn til antall år på skolen, antall undervisningstimer etc • Disse faktorene kan i tilfelle forklare forskjeller mellom land

13. Utvalg • Skolene trekkes fra offisiell skolestatistikk • 30 (35) elever trekkes fra hver skole • Hvilke elever kan fritas • Elever med fysisk funksjonshemming • Elever med psykisk og/eller emosjonell funksjonshemming • Elever med begrensede norskkunnskaper (hatt norskundervisning mindre enn ett år)

14. Hva innebærer ”Literacy” i PISA? Elevene skal ikke bare være i stand til å reprodusere pensum og faglig innhold, de skal kunne bruke det de har lært og overføre kunnskapen sin til nye situasjoner og fagområder

15. Resultatene presenteres i form av gjennomsnitt for hvert land OECD-gjennomsnittet er standardisert til 500 poeng, ett standardavvik = 100 poeng (ett skoleår utgjør mellom 25 og 30 poeng)

16. Hvorfor har OECD valgt å teste lesekompetanse? • PISA har som mål å kartlegge kompetanser som anses som viktige i et livslangt perspektiv (grunnleggende ferfdigheter) • Antall tekster øker stadig, og stadig flere mennesker er forventet å kunne bruke ulike teksttyper på avanserte måter. • Det er nødvendig å kunne forstå og reflektere kritisk over det man leser. • Kravene til teoretisk utdanning øker, og ingen klarer seg uten lesing.

17. Metakognisjon og gode lesestrategier påvirker også forståelsen • Dårlig leseforståelse skyldes ikke alltid dårlige tekniske leseferdigheter (f.eks dysleksi) • Et skjult problem er ofte mangel på bevissthet omkring og overvåking av egen leseforståelse (metakognisjon).

18. LesevanerifritidenharstorpåvirkningpåelevenesskoleprestasjonerLesevanerifritidenharstorpåvirkningpåelevenesskoleprestasjoner • Elevenes leseforståelse er mer avhengig av hvor mye de leser i fritiden og hvilke holdninger de har til lesing enn av sosial bakgrunn. • Lærere kan ikke endre elevenes sosiale bakgrunn, men de kan påvirke deres lesevaner – og det har god effekt.

19. Tre aspekter ved leseforståelse (i PISA, Kunnskapsløftet og nasjonale prøver) • Finne fram til og hente ut informasjon (ca 30% av oppgavene) • Forstå og tolke (ca 50% av oppgavene) • Reflektere og vurdere (ca 20% av oppgavene) • Alle de tre aspektene kan spille en større eller mindre rolle i forbindelse med en hvilken som helst leseoppgave, men hver oppgave er definert i forhold til det mest fremtredende aspektet.

20. Tekstuvalget • Kompetansemålene i Kunnskapsløftet gjenspeiles i tekstutvalget • Leseprøven kan inneholde faktatekster med natur- eller samfunnsfaglig innhold, instruksjoner, oppskrifter, grafiske framstillinger, argumentetrende tekster osv. • Tekstene er i utgangspunktet ikke konstruert for prøven • Prøven er ikke omfattende nok til at det er mulig å representere alle fag i en og samme prøve • De fagene som tradisjonelt er mest tekstbaserte, som norsk, samfunnsfag, naturfag og RLE, vil forekomme oftere enn kroppsøving, musikk, kunst og håndverk, mat og helse og matematikk.

21. Validitet – måler prøven det den er ment å måle? • Rammeverket gir kriteriene for hva prøven skal måle – sikrer validiteten • En leseprøve bør måle hele eller deler av nettopp lesekompetansen,ikke i for stor grad f. eks. faktakunnskap eller skriveferdigheter. • Prøven bør ikke passe bedre for én gruppe elever enn for en annen (gutter og jenter). • Oppgavene bør ikke være utformet slik at noen elever kan svare riktig uten å ha lest teksten. • Men forkunnskaper spiller alltid en rolle

22. Validitet kan svekkes ved • Underrepresentasjon – det vil si at oppgavene til sammen ikke representerer fagområdet på en god måte (f.eks hvis leseprøven inneholder for mye skjønnlitteratur). • Irrelevans – det vil si at mange av oppgavene tydelig faller utenfor det angitte fagområdet (f. eks. andre norskfaglige emner enn lesing).

23. Reliabilitet – er resultatene framkommet på en pålitelig måte? • Lesing er et bredt kompetansefelt, derfor bør prøven inneholde visst antall tekster og oppgaver. For å finne ut hvor god reliabiliteten er, blir prøven pilotert på et utvalg elever for å finne ut hvor høyt resultater på enkeltoppgavene samvarierer (korrelerer) seg imellom (Cronbach’s alpha bør være mellom 0,7 og 0,8). • Oppgavene må støtte opp om hverandre slik at de i rimelig grad måler det samme. • Legger man inn en matematikkoppgave i leseprøven, svekkes sannsynligvis reliabiliteten.

24. Reliabilitet (forts.) • Vi må kunne stole på at elevbesvarelsene blir vurdert på samme måte uansett hvem som vurderer dem (forutsatt at de er kompetente og har fulgt vurderingsveiledningen). • Reliabilitet sier da hvor stor overensstemmelse det er mellom to eller flere ulike sensorer som vurderer samme åpne oppgaver. • Høy sensorreliabilitet er en utfordring, derfor er det forholdsvis få åpne oppgaver i de nasjonale prøvene (ca 30%).

25. Resultatene presenteres i form av andel elever på tre kompetansenivåer på 5. trinn og fem kompetansenivåer på 8. trinn • For hvert kompetansenivå er det beskrevet generelle trekk ved elevenes lesekompetanse på hver av de tre oppgavetypene • Det finnes veiledningsmateriell til lærerne både når det gjelder gjennomføring og bruk av resultatene på www.udir.no

26. Oppfølgingavresultatene – allelæreresansvar • Studer resultatene for hver elev på oppgavenivå, særlig når det gjelder de oppgavene som elevene ikke har fått til. • Når elever ikke får poeng på en oppgave, har de enten ikke svart eller svart feil. Hvorfor? Har de ikke forstått oppgaven, har de ikke rukket å svare, eller har de ikke forsøkt? • På flervalgsoppgaver kan elevene ha gjettet hva som er riktig • Gå gjennom prøven med elevene, forklar hva som karakteriserer de ulike tekstene (sjanger, form, hensikt) og hva de ulike oppgavene måler. • Vis elevene hva som skiller godkjente og ikke godkjente svar på de åpne oppgavene • Gå gjennom de ulike svaralternativene på flervalgsoppgaver. • La elevene selv forsøke å lage flervalgsoppgaver • Hvilke fag har tekster som elevene ser ut til å ha problemer med?

27. Leseprøver kan gi verdifull informasjon til lærerne, men de bør være gode og gjennomtenkte, og det bør være tydelig hva som måles og på hvilken måte. • I den daglige undervisningen er den løpende vurderingen helt nødvendig.