Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo?

1. Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo? Torbjørn Hægeland (SSB), Lars J. Kirkebøen (SSB), Oddbjørn Raaum (Frischsenteret), Kjell G. Salvanes (NHH) UDE, Oslo kommune 5.12.2005

2. Bakgrunn • Internasjonal trend; Åpenhet og resultatoffentlighet om tjenesteproduksjon finansiert ved skatteinntekter • Søgnenutvalgets første delrapport: • Foreslo Kvalitetsportalen – nå Skoleporten • Forslag til en rekke indikatorer • Også indikatorer for skolens bidrag til elevenes læring • Utredet i 2004 – rapport fra SSB. Beskrevet i temakapittel i Utdanningsspeilet 2005, fra Utdanningsdirektoratet • Nå gjort et arbeid for å beregne skolebidragsindikatorer til skoleporten.no. Bakgrunnsrapport publisert 18.11.05 samtidig med at indikatorene ble lagt ut på pålogget del av skoleporten.no. • ...Og publisert for Oslo i Aftenposten dagen etter.

3. Indikatorer for læringsutbytte i Skoleporten • Publiseres på skolenivå • I stor grad basert på resultater fra ulike eksamener og prøver • Ukorrigerte resultatfordelinger/gj.snitt gir et bilde av • kunnskaps- og ferdighetsnivået til elevene ved en skole på et gitt tidspunkt • endringer over tid ved å sammenlikne flere kull • Ambisjonen for Skoleporten går lenger enn å gi et bilde av hva elevene kan • Ønsker indikatorer som reflekterer forskjeller i hva skolene tilfører elevene av kunnskaper og ferdigheter, både målt ved karakterer og andre måleinstrumenter

4. Hva skaper resultatforskjeller mellom skoler?

5. Hva skaper resultatforskjeller mellom skoler?

6. Hva skaper resultatforskjeller mellom skoler?

7. Hva skaper resultatforskjeller mellom skoler?

8. Elevsammensetning og tilfeldig variasjon er faktorer som ligger utenfor skolens kontroll • I hvilken grad faktiske resultatforskjeller mellom skoler reflekterer forskjeller i skolens bidrag, avhenger av hvor viktig elevsammensetning og tilfeldig variasjon er for resultatforskjellene. • Dette er et empirisk spørsmål • Kan bare fastslås ved nøyaktige undersøkelser basert på faktiske resultater for de samme skolene over flere år • Pålitelige svar krever detaljert informasjon om elevenes læringsforutsetninger

9. Hvor viktig er elevsammensetningen? • Sterk sammenheng mellom observert familiebakgrunn og skoleprestasjoner • Ca. 30 prosent av karakterforskjeller mellom enkeltelever kan tilskrives observerte forskjeller i familiebakgrunn • Ingen lovmessighet, 70 prosent skyldes ’andre ting’ (dog herunder uobserverte familiefaktorer). • Elever med lik bakgrunn tenderer til å gå på samme skole (boligmarkedet/nærområdeskoler) • Resultatforskjeller mellom skoler skyldes i noen grad ulik elevsammensetning Forskjeller i elevgrunnlag kan ikke observeres fullt ut, men registerdata gir svært detaljert informasjon om familiebakgrunn i Norge.

10. Tilfeldig variasjon • Resultater svinger fra år til år • Tilfeldigheter knyttet til enkeltelevers prestasjoner • Særskilte hendelser som påvirker resultatene på klasse- eller skolenivå • Usikkerhet størst for små skoler, men statistisk usikkerhet rundt ethvert gjennomsnitt • Tilfeldig variasjon vil gi tendens til en rangering med små skoler i topp og bunn, uten at dette nødvendigvis reflekterer kjennetegn ved skolen • => Små skoler vil typisk være ’vinnere’ og ’tapere’ basert på endringer fra et år til det neste.

11. Svingninger fra år til år (Hægeland m.fl, 2004 basert på grunnskolepoeng)

12. Alt i alt.... • Elevsammensetning og tilfeldig variasjon er viktige forklaringer på resultatforskjeller mellom skoler. • Resultatmål som ikke tar hensyn til disse faktorene, er med stor sikkerhet misvisende. • Spørsmålet er om man kan finne resultatmål basert på karakterer som bedre reflekterer skolens bidrag til elevenes læring enn ukorrigerte karaktergjennomsnitt.

13. Skolebidragsindikatorer • Skolebidragsindikatorer (SBI) er slike resultatmål; ”Hva ville resultatforskjellene mellom skoler vært dersom de hadde hatt det samme elevgrunnlaget?” • SBI er verktøy for bedre å kunne sammenlikne skoler på likt grunnlag ved å ta hensyn til at skolene har ulikt elevgrunnlag, og samtidig redusere betydningen av tilfeldig variasjon • Mange mener SBI basert på enkeltelevers utvikling over tid er det ideelle. Stiller store krav til informasjon om elevenes kunnskaper • I dag kun mulig med SBI basert på (karakter)nivå for grunnskolen. Videregående byr på flere muligheter. • Et viktig budskap i navnet: Indikator. Ikke et eksakt mål på kvalitetsforskjeller eller som gir oss endelige svar på hva som er ’gode/dårlige’ skoler • Tallfesting av hvilken betydning elevsammensetningen har. Alle vet det er viktig, men hvor viktig?

14. Hvordan beregnes skolebidragsindikatorene på skoleporten.no ? • Enkelt forklart tenker vi oss at resultatet for hver elev, målt ved for karakterer, kan tilskrives kjønn, alder, familiebakgrunn, skoletilhørighet og uobserverte ("tilfeldige") faktorer. • Trekker ut den delen av resultatet som skyldes at elevens familiebakgrunn avviker fra gjennomsnittet blant elevene. • Dette gjøres ved hjelp av regresjonsanalyse • Vi sitter da igjen med et justert gjennomsnitt for hver enkelt skole. • Dette indikerer "skolebidraget" og kan tolkes som det gjennomsnittet vi forventer at skolen ville hatt, dersom elevsammensetningen ved skolen var lik gjennomsnittet i landet. • Noen skoler får et tillegg, andre et fradrag. Denne korreksjonen skyldes elevsammensetningen og har ingenting med SBI å gjøre.

15. Hva slags elevkjennetegn tar vi hensyn til? • Elevens kjønn og alder (år, kvartal) • Foreldrenes utdanning   • Familiestruktur    • Innvandringsbakgrunn      • Familieøkonomi • Trygdeforhold

16. Hvordan håndteres tilfeldig variasjon? • Ser på to år under ett (2002-03 og 2003-04) • Minst 20 elevobservasjoner for hvert enkelt år • Dette reduserer usikkerheten til skolebidragsindikatorene • I tillegg: Rapporterer mål på usikkerheten ved hjelp av konfidensintervall og ’tommelfinger-regler’ ved sammenlikninger ( veiledning i ”hvor store forskjellene må være for å kunne avvise at de skyldes tilfeldigheter”) • mer om dette i løpet av et par minutter!

17. For hvilke resultatmål beregnes skolebidragsindikatorene? • Grunnskolepoeng • Karakterer i basisfag • Norsk hovedmål, matematikk og engelsk • Skriftlig eksamenskarakter • Tar hensyn til at skoler blir trukket ut i ulike fag Skolebidragsindikatorer for ca. 600 enkeltskoler

18. Grunnskolepoeng på skolenivå

19. Differanse SBI-skolegjennomsnitt, grunnskolepoeng

20. Sammenheng mellom SBI og skolegjennomsnitt, grunnskolepoeng

23. Usikkerhet ved indikatorene • Hvorfor usikkerhet når datamaterialet omfatter alle elevene? • Ute etter hva skolen vanligvis bidrag med til elevenes læring, ikke bare hva som skjedde ’akkurat i år’ • Tilfeldig variasjon en del av enhver observasjon (både på skole- og elevnivå) • Bidragene fra familiebakgrunn er estimert og beheftet med en viss usikkerhet • Men flere uavhengige observasjoner gir lavere usikkerhet • Skoleporten: Rapporterer usikkerhet i form av konfidensintervall • Også veiledning i når en forskjell er statistisk signifikant? • Tommelfingerregler

24. Tommelfinger-regler; Når er forskjeller mellom skoler så store at de kan avvises som tilfeldige? (Oslo-tall)

25. Prosjekt for UDE, Oslo kommune. Bakgrunn • Skolebidragsindikatorene beregnet for hele landet • En underliggende forutsetning om at sammenhengene mellom ulike familiebakgrunnsvariable og individuelle resultater ikke varierer med hvor i landet elevene går på skole. • Ikke opplagt riktig • Karakterforskjeller mellom elever fra ulike sosioøkonomiske grupper kan variere mellom bykommuner og spredtbygde strøk. • Hvis disse sammenhengene varierer sterkt mellom regioner, vil skolebidragsindikatorer basert på beregninger for hele landet ikke nødvendigvis være et like treffsikkert verktøy til sammenligning av skoler innenfor en enkelt region. • Må studeres ved hjelp av data, kan ikke avgjøres uten å gjøre detaljerte beregninger!

26. Oslo-rapportens fokus • Er det store forskjeller i sammenhengene mellom ulike familiebakgrunnsvariable og individuelle skoleresultater mellom Oslo og landet som helhet? • Hvis ja, ’spiller det noen rolle?’, eller • Gir skolebidragsindikatorer beregnet for Oslo-skoler separat et annet bilde av skolenes bidrag til elevenes læring enn indikatorer for de samme skolene beregnet på grunnlag av et nasjonalt datasett?

27. Familiebakgrunn og skoleprestasjoner – forskjell Oslo og resten av landet? • I utgangspunktet grunn til å tro at de grunnleggende sammenhengene er noenlunde like i Oslo og resten av landet • Men størrelsen på effektene kan tenkes å variere • Også forskjeller i sammensetning innad i grupper slik vi definerer dem • Utdanning • Inntekt • Innvandringsbakgrunn • Konsekvenser for skolebidragsindikatorene? Først og fremst dersom vi finner ulike effekter knyttet til kjennetegn der variasjonen mellom skoler er stor

28. Forskjeller i grunnskolepoeng etter foreldrenes utdanning

29. Gjennomsnittsforskjeller mellom elever med ulik bakgrunn (modellberegnet)

30. Skolegjennomsnitt, grunnskolepoeng

31. Skolegjennomsnitt, karakterer i basisfag

32. Skolegjennomsnitt, skriftlig eksamen

33. Skolebidragsindikatorer - grunnskolepoeng

34. Skolebidragsindikatorer – skriftlig eksamen

35. Sammenheng skolebidragsindikator – skolegjennomsnitt (hele landet)

36. Sammenheng skolebidragsindikator – skolegjennomsnitt (Oslo)

37. Skolebidragsindikatorer for Oslo. Estimert sammen med resten av landet eller separat

38. Bevegelser opp og ned i fordelingen, grunnskolepoeng

39. Bevegelser opp og ned i fordelingen, skriftlig eksamen

40. Resultater for utvalgte Oslo-skoler (basert på grunnskolepoeng)

41. Resultater for utvalgte Oslo-skoler (basert på karakterer i basisfag)

42. Oppsummering Oslo-rapport • Variasjonen i elevsammensetningen mellom skolene i Oslo stor, og langt større enn i resten av landet. • Dette medfører at skolebidragsindikatorene for Osloskolene gir vesentlig tilleggsinformasjon - i enda større grad enn for resten av landet - om skolenes bidrag til elevenes læring, utover hva ujusterte karakterforskjeller forteller oss. • Eller; ujusterte karakterforskjeller sier svært lite om skolens bidrag i Oslo • Selv om forskjellene i elevsammensetning er større i Oslo, er sammenhengen mellom familiebakgrunn og elevprestasjoner ikke vesentlig forskjellig fra resten av landet. • => Skolebidragsindikatorene for Oslo er ikke særlig følsomme for om de beregnes for Osloskoler separat eller hentes fra en nasjonal beregning.

43. Andre interessante funn og problemstillinger • For grunnskolepoeng ligger Oslo høyt i fordelingen av skolebidragsindikatorer – men ikke for basisfag eller eksamen • Snillere karaktergiving i Oslo – særlig i fag uten ekstern sensur? • Konsekvenser av (det tidligere) inntakssystemet for videregående skoler?

44. Hva sier skolebidragsindikatorene, og hva kan de brukes til? • Et hjelpemiddel til vurdering og utvikling av skoler, ikke til måling av enkelte elever! • Men kun ett av mange verktøy for å kunne kvalitetssikre og forbedre læringsutbyttet i skolen • Hjelp til arbeidet med å identifisere ”god praksis” (Hva dette skyldes, er neste skritt) • Skoler kan gi gode bidrag til læring uten at de utpeker seg på karakterstatistikken, fordi de har et mer krevende elevgrunnlag. • Gjør det lettere å identifisere skoler som ikke utnytter elevenes potensial • Lettere å tolke endringer over tid • Kan motivere til forbedring: Skolene vil kunne se at det hjelper • Vanskeligere å bortforklare dårlige (og gode) resultater med elevgrunnlaget

45. Hva sier skolebidragsindikatorer, og hva kan de brukes til? (forts.) • Overvåke og tolke spredning i resultater mellom skoler i Norge • Korreksjonen kan endre seg over tid • Korreksjonen avspeiler forskjeller mellom grupper der og da, ikke en fast ’mal’ • Dersom en skole forbedrer seg, skjerper dette ”kravene” til skoler med tilsvarende elevgrunnlag. • Både ujusterte resultater og skolebidragsindikatorer • Dårlige karakterer fremdeles et problem selv om skolebidraget er høyt. • ’Alarmen’ bør primært stilles inn på ujusterte resultater • Elevenes videre karriere i utdanning/arbeidsliv og kvalitet på sosiale relasjoner bestemmes ikke av familiebakgrunnskorrigerte karakterer!

46. Herfra og ut skal ikke brukes

47. Konklusjoner • Skolebidragsindikatorene korrigerer for viktige faktorer som ikke kan tilskrives skolen, - men gjenstår likevel mulighet for uobserverte forskjeller i elevgrunnlag. • Skolebidragsindikatorene løser ikke alle problemer knyttet til tolkning av forskjeller mellom skoler • De har likevel høy informasjonsverdi og kan gi konstruktive bidrag til debatten om skolekvalitet • Skolebidragsindikatorene er et viktig - men langt fra siste - skritt videre i arbeidet med å utvikle måleinstrumenter for kvalitetsvurdering av norske skoler

48. Differanse skolebidrag- skolegjennomnsitt (grunnskolepoeng)

49. ”Forklaringskraft” for grupper av variable, dropper denne her/for teknisk??