500 likes | 677 Views
Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo?. Torbjørn Hægeland (SSB), Lars J. Kirkebøen (SSB), Oddbjørn Raaum (Frischsenteret), Kjell G. Salvanes (NHH) UDE, Oslo kommune 5.12.2005. Bakgrunn.
E N D
Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo? Torbjørn Hægeland (SSB), Lars J. Kirkebøen (SSB), Oddbjørn Raaum (Frischsenteret), Kjell G. Salvanes (NHH) UDE, Oslo kommune 5.12.2005
Bakgrunn • Internasjonal trend; Åpenhet og resultatoffentlighet om tjenesteproduksjon finansiert ved skatteinntekter • Søgnenutvalgets første delrapport: • Foreslo Kvalitetsportalen – nå Skoleporten • Forslag til en rekke indikatorer • Også indikatorer for skolens bidrag til elevenes læring • Utredet i 2004 – rapport fra SSB. Beskrevet i temakapittel i Utdanningsspeilet 2005, fra Utdanningsdirektoratet • Nå gjort et arbeid for å beregne skolebidragsindikatorer til skoleporten.no. Bakgrunnsrapport publisert 18.11.05 samtidig med at indikatorene ble lagt ut på pålogget del av skoleporten.no. • ...Og publisert for Oslo i Aftenposten dagen etter.
Indikatorer for læringsutbytte i Skoleporten • Publiseres på skolenivå • I stor grad basert på resultater fra ulike eksamener og prøver • Ukorrigerte resultatfordelinger/gj.snitt gir et bilde av • kunnskaps- og ferdighetsnivået til elevene ved en skole på et gitt tidspunkt • endringer over tid ved å sammenlikne flere kull • Ambisjonen for Skoleporten går lenger enn å gi et bilde av hva elevene kan • Ønsker indikatorer som reflekterer forskjeller i hva skolene tilfører elevene av kunnskaper og ferdigheter, både målt ved karakterer og andre måleinstrumenter
Elevsammensetning og tilfeldig variasjon er faktorer som ligger utenfor skolens kontroll • I hvilken grad faktiske resultatforskjeller mellom skoler reflekterer forskjeller i skolens bidrag, avhenger av hvor viktig elevsammensetning og tilfeldig variasjon er for resultatforskjellene. • Dette er et empirisk spørsmål • Kan bare fastslås ved nøyaktige undersøkelser basert på faktiske resultater for de samme skolene over flere år • Pålitelige svar krever detaljert informasjon om elevenes læringsforutsetninger
Hvor viktig er elevsammensetningen? • Sterk sammenheng mellom observert familiebakgrunn og skoleprestasjoner • Ca. 30 prosent av karakterforskjeller mellom enkeltelever kan tilskrives observerte forskjeller i familiebakgrunn • Ingen lovmessighet, 70 prosent skyldes ’andre ting’ (dog herunder uobserverte familiefaktorer). • Elever med lik bakgrunn tenderer til å gå på samme skole (boligmarkedet/nærområdeskoler) • Resultatforskjeller mellom skoler skyldes i noen grad ulik elevsammensetning Forskjeller i elevgrunnlag kan ikke observeres fullt ut, men registerdata gir svært detaljert informasjon om familiebakgrunn i Norge.
Tilfeldig variasjon • Resultater svinger fra år til år • Tilfeldigheter knyttet til enkeltelevers prestasjoner • Særskilte hendelser som påvirker resultatene på klasse- eller skolenivå • Usikkerhet størst for små skoler, men statistisk usikkerhet rundt ethvert gjennomsnitt • Tilfeldig variasjon vil gi tendens til en rangering med små skoler i topp og bunn, uten at dette nødvendigvis reflekterer kjennetegn ved skolen • => Små skoler vil typisk være ’vinnere’ og ’tapere’ basert på endringer fra et år til det neste.
Svingninger fra år til år (Hægeland m.fl, 2004 basert på grunnskolepoeng)
Alt i alt.... • Elevsammensetning og tilfeldig variasjon er viktige forklaringer på resultatforskjeller mellom skoler. • Resultatmål som ikke tar hensyn til disse faktorene, er med stor sikkerhet misvisende. • Spørsmålet er om man kan finne resultatmål basert på karakterer som bedre reflekterer skolens bidrag til elevenes læring enn ukorrigerte karaktergjennomsnitt.
Skolebidragsindikatorer • Skolebidragsindikatorer (SBI) er slike resultatmål; ”Hva ville resultatforskjellene mellom skoler vært dersom de hadde hatt det samme elevgrunnlaget?” • SBI er verktøy for bedre å kunne sammenlikne skoler på likt grunnlag ved å ta hensyn til at skolene har ulikt elevgrunnlag, og samtidig redusere betydningen av tilfeldig variasjon • Mange mener SBI basert på enkeltelevers utvikling over tid er det ideelle. Stiller store krav til informasjon om elevenes kunnskaper • I dag kun mulig med SBI basert på (karakter)nivå for grunnskolen. Videregående byr på flere muligheter. • Et viktig budskap i navnet: Indikator. Ikke et eksakt mål på kvalitetsforskjeller eller som gir oss endelige svar på hva som er ’gode/dårlige’ skoler • Tallfesting av hvilken betydning elevsammensetningen har. Alle vet det er viktig, men hvor viktig?
Hvordan beregnes skolebidragsindikatorene på skoleporten.no ? • Enkelt forklart tenker vi oss at resultatet for hver elev, målt ved for karakterer, kan tilskrives kjønn, alder, familiebakgrunn, skoletilhørighet og uobserverte ("tilfeldige") faktorer. • Trekker ut den delen av resultatet som skyldes at elevens familiebakgrunn avviker fra gjennomsnittet blant elevene. • Dette gjøres ved hjelp av regresjonsanalyse • Vi sitter da igjen med et justert gjennomsnitt for hver enkelt skole. • Dette indikerer "skolebidraget" og kan tolkes som det gjennomsnittet vi forventer at skolen ville hatt, dersom elevsammensetningen ved skolen var lik gjennomsnittet i landet. • Noen skoler får et tillegg, andre et fradrag. Denne korreksjonen skyldes elevsammensetningen og har ingenting med SBI å gjøre.
Hva slags elevkjennetegn tar vi hensyn til? • Elevens kjønn og alder (år, kvartal) • Foreldrenes utdanning • Familiestruktur • Innvandringsbakgrunn • Familieøkonomi • Trygdeforhold
Hvordan håndteres tilfeldig variasjon? • Ser på to år under ett (2002-03 og 2003-04) • Minst 20 elevobservasjoner for hvert enkelt år • Dette reduserer usikkerheten til skolebidragsindikatorene • I tillegg: Rapporterer mål på usikkerheten ved hjelp av konfidensintervall og ’tommelfinger-regler’ ved sammenlikninger ( veiledning i ”hvor store forskjellene må være for å kunne avvise at de skyldes tilfeldigheter”) • mer om dette i løpet av et par minutter!
For hvilke resultatmål beregnes skolebidragsindikatorene? • Grunnskolepoeng • Karakterer i basisfag • Norsk hovedmål, matematikk og engelsk • Skriftlig eksamenskarakter • Tar hensyn til at skoler blir trukket ut i ulike fag Skolebidragsindikatorer for ca. 600 enkeltskoler
Usikkerhet ved indikatorene • Hvorfor usikkerhet når datamaterialet omfatter alle elevene? • Ute etter hva skolen vanligvis bidrag med til elevenes læring, ikke bare hva som skjedde ’akkurat i år’ • Tilfeldig variasjon en del av enhver observasjon (både på skole- og elevnivå) • Bidragene fra familiebakgrunn er estimert og beheftet med en viss usikkerhet • Men flere uavhengige observasjoner gir lavere usikkerhet • Skoleporten: Rapporterer usikkerhet i form av konfidensintervall • Også veiledning i når en forskjell er statistisk signifikant? • Tommelfingerregler
Tommelfinger-regler; Når er forskjeller mellom skoler så store at de kan avvises som tilfeldige? (Oslo-tall)
Prosjekt for UDE, Oslo kommune. Bakgrunn • Skolebidragsindikatorene beregnet for hele landet • En underliggende forutsetning om at sammenhengene mellom ulike familiebakgrunnsvariable og individuelle resultater ikke varierer med hvor i landet elevene går på skole. • Ikke opplagt riktig • Karakterforskjeller mellom elever fra ulike sosioøkonomiske grupper kan variere mellom bykommuner og spredtbygde strøk. • Hvis disse sammenhengene varierer sterkt mellom regioner, vil skolebidragsindikatorer basert på beregninger for hele landet ikke nødvendigvis være et like treffsikkert verktøy til sammenligning av skoler innenfor en enkelt region. • Må studeres ved hjelp av data, kan ikke avgjøres uten å gjøre detaljerte beregninger!
Oslo-rapportens fokus • Er det store forskjeller i sammenhengene mellom ulike familiebakgrunnsvariable og individuelle skoleresultater mellom Oslo og landet som helhet? • Hvis ja, ’spiller det noen rolle?’, eller • Gir skolebidragsindikatorer beregnet for Oslo-skoler separat et annet bilde av skolenes bidrag til elevenes læring enn indikatorer for de samme skolene beregnet på grunnlag av et nasjonalt datasett?
Familiebakgrunn og skoleprestasjoner – forskjell Oslo og resten av landet? • I utgangspunktet grunn til å tro at de grunnleggende sammenhengene er noenlunde like i Oslo og resten av landet • Men størrelsen på effektene kan tenkes å variere • Også forskjeller i sammensetning innad i grupper slik vi definerer dem • Utdanning • Inntekt • Innvandringsbakgrunn • Konsekvenser for skolebidragsindikatorene? Først og fremst dersom vi finner ulike effekter knyttet til kjennetegn der variasjonen mellom skoler er stor
Gjennomsnittsforskjeller mellom elever med ulik bakgrunn (modellberegnet)
Sammenheng skolebidragsindikator – skolegjennomsnitt (hele landet)
Skolebidragsindikatorer for Oslo. Estimert sammen med resten av landet eller separat
Resultater for utvalgte Oslo-skoler (basert på grunnskolepoeng)
Resultater for utvalgte Oslo-skoler (basert på karakterer i basisfag)
Oppsummering Oslo-rapport • Variasjonen i elevsammensetningen mellom skolene i Oslo stor, og langt større enn i resten av landet. • Dette medfører at skolebidragsindikatorene for Osloskolene gir vesentlig tilleggsinformasjon - i enda større grad enn for resten av landet - om skolenes bidrag til elevenes læring, utover hva ujusterte karakterforskjeller forteller oss. • Eller; ujusterte karakterforskjeller sier svært lite om skolens bidrag i Oslo • Selv om forskjellene i elevsammensetning er større i Oslo, er sammenhengen mellom familiebakgrunn og elevprestasjoner ikke vesentlig forskjellig fra resten av landet. • => Skolebidragsindikatorene for Oslo er ikke særlig følsomme for om de beregnes for Osloskoler separat eller hentes fra en nasjonal beregning.
Andre interessante funn og problemstillinger • For grunnskolepoeng ligger Oslo høyt i fordelingen av skolebidragsindikatorer – men ikke for basisfag eller eksamen • Snillere karaktergiving i Oslo – særlig i fag uten ekstern sensur? • Konsekvenser av (det tidligere) inntakssystemet for videregående skoler?
Hva sier skolebidragsindikatorene, og hva kan de brukes til? • Et hjelpemiddel til vurdering og utvikling av skoler, ikke til måling av enkelte elever! • Men kun ett av mange verktøy for å kunne kvalitetssikre og forbedre læringsutbyttet i skolen • Hjelp til arbeidet med å identifisere ”god praksis” (Hva dette skyldes, er neste skritt) • Skoler kan gi gode bidrag til læring uten at de utpeker seg på karakterstatistikken, fordi de har et mer krevende elevgrunnlag. • Gjør det lettere å identifisere skoler som ikke utnytter elevenes potensial • Lettere å tolke endringer over tid • Kan motivere til forbedring: Skolene vil kunne se at det hjelper • Vanskeligere å bortforklare dårlige (og gode) resultater med elevgrunnlaget
Hva sier skolebidragsindikatorer, og hva kan de brukes til? (forts.) • Overvåke og tolke spredning i resultater mellom skoler i Norge • Korreksjonen kan endre seg over tid • Korreksjonen avspeiler forskjeller mellom grupper der og da, ikke en fast ’mal’ • Dersom en skole forbedrer seg, skjerper dette ”kravene” til skoler med tilsvarende elevgrunnlag. • Både ujusterte resultater og skolebidragsindikatorer • Dårlige karakterer fremdeles et problem selv om skolebidraget er høyt. • ’Alarmen’ bør primært stilles inn på ujusterte resultater • Elevenes videre karriere i utdanning/arbeidsliv og kvalitet på sosiale relasjoner bestemmes ikke av familiebakgrunnskorrigerte karakterer!
Konklusjoner • Skolebidragsindikatorene korrigerer for viktige faktorer som ikke kan tilskrives skolen, - men gjenstår likevel mulighet for uobserverte forskjeller i elevgrunnlag. • Skolebidragsindikatorene løser ikke alle problemer knyttet til tolkning av forskjeller mellom skoler • De har likevel høy informasjonsverdi og kan gi konstruktive bidrag til debatten om skolekvalitet • Skolebidragsindikatorene er et viktig - men langt fra siste - skritt videre i arbeidet med å utvikle måleinstrumenter for kvalitetsvurdering av norske skoler
”Forklaringskraft” for grupper av variable, dropper denne her/for teknisk??