Oppdragsgiver for prosjektet: Rogaland Fylkeskommune

1. Vurdering av statistiske analysemetoder brukt i Læringslabens undersøkelser i videregående skole i Rogaland

2. Oppdragsgiver for prosjektet: Rogaland Fylkeskommune Bakgrunn: støy omkring Læringslaben (LL) sine arbeider

3. Bjørn Henrik Auestad Førsteamanuensis i statistikk Universitetet i Stavanger Hovedfag i statistikk (UiB, 1988) Dr.grad i statistikk (UiB 1991), Lang erfaring med bruk av statistiske metoder; forskning og undervisning

4. Arbeidsform i prosjektet • utgangspunkt i ”Grunnlagsrapport 2007”; også arbeid LL har gjort tidligere for Rogaland fylk. • dialog med LL; bl.a. møte i Stavanger den 15. mars; nyttig kontakt • Metodene som beskrives i grunnlagsrapporten er de samme som brukes i rapport til Rog. fylk. for 2007

5. Grunnlagsrapport 2007 • Pedagogisk teori, vurderinger og analyser • Vitenskapsteori (!) • Statistiske analyser • enkle beskrivende • avanserte (korrespondanse, prinsipal komponent, faktor, ...) • sammensatte, ikke-standard-metoder

6. Grunnlagsrapport 2007 korrespondanseanalyse, prinsipal komponent analyse, faktoranalyse, ... • Det er flott å kunne håndtere slike avanserte metoder! • Utfordring ved formidling? • Unødvendig komplisert? Kunne det vært gjort enklere?

7. Statistisk usikkerhet Når vi skal trekke konklusjoner på bakgrunn av statistiske data, må vi ta høyde for det vi kaller statistisk usikkerhet i resultatene våre. Skoledataene er data med statistisk usikkerhet. Dette må forstås og håndteres ordentlig!

8. Statistisk usikkerhet Eksempel: Skolegjennomsnittene for variabelen ”motiverende lærer”:

9. Statistisk usikkerhet Eksempel: Skolegjennomsnittene for variabelen ”motiverende lærer”: Figur viser skolesnittene og grenser. Statistisk usikkerhet?

10. Statistisk usikkerhet Modell for statistisk usikkerhet; s. 62 i gr.rapp.:observert skåre = valid skåre + systematisk feil + tilfeldige feil BRA! Beskrivelsen av leddet tilfeldige feil mangler individuell variasjon.

11. Statistisk usikkerhet Individuelle variasjoner (Ulike elever opplever skolens/skolesystemets egenskaper ulikt. Neste kull sine svar på de aktuelle spørsmålene vil neppe gi eksakt samme fordeling.)Omfanget av denne variasjonen dominerer de tilfeldige feilene.Omfanget av tilfeldige feil totalt kommer til uttrykk i spredningen i svarene som vi ser i figurene Motiv. lærer for en skole i Rog.

12. Statistisk usikkerhet Omfang av tilfeldig variasjon kan simuleres:

13. Statistisk usikkerhet Omfang av statistisk usikkerhet i skolesnittene:

14. Statistisk usikkerhet • Det er ikke tatt hensyn til denne usikkerheten i forbindelse med "Kriteriebasert vurdering" • F.eks. vil skolesnittene ha en viss spredning utelukkende forårsaket av individvariasjonen, mens LL nærmest forutsetter virkelige forskjeller. • (ANOVA-liknende metode aktuell)

15. Statistiske tester Det brukes t-tester, effektstørrelse og ki-kvadrat-tester i forbindelse med "Kriteriebasert vurdering" t-test: sammenligning av to gjennomsnitt der man tar hensyn til foreliggende statistisk usikkerhet (”statistisk signifikant forskjell”) effektstørrelse: mål på praktisk interessant forskjell. KUN DERSOM DET ER STATISTISK FORSKJELL!!!

16. Statistiske tester • t-tester og effektstørrelse brukes feil i forbindelse med grenseverdiene, kp. 10.4, ... (f.eks. s 273)

17. Statistiske tester • Ki-kvadrat-tester; i forbindelse med grensene • feil bruk

18. Statistiske tester • Ki-kvadrat-tester; i forbindelse med grensene • feil bruk, 2

19. Statistiske tester • Videre brukes effektstørrelse i feil (for å teste statistisk forskjell) i kp. 8.2, 9.2

20. Kriteriebasert vurdering Bra å komme bort fra rangeringen av skolegjennomsnittene! En del har sikkert opplevd analysene fra LL som gode beskrivelser som har vært til hjelp – konklusjonene synes å stemme. Det er svært mange konklusjoner i en typisk fylkesrapport. Mange av dem stemmer nok!

21. Statistiske tester • Generelt problem med at det gjøres mange statistiske tester (sammenligninger): • forventet forekomst av feile konklusjoner øker!!! • Flere metoder for å gjøre noe med dette finnes. LL har ikke berørt problemet i det hele tatt.

22. Frafall/representativitet

23. Frafall/representativitet

24. Frafall/representativitet

25. Frafall/representativitet • Personalundersøkelsen, Rogaland 2006, kp. 2: • ca. 1550 deltar av ca.3300 • er utvalget representativt?? • Hvem er de som ikke svarte? • Kan det tenkes noe mønster i holdninger? • Dette er ikke berørt i det hele tatt i rapporten.

26. Regresjonsanalyser • I kp. 8.4, 9.4 og 10.3 (miljø- og motivasjonsvariablene) • Eksempel på regresjonsanalyse:

27. Regresjonsanalyser • Forutsetninger for bruk • ..... • ”Residualene” bør se noenlunde slik ut:

28. Regresjonsanalyser • Residualene for modell beskrevet på s. 261:

29. Spurv med kanon?!?! • Hensikt med analysene: grunnlag for kvalitetsutvikling av skolesystemene • Viktig: grunnlaget må være udiskutabelt • Enkle analyser er en stor fordel og brukes klart mest! • kan tenkes å være tilstrekkelig til de viktigste formålene • grunnlag for eierskap og engasjement • komplekse og omfattende analyser er resurskrevende • Skeptisk til bruk av de avanserte metodene på denne bakgrunn

30. Avslutning • Ikke enkelt å finne ut hvilke metoder som har vært brukt og hvordan de har vært brukt. • Den delen har vært dårlig dokumentert, etter min mening. • Hva konsekvenser feil eller dårlig bruk av statistiske metoder har i disse arbeidene, er uoversiktlig. • kvalitetssikringsarbeid trenges, etter min mening.