Statistik Lektion 6

1. StatistikLektion 6 Konfidensinterval for varians Hypoteseteori Hypotesetest af middelværdi og varians

2. Repetition: Konfidensinterval • Et (1-a)100% konfidensinterval er et interval, der indeholder værdien af populationsparameteren med (1-a)100% sikkerhed (ikke sandsynlighed). • Hvis jeg i fremtiden gentager mit eksperiment, vil der være (1-a)100% sandsynlighed for at intervallet indeholder den sande populationsværdi.

3. Repetition: Konfidensinterval for middelværdien Hvis variansen s2 er kendtog populationen enten er normalfordelt eller stikprøven er stor, så er et (1-a)100% konfidensinterval for populationsmiddelværdien, m, givet ved Hvis variansen s2 er ukendtog populationen er normalfordelt, så er et (1-a)100% konfidensinterval for m givet ved Husk: n-1 frihedsgrader

4. Konfidensinterval for s2 Hvis populationen er normalfordelt med varians s2, så gælder der at hvor S2 er stikprøvevariansen. Kritisk værdi: Antag X2 ~c2(n-1) . Da er den kritiske værdi c2n-1,a defineret ved P(X 2 >c2n-1,a) = a Dvs. vi har a

5. Konfidensinterval for s2 Hvis populationen er normalfordelt, så er et (1-a)100% konfidensinterval for s2 givet ved hvor n er antallet af observationer i stikprøven. Resultatet kommer sig af, at sandsynligheden på forrige slide kan omskrives til Bemærk, at estimatorenS2 er erstattet af estimatet s2.

6. Eksempel En maskine fylder kaffekander - med kaffe ;-) Hvis det gennemsnitlige indhold er forskellig fra hvad det skal være, kan maskinen justeres. Hvis variansen er for høj, skal maskinen sendes til reparation. En stikprøve på 30 kander giver et varians- estimat på s2 = 18,540. Giv et 95% konfidensinterval for populations-variansen, s2. Løsning: C h i - S q u a r e D i s t r i b u t i o n : d f = 2 9 0 . 0 6 0 . 0 5 0.95 0 . 0 4 ) 2  0 . 0 3 ( f 0 . 0 2 0.025 0.025 0 . 0 1 0 . 0 0 0 1 0 2 0 3 0 4 0 5 0 6 0 7 0  2

7. Løsning i R • Først ”gemmer” vi stikprøvestørrelsen og variansen > n = 30 > s2 = 18540 • Vi kan finde og vha > qchisq(p=c(0.975,0.025),df=n-1) [1] 45.72229 16.04707 • Bemærk at resultatet er en vektor. • Konfidensintervallet kan nu udregnes vha. > (n-1)*s2/qchisq(p=c(0.975,0.025),df=n-1) [1] 11759.25 33505.18

8. Hypoteser og Hypotesetest • En hypotese er typisk et udsagn om en populationsparameter, fx middelværdien. • En hypotesetest er en procedure, der afgører om vi vil afvise eller ikke afvise vores hypotese. • Vi afviser vores hypotese, hvis vores data er passer ”usandsynligt dårligt” med vores hypotese.

9. Case: Hypotesetest på dåse Baggrund: I egenskab af brygmestre hos Bryggeriet har vi fået installeret et nyt tappeanlæg, der fylder på 0.5l dåser. Vi tømmer 25 dåser og finder at gennemsnitsvolumen er 497.1ml… Producenten af anlægget har oplyst at standardafvigelsen for den påfyldte volumen er 6.7ml. Anklage: Producenten har sjusket med installationen Spørgsmål: Er producenten skyldig i sjusk eller ej?

10. Trin I en Hypotesetest • En hypotesetest består af 5 elementer: • Antagelser • Hypoteser • Teststørrelser • Beslutning/konklusion • Vha. p-værdi • Vha. kritisk værdi

11. I: Antagelser • Type af data: Se på om det er diskrete eller kontinuerte data. • Populationsfordeling: Se på hvilken fordeling populationen har. • Stikprøve: Hvilken metode er brugt til at indsamle data. Skal være en simpel stikprøve i de test vi bruger. • Stikprøvestørrelse: Hvor stor er den stikprøve vi har til at beregne test størrelsen? • I bryggeri-eksemplet antager vi at vi har n=25 observationer og at populationen af volumener er normalfordelt.

12. II: Hypoteser • Nul-hypotesen H0: En påstand om en populations-parameter. Er typisk mere specifik end alternativ-hypotesen. • Den alternative hypotese H1: En påstand om alle situationer, der ikke er dækket af H0, dvs. det ”modsatte af H0”. • Generelt princip: Nul-hypotesener sand indtil det modsatte er bevist. • Strafferetsanalogi: H0 = uskyldig. Uskyldig indtil det det modsatte er bevist. • I bryggeri-eksemplet har vi to hypoteser: H0: m = m0 (her: m0 = 500) (ingen sjusk, uskyldig) H1: m m0(sjusk, ikke uskyldig)

13. III: Teststørrelsen • Teststørrelsen beregnes fra stikprøve data og bruges til at vurdere nul-hypotesen H0. • Den indeholder typisk et punktestimat for den parameter, der indgår i nul hypotesen – for eksempel stikprøve-gennemsnittet som punktestimat for middelværdien. • Gør det klart, hvilke værdier af teststørrelsen der er kritiske for H0, dvs. hvilke værdier, der taler imod H0- hypotesen. • I Bryggeri-eksemplet skal vi bruge • Teststørrelsen er • Hvis H0 er sand ved vi at • Værdier af z langt fra nul er kritiske for H0.

14. IV: Konklusion/Beslutningsregel • En beslutningsregel for en hypotese test, er en regel for under hvilke betingelser nul-hypotesen kan forkastes på baggrund af stikprøven. • Intuitivt bygger beslutningsreglen på at vi afviser H0, hvis teststørrelsen ligger for langt fra hvad man ville forvente hvis H0 er sand. • Mest almindeligt er at bruge en p-værdi. En p-værdi er et udtryk for hvor ”trovædig” H0-hypotesen er på baggrund af en stikprøve. Hvis p-værdien er for lille afviser vi H0. • Lidt mere old-school er at bruge kritiske værdier. Her er ideen at afvise H0-hypotesen, hvis teststørrelsen er mere ”esktrem” end den/de kritiske værdier. • For begge metoder gælder, at sandsynligheden for at forkaste H0-hypotesen når H0 er sand betegnes signifikansniveauet og angives ved a.

15. a) p-værdi og beslutningsregel Definition: p-værdien for en test, er sandsynligheden for at observere en ny teststørrelse, der er mindst lige så kritisk for H0 som den observerede teststørrelse, under antagelse af at nul hypotesen er sand. Fortolkning: Jo mere ekstrem teststørrelsen er, jo mindre er p-værdien. p-værdien bliver et udtryk for hvor meget vi tror på H0. Så når p-værdien bliver for lille, så tror vi så lidt på H0, at vi afviser H0. Procedure: Vælg et signifikansniveau a, typisk a=0.05. Udfør testen, dvs. beregn teststørrelsen Beregn p-værdien Beslutning: Hvis p-værdien < a, så afvises H0 (H1 accepteres) Hvis p-værdien > a, så kan vi ikke afvise H0

16. Eksempler på dåser Antag at volumen i populationen af 0.5l Bryggeri-dåser er normalfordelt med ukendt middelværdi m og kendt varians s2. Vi opstiller to hypoteser H0: m = m0 (her: m0 = 500) H1: m m0 I udgangspunktet er H0 sand, dvs. Teststørrelsen er: Skal vi afvise H0?

17. Beslutning vha. kritiske værdier Beslutningsregel: Vi afviser H0 hvis Eller ækvivalent kan vi afvise H0, hvis Sandsynligheden for at afvise en sand H0 er præcis a. Ovenfor har vi benyttet: 0 . 8 0 . 7 0 . 6 Kritiske værdier 0 . 5 0 . 4 0 . 3 a/2 a/2 0 . 2 0 . 1 0 . 0 0 Kritiske værdier

18. Eksempel: p-værdier på dåse Bryggeri-eksemplet: Vi har observeret et gennemsnit på 497.1 ml for 25 observation fra en normalfordelt population. Teststørrelsen: En mere kritisk værdi ville være en teststørrelse mindre end -2.16 eller større end 2.16. p-værdien er derfor Da 0.03 < 0.05 afviser vi H0.

19. Test af middelværdi (to-sidet test) • Antagelse: Test af m, X kvantitativ variabel og n>30. • Hypoteser: • Stikprøvefordeling af når H0 er sand er approksimativ normal med middelværdim0og standard afvigelse • Teststørrelse:

20. Hypoteser: H0: m = 30 H1: mm 30 Stikprøve: n = 50 = 31.5 s = 5 Teststørrelse: p-værdi: Lille p-værdi, så H0 forkastes. Fordeling: Eksempel 0 . 8 0 . 7 0 . 6 0 . 5 0 . 4 0 . 3 .017 .017 0 . 2 0 . 1 0 . 0 0

21. H0: m = 30 H1: mm 30 Stikprøve: n = 20 = 31.5 s = 5 Beregn værdien af test størrelsen og p-værdien. H0: m = 30 H1: mm 30 Stikprøve: n = 100 = 31.5 s = 5 Beregn værdien af test størrelsen og p-værdien Summe opgave

22. Højresidet test (et en-sidet test) • Antagelse: Test af m, X kontinuert variabel og n>30. • Hypoteser: • Stikprøve-fordeling af når H0 er sand er approksimativ normal med middelværdi m og standard afvigelse • Teststørrelse: • p-værdien: p( Z > observeret z værdi)

23. H0: m = 30 H1: m > 30 Stikprøve: n = 50 = 31.5 s = 5 Test størrelse: p-værdi: Lille p-værdi, så H0 forkastes. 0 . 8 0 . 7 0 . 6 0 . 5 0 . 4 0 . 3 .017 0 . 2 0 . 1 0 . 0 0 Z=2,12 Eksempel højresidet test

24. Test af middelværdi for ukendt varians • Antagelse: Population normalfordelt med ukendt middelværdi m og ukendt varians σ² • Hypoteser: • Teststørrelse t er t-fordelt med (n-1) frihedsgrader: • p-værdien: 2·P(T > |t|), hvor T ~ tn-1 (kræver computer) • Venstre- og højre-sidet test efter samme princip som før.

25. H0: m = 30 H1: mm 30 Signifikansniveau: a = 0.05 Stikprøve: n = 50 = 31.5 s = 5 Teststørrelse: Teststørrelsens fordeling: p-værdi: Da p-værdi < a, forkastes H0. 0 . 8 0 . 7 0 . 6 0 . 5 0 . 4 0 . 3 .020 .020 0 . 2 0 . 1 0 . 0 0 -2.12 2.12 Eksempel

26. H0: m = 30 H1: mm 30 Signifikansniveau: a = 0.05 Stikprøve: n = 50 = 31.5 s = 5 Teststørrelse: Teststørrelsens fordeling: Slå tn-1,a/2 op, enten vha. tabel eller R. t49,a/2 = 2,01 Da 2,12 er større end 2,01 forkastes H0. Hvis t = -2,12 ville vi forkaste H0 fordi da -2,12 er mindre end -2.01. Eksempel - fortsat 0 . 8 0 . 7 0 . 6 0 . 5 0 . 4 0 . 3 .025 .025 0 . 2 0 . 1 0 . 0 0 2.12 -2.01 2.02

27. Hypotesetest for middelværdi i R • Vi ønsker at teste om middelhøjden er forskellig fra nul (?!) • H0 : m = 0 vs H1: m  0 • I R gøres det vha. > t.test(sundby$hoejde) One Sample t-test data: sundby$hoejde t = 918.6152, df = 2626, p-value < 2.2e-16 alternative hypothesis: true mean is not equal to 0 95 percent confidence interval: 172.3263 173.0635 sample estimates: mean of x 172.6949 P-værdi

28. Hypotesetest for middelværdi i R • Vi ønsker at teste om middelhøjden er højere end 175 cm. • H0 : m = 175 vs H1: m > 175 • I R gøres det vha. > t.test(sundby$hoejde,alternativ="greater",mu=175) One Sample t-test data: sundby$hoejde t = -12.2615, df = 2626, p-value = 1 alternative hypothesis: true mean is greaterthan 175 95 percentconfidence interval: 172.3856 Inf sample estimates: mean of x 172.6949

29. Hypotesetest for middelværdi i R • Generel kommando for test af middelværdi i én stikprøve: t.test(data, alternative = alternativ, mu = m0) • Nul-hypotese • H0 : m = m0 (default m0= 0) • Alternativ hypotese • H1 : mm0alternativ = "two.sided” (default) • H1 : m > m0 alternativ = ”greater” • H1 : m < m0 alternativ = ”less” • I kan finde en komplet beskrivelse vha. ?t.test

30. Test af Variansen • Antagelse: Populationen er normalfordelt med varians s2. • Hypoteser: • Teststørrelse: • Under H0 følger c2en c2-fordeling med n-1 frihedsgrader • Kritiske værdier: • p-værdi: hvis c2>c2n-1,0.5 og ellers, hvor C 2~c2n-1. • Højresidet og venstresidet test efter samme princip som før.

31. Test af varians - Eksempel • H0: s2=1 • H1: s2<1 • a=0.05 , s2=0.8659, n=25 • Venstre-sidet test, så H0 forkastes, hvis . • Da kan vi ikke forkaste H0. 0.05 0 13.85 20.78 • p • Da p-værdi > 0.05 kan vi ikke afvise H0. • p-værdien findes i R vha. pchisq(20.78,df=24)

32. Opsummering: Test af middelværdi 1 • Antagelser: Kendt varians + normalfordelt population eller stor stikprøve: Z-test. • Nul-hypotese • H0: m = m0 • Teststørrelse: • Alternativ hypoteser • H1: m < m0 p-værdi = P( Z<z ) • H1: m > m0 p-værdi = P( Z>z ) • H1: m = m0 p-værdi = P( |Z|>|z| ) = 2⋅P( Z>|z| ) • Beslutning: • Hvis p-værdi < a : Afvis H0 og accepter H1. • Hvis p-værdi > a : Ej afvis H0 og ej accepter H1. Test vha. p-værdier

33. Opsummering: Test af middelværdi 1.1 • Antagelser: Kendt varians + normalfordelt population eller stor stikprøve: Z-test • Nul-hypotese • H0: m = m0 • Teststørrelse: • Alternativ hypoteser • H1: m < m0 • Afvis H0 hvis z < -Za • H1: m > m0 • Afvis H0 hvis z > Za • H1: m = m0 • Afvis H0 hvis |z| > Za/2 Test vha. kritiske værdier

34. Opsummering: Test af middelværdi 2 • Antagelser: Ukendt varians + normalfordelt population: t-test • Nul-hypotese • H0: m = m0 • Teststørrelse: • Alternativ hypoteser • H1: m < m0 • Afvis H0 hvis t < -t a,n-1 • H1: m > m0 • Afvis H0 hvis t > ta,n-1 • H1: m = m0 • Afvis H0 hvis |t| > ta/2,n-1 Test vha. kritiske værdier