Wykład 11 Analiza wariancji (ANOVA)

1. Wykład 11Analiza wariancji (ANOVA) • Sposób analizy danych gdy mamy więcej niż dwa zabiegi lub populacje. • Omówimy ANOV-ę w najprostszej postaci. • Te same podstawowe założenia/ograniczenia co przy teście Studenta • W każdej populacji badana cecha ma rozkład normalny • Obserwacje są niezależne i losowe • Będziemy testowali hipotezy o średnich w populacjach i • Założenie – standardowe odchylenia badanej cechy w każdej populacji są sobie równe (podobne) więc możemy użyć uśrednionego SE

2. Uwaga: ANOVA może być stosowana także gdy próby nie są niezależne Np. W układzie zrandomizowanym blokowym (zasada podobna do testu Studenta dla powiązanych par) Nie będziemy tego omawiać. Omówimy tylko układy zupełne zrandomizowane. Cel: Testujemy hipotezy postaci: H0: 1 = 2 = 3 = … = k HA: nie wszystkie średnie są równe

3. Dlaczego nie stosujemy wielu testów Studenta? • Wielokrotne porównania • P-stwo błędu pierwszego rodzaju (p - stwo odrzucenia prawdziwej hipotezy) jest trudne do kontrolowania)

4. Korekta Bonferoniego • Prosta ale na ogół konserwatywna (p-stwo błędu pierwszego rodzaju mniejsze niż założone – strata mocy).

5. Estymacja błędu standardowego • ANOVA wykorzystuje informację zawartą we wszystkich obserwacjach: zwykle daje większą precyzję

6. Notacja: k = 3 zabiegi (próby, grupy)

7. Trzy rodzaje rachunków: Wewnątrz grup, pomiędzy grupami, całkowite. Liczymy trzy wartości: SS, df, MS

8. Notacja:

9. Dwa podstawowe typy rachunków: (gdzie konieczne, będziemy używali i do indeksowania grup a j do indeksowania obserwacji w każdej grupie : yij ) Wewnątrz każdej grupy oznacza sumę ``wewnątrz grupy’’

10. Uwzględniające wszystkie grupy oznacza sumę we wszystkich grupach np.n* = i

11. UWAGA: Gdy rozmiary prób nie są równe nie jest średnią z k średnich!!! Ale można ją obliczyć jako = (n1y1 + n2y2 + …+n3y3) / n*

12. Wewnątrz grup (wypełniamy drugi rząd w tabeli) Suma kwadratów wewnątrz grup (SSW) • Liczymy SS wewnątrz każdej grupy (itd. - SS2, SS3, …) SS1 = SS2 = … = 32, SS3 = … = 46

13. SSW = SS1+SS2+…+SSk= SSW = Stopnie swobody wewnątrz grup: dfw = n* - kdfw = Średnia suma kwadratów wewnątrz grup MSW = SSW / dfw MSW = To samo co uśredniona wariancja Dla przypomnieniadla dwóch prób

14. Uśrednione standardowe odchylenie sc = Pomiędzy grupami (wypełniamy pierwszy rząd tabeli) Porównujemy średnie grupowe do średniej całkowitej Ważone przez rozmiar grupy Suma kwadratów pomiędzy grupami (SSB) SSB = SSB =

15. Stopnie swobody pomiędzy grupami (dfb) dfb = k – 1 dfb = Średnia suma kwadratów pomiędzy grupami (MSB) MSB = SSB/dfb MSB = Całkowite Całkowita suma kwadratów (SST) SST= SST=82+12+22+…+82+52=348

16. Uwaga: SST = SSW+SSB 348 = 120 + 228 Zwykle nie trzeba liczyć SST z definicji Całkowita liczba stopni swobody (dft) dft = n* – 1 dft = Uwaga: dft = dfb+dfw 10 = 2 + 8

17. Tablica ANOV-y

18. Ta tabela będzie dostępna na kolokwium i egzaminie:

19. Test F • Dane dla k  2 populacji lub zabiegów są niezależne • Dane w każdej populacji mają rozkład normalny ze średnią idla populacji i, i tym samym odchyleniem standardowym 

20. Testujemy H0: 1 = 2 = 3 = … = k (wszystkie średnie są sobie równe) vs. HA: nie wszystkie średnie są sobie równe (HAjest niekierunkowa ale obszar odrzuceń będzie jednostronny) Kroki: Obliczenie tabeli ANOV-y Testowanie

21. Jak opisać F test • Zdefinować wszystkie • H0 podać za pomocą wzoru i słownie • HAtylko słownie • Statystyka testowa Fs = MSB/MSW • przy H0, Fsma rozkład Snedecora z dfb, dfw stopniami swobody • Na kolejnych slajdach podane są wartości krytyczne z książki D.S. Moore i G. P. McCabe ``Introduction to the Practice of Statistics’’ • "numerator df" = dfb i "denominator df" = dfw.

26. Odrzucamy H0 gdy zaobserwowane Fs > Fkrytyczne • Przykładowy wniosek - Na poziomie istotności α (nie) mamy przesłanki aby twierdzić, że grupy różnią się poziomem badanej cechy.

27. Przykład: Losową próbę 15 zdrowych mężczyzn podzielono losowo na 3 grupy składające się z 5 mężczyzn. Przez tydzień otrzymywali oni lekarstwo Paxil w dawkach 0, 20 i 40 mg dziennie. Po tym czasie zmierzono im poziom serotoniny. Czy Paxil wpływa na poziom serotoniny u zdrowych, młodych mężczyzn ? Niech1będzie średnim poziomem serotoniny u mężczyzn przyjmujących 0 mg Paxilu. Niech2 będzie średnim poziomem serotoniny u mężczyzn przyjmujących 20 mg Paxilu. Niech3będzie średnim poziomem serotoniny u mężczyzn przyjmujących 40 mg Paxilu.

28. H0: 1 = 2 = 3 ; średni poziom serotoniny nie zależy od dawki Paxilu HA: średni poziom serotoniny nie jest ten sam we wszystkich grupach (albo średni poziom serotoniny zależy od dawki Paxilu). Zastosujemy F-Test

30. Fs = MSB / MSW przy H0ma rozkład Testujemy na poziomie istotności  = 0.05. Wartość krytyczna F.05 =. Obserwujemy Fs = Wniosek:

31. Na jakiej zasadzie to działa ? • Dla przypomnienia: • Test Studenta patrzy na różnicę między średnimi (y1-y2) • Dzieli ją przez miarę rozrzutu tej różnicy (SEy1-y2 ) • Jeżeli (y1-y2) jest duże w porównaniu do do SE to statystyka testu Studentajest duża i odrzucamy H0.

32. Dla testu F, Liczymy ``uśredniony kwadrat różnicy między średnimi’’ (MSB) Dzielimy go przez oszacowanie zróżnicowania w próbie (MSW) Jeżeli MSB jest duże w porównaniu do MSW wówczas statystyka testu F jest duża i odrzucamy H0. Test F jest analogiczny do testu Studenta ale umożliwia jednoczesne porównanie kilku średnich.

33. Could actually do an F-test with only 2 samples Statystyka testu F dla dwóch próbjest równa kwadratowi statystyki testu Studenta Decyzje i p-wartości są dokładnie takie same dla obu testów.

34. Porównania pomiędzy poszczególnymi grupami • Test Studenta i korekta Bonferoniego ? • Poszczególne testy w ANOV-ie nie są niezależne. • Korekta Bonferoniego jest na ogół zbyt konserwatywne i daje małą moc. • Możemy wykorzystać procedurę Newmana – Keulsa.

35. Newman-Keuls Procedure • Sample sizes for each treatment group should be same • Procedure • Construct an array of means in increasing order • Find qi from table 11 (df=dfw) and compute Ri = qi sqrt(MSW/n) (Ri is the critical value), n=number of observation in each treatment group

36. The pairwise comparison Compare the difference between the largest and smallest of the k sample means with the critical value Rk. If the difference is smaller than Rk the corresponding null hypothesis is not rejected and the line is drawn under the entire array of means, if the difference is larger than Rk than proceed to the next step.

37. Ignore the smallest mean and repeat the procedure for remaining subarray of (k-1) means. Ignore the largest mean and repeat the the procedure for other (k-1) means. (Use a separate line each time). Continue by looking at all subarrays of (k-2) means etc. Don’t test within any subarray that has already been underlined. When the procedure is complete, those pairs of means which are not connected by an underline correspond to null hypotheses that have been rejected.

38. Example • Blood chemistry in rats

39. Ordered array diet D C A B E mean 29.6 32.9 40.0 40.7 48.8 Scale factor = sqrt(MSW/n) = sqrt(21.29/4) = 2.307 qi = 3.01 3.67 4.08 4.37 Ri = 6.9 8.5 9.4 10.1 Largest – smallest: Mean(E) – Mean(D) =19.2 > R5 =10.1 Reject null H0 : D = E

41. Two-way ANOVA • One way ANOVA model yij =+γi + ij , ij ~independent N(0,2) μ- grand population mean μi – population mean for group i γi= μi – μ H0: 1 = 2 = 3 = … = k is equivalent to H0: γ1 = γ2 = γ3 = … = γk=0

42. Two-way ANOVA model • Randomized block design • Treatment effect, Block effect • Model • Yijk =  + γi + j + ijk • Hypothesis • H0 : γ1 = γ2 = γ3 = … = γk=0 (no treatment effect) • H1 : Not H0 (some of γ’s are different from zero)

43. Decomposition of SS • Sum of squares between blocks • SS(total) = SS(within)+SS(between)+SS(block) • df(total) = df(within)+df(between)+df(block) • Df(block)=b-1 = number of blocks -1

44. ANOVA table

45. Example (plant height)

46. Build ANOVA table • Grand mean = 1.389 • SSBt (SS treatment) 5(1.25-1.389)2 + …+5(1.888-1.389)2 =1.986 • MSBt = 1.986/(3-1)=.993 • SSBl (SS block) 3(1.717-1.389)2 + …+3(1.167-1.389)2=0.840 • MSBl = 0.840/(5-1)=.210

47. SSW = SST – SSBt – SSBl = 1.452 df(SSW) = 14-2-4 = 8, MSW = 1.452/8=0.182 Fs = MSBt / MSW = .993/.182 = 5.47 df for numerator=2, df for denominator=8 0.02 < P-value < 0.05 Reject H0 at the significance level α=0.05. At the significance level α=0.05 there is enough evidence to say that the acid content has an influence on the growth of alfalfa plants.