S tatistische uitspraken over meerdere populatiegemiddelden: variantie analyse (AN O VA)

1. Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA) • Het vergelijken van twee populatiegemiddelden: • Student’s t-toets • normale verdelingen in elke groep • gelijke varianties • Het vergelijken van meer dan twee populatiegemiddelden • Variantie analyse • normale verdelingen in elke groep • gelijke varianties

2. Variantie analyse (AN O VA) Kern van de variantieanalyse (ANOVA) is het feit dat de variantie kan opgedeeld worden (gefractioneerd). De variantie wordt berekend als de som van de gekwadrateerde afwijkingen van het gemiddelde, gedeeld door n-1 (sample size min een, het aantal vrijheidsgraden). Dus, gegeven een zekere n, is de variantie een functie van de sommen van die kwadraten of van SS (sums of (deviation) squares). Het fractioneren van de variantie gaat als volgt. Beschouw de volgende eenvoudige data set: Gemiddelde van alle waarnemingen 4 SS van alle waarnemingen 28

3. Variantie analyse (AN O VA) De gemiddelden zijn voor de beide groepen behoorlijk verschillend (2 en 6, respectievelijk). De sommen van de kwadraten zijn binnen elke groep 2. Wanneer we ze optellen bekomen we 4. Als we nu de berekeningen hernemen, niet rekening houdend met het bestaan van groepen, m.a.w. als we de totale SS berekenen op basis van het globale gemiddelde, bekomen we 28. Met andere woorden, wanneer we de variantie berekenen (sums of squares) gebaseerd op de variabiliteit binnen de groepen (within-group) bekomen we een veel kleinere schatter van die variantie als wanneer we ze berekenen op basis van de totale variabiliteit rond het globale gemiddelde. Dit wordt in dit voorbeeld uiteraard verklaard door het grote verschil tussen de groepsgemiddelden en het is dit verschil dat bepalend is voor het verschil in de SS. Moesten we een ANOVA uitvoeren van de gegevens uit het voorbeeld dan zouden we het volgende resultaat bekomen:

4. Variantie analyse (AN O VA) Zoals je ziet is in deze tabel de totale SS (28) gefractioneerd in de SS van de variabiliteit binnen (within) de groepen (2+2=4; de tweede rij) en de variabiliteit verklaard door het verschil tussen (between) de twee gemiddelden (28-(2+2)=24; de eerste rij). SS Error en SS Effect. De ‘within-group’ variabiliteit (SS) is meestal de ‘Error variantie’ genoemd. Deze term verwijst naar het feit dat we ze binnen het voorliggende onderzoek moeilijk kunnen verklaren. De SS Effect kunnen we echter wel verklaren. Ze wordt namelijk veroorzaakt door de verschillen in gemiddelde tussen (‘between’) de groepen. Met andere woorden verklaard het groepslidmaatschap deze variabliteit omdat we weten dat beide groepen verschillende gemiddelden vertonen.

5. Variantie analyse (AN O VA) Testen op Significantie. Een aantal statistische tests is gebaseerd op een ratio van de verklaarde tot de niet verklaarde variantie. ANOVA is hiervan een voorbeeld. De test is hier gebaseerd op een vergelijking van de variantie ten gevolge van de tussen de groepen variabiliteit (Mean Square Effect, of MSeffect) met de tussen groepen variabiliteit (Mean Square Error, of MSerror; Edgeworth, 1885). Onder de nul hypothese (dat er geen verschillen zijn in de gemiddelden tussen de verschillende groepen uit de populatie), zouden we nog wel kleine random fluctuaties verwachten op de groepsgemiddelden wanneer we kleine steekproeven zouden trekken zoals in ons voorbeeld. Daarom zou, onder de nul hypothese, de variantie geschat op basis van de ‘within-group’ variabiliteit ongeveer hetzelfde moeten zijn als de variantie ten gevolge van de ‘between-groups’ variabiliteit. We kunnen deze twee schatters van de variantie vergelijken op basis van de F test, die toetst of de ratio van de twee variantie schatters significant groter is dan 1. In ons voorbeeld is die test zeer significant, en we zullen daarom ‘concluderen’ dat de gemiddelden voor de twee groepen significant verschillen.

6. Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA) Voorbeeld: 30 personen worden behandeld voor overgewicht op basis van dieet A, dieet B en dieet C. Na 1 maand evaluatie:

7. Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA)

8. Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA)

9. Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA) 1. Bereken in elke groep s² als schatting van de variantie 2. Aantal vrijheidsgraden Df: 10 - 1 = 9 3. Variantie binnen groepen = gemiddelde variantie in drie groepen = 7.54 = s²w met aantal vrijheidsgraden = 27 (N.B. s²w = SSW/dfW) 4. Als µA = µB = µC (= µ), dan zijn de gemiddelden van A, B en C een steekproef van omvang 3 uit een normale verdeling met gemiddelde µ en variantie s²/10 5. De steekproefvariantie van deze kleine streekproef is:

10. Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA) 6. Vermenigvuldiging met n (=10) geeft een schatting van s² , namelijk s²B = 10.s²X (relatie sd - se) Deze schatting is gebaseerd op de spreiding tussen de groepsgemiddelden. Hier is s²X = 7.316 en dus s²B = 73.16 (N.B. s²B = SSB/dfB) 7. Indien de nulhypothese niet juist is, zal s²W nog steeds een schatter zijn van s², maar s²B niet meer. Omdat de verschillen tussen de gemeten gemiddelden een afspiegeling zijn van de verschillen tussen µA, µB en= µC en dus niet meer alleen door het toeval veroorzaakt worden, zal s²B de neiging hebben om groter te worden naarmate de verschillen tussen µA, µB en= µC groter zijn. We toetsen dus op basis van de discrepantie tussen s²B en s²w op basis van de toetsingsgrootheid: F = s²B / s²w = 73.16 / 7.54 = 9.70 8. Kansverdeling van F hangt af van aantal vrijheidsgraden van de teller (dfB = 2) en van de noemer (dfW = 27) tabel p<0.001 9. Procedure uitbreidbaar tot k groepen met ongelijke aantallen per groep.

11. Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA) Statistica output SPSS output Analysis of Variance (anova1.sta) Marked effects are significant at p < ,05000 SS df MS SS df MS Effect Effect Effect Error Error Error F p VERLIES 146,3280 2 73,16400 203,7120 27 7,544889 9,697161 ,000670 tussen diëten s²Bbinnen diëten s²W

12. Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA) Waar zitten de verschillen ? LSD (Least Significant Difference) t-toets s²geschat op basis van s²w met df = n-k Kies a Bepaal ta uit tabel met df = n-k Verklaar groepen I en j verschillend als:

13. Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA) Waar zitten de verschillen ? LSD (Least Significant Difference) In het voorbeeld met de drie diëten: a = 0.05 df = n-k = 27, ta = 2.05 (uit tabel) ni = 10 voor i = 1,2,3 Hieruit blijkt dat A (gemiddelde afname 2.92) significant verschilt van B (gemiddelde afname 6.58) en van C (gemiddelde afname 8.20), maar dat het verschil tussen B en C niet significant is.

14. Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA) SPSS output

15. Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA) M An O Va Fixed effects: factoren met vaste, bekende niveaus Random effects: niveaus corresponderen met de proefpersonen in het onderzoek Repeated measures An o Va Herhaalde metingen bij dezelfde proefpersonen Uit verschillende groepen

16. Variantie analyse (AN O VA) MANOVA Veronderstel dat we in het bovenstaande voorbeeld een tweede groeperende factor introduceren, m.n. geslacht. Stel dat we in elke groep drie mannen en drie vrouwen zouden hebben:

17. Variantie analyse (AN O VA) MANOVA Het is duidelijk dat we de totale variantie kunnen opdelen volgens tenminste drie bronnen: (1) error (‘within-group’) variabiliteit, (2) variabiliteit ten gevolge van het groeplidmaatschap en (3) variabiliteit ten gevolge van geslacht. (Merk op dat er nog een bijkomende bron is -- interactie -- die we kort zullen bespreken). Wat zou er gebeurd zijn als we geslacht niet meegenomen zouden hebben als een factor in de studie, maar gewoon een t-test zouden hebben uitgevoerd? Als je de SS zou berekenen en de factor geslacht verwaarloost (gebruik de ‘within’-groep gemiddelden en negeer geslacht; het resultaat is SS=10+10=20), dan zou je zien dat de resulterende ‘within’-groep SS groter is dan wanneer we geslacht includeren (gebruik de ‘within’-groep en de ‘within’-geslacht gemiddelden om die SS te berekenen; ze zijn 2 in elke groep, de gecombineerde SS-’within’ is 2+2+2+2=8). Dit verschil is het gevolg van het feit dat de gemiddelden voor mannen systematisch lager zijn dan voor vrouwen, en dit verschil in gemiddelden draagt bij tot de variabiliteit als we deze factor negeren. Het controlleren voor de ‘error’ variantie verhoogt de sensitiviteit (power) van een test. Dit voorbeeld toont (bijkomend) dat ANOVA ted verkiezen is boven een t-test: bij ANOVA kunnen we voor elke factor testen terwijl we controleren voor alle andere; daarom heeft ANOVA meer statistische power (m.a.w. we hebben minder waarnemingen nodig om een significant effect te bekomen) dan de t-test.