Wielkość efektu

1. Wielkość efektu Effect size Beata Arcimowicz Anna Kubiak Maja Stańko Piotr Haładziński Lech Kaczmarek

2. „When we feel a p near zero Makes us out to be a hero. Replace that wish to null-reject Report the size of the effect.” R. Rosenthal Cytat za: King, Minium (2009), str. 340

3. Spis treści • Wielkość efektu • Miary wielkości efektu • Tabela miar wielkości efektu • Kalkulatory wielkości efektu Miary wielkości efektu dla ANOVA • Eta-kwadrat (stosunek korelacyjny) dla grup niezależnych • Omega-kwadrat dla grup niezależnych • Eta-kwadrat dla pomiarów powtarzanych • Eta-kwadrat dla planu dwuczynnikowego • Cząstkowa omega-kwadrat dla planu czynnikowego Miary wielkości efektu dla danych jakościowych • Wielkość efektu dla testów zgodności chi-kwadrat • Miara wielkości efektu dla testów niezależności – Tabele 2 x 2 • Współczynnik fi • Miara wielkości efektu dla testów niezależności – Tabele większe niż 2 x 2 • V Cramera

4. Spis treści • V Cramera a omega kwadrat • Przekształcenie V Cramera na wartość omega kwadrat • Wartości omega kwadrat Miary wielkości efektu dla badań korelacyjnych • Analiza regresji • Analiza regresji – założenia • Cztery odmiany modelu • Równania regresji • Równania regresji (2) • Miary wielkości efektu • Współczynnik f 2 Cohena • Współczynnik f 2 dla regresji hierarchicznej • Interpretacja współczynnika f 2 • Analiza czynnikowa

5. Spis treści • Analiza czynnikowa (2) • Kryteria ustalania liczby czynników w EFA • Kryteria ustalania liczby czynników w EFA (2) • Miary wielkości efektu dla EFA • Miary wielkości efektu dla CFA • Miary wielkości efektu dla CFA (2) • Miary wielkości efektu dla CFA (3) • Analiza ścieżek Path Analysis • Analiza ścieżek Path Analysis - wielkość efektu Wskaźnik wielkości efektu requivalent • requivalent • Obliczanie requivalent • Interpretacja requivalent • Kiedy stosować requivalent

6. Wielkość efektu • stosuje się do mierzenia wpływu pewnego czynnika na wynik ogólny grupy – siły związku między zmienną niezależna a zależną • nie zależy od wielkości próby • jego interpretacja opiera się na założeniu, że rozkłady wyników grup porównywanych są rozkładami normalnymi • stanowi uzupełnienie każdego opisu wyników, jest wymagane w raportach z badań

7. Miary wielkości efektu • Rodzina d • d Cohena: dla testu t dla prób zależnych • g Hedgesa : dla testu t dla prób niezależnych • Rodzina r • r jest współczynnikiem korelacji punktowo-dwuseryjnej między grupami eksperymentalną i kontrolna, a wyniki są zmienną ciągłą • eta-kwadrat • omega-kwadrat

8. Tab. Miary wielkości efektu oraz przyjmowane przez nie wartosci dla poszczególnych testów. Źródło: Opracowanie własne na podstawie King, Minium (2009)

9. Kalkulatory wielkości efektu • d Cohena i rhttp://www.uccs.edu/~faculty/lbecker/można obliczyć wpisując • średnie i odchylenia standardowe • wartości t i df • g Hedgesa, d CohenaiΔ Glassa w programie STATISTICA dla analiz marketingowych i rynkowych (http://www.statsoft.pl/)

10. Miary wielkości efektu dla ANOVA

11. Eta-kwadrat (stosunek korelacyjny) dla grup niezależnych Plan jednoczynnikowy Miara wielkości efektu w ANOVA dla grup niezależnych: ɳ2 = SSm/SSc gdzie: SSm – międzygrupowa suma kwadratów SSc – całkowita suma kwadratów Miara ta szacuje proporcję całkowitej wariancji, którą można przypisać zmiennej niezależnej. Jest ona jednak obciążona, gdyż podwyższa szacowane wartości. SPSS: Analiza  Ogólny model liniowy Jednej zmiennej Opcje Oceny wielkości efektu

12. Omega-kwadrat dla grup niezależnych Plan jednoczynnikowy Względnie nieobciążona miara wielkości efektu w ANOVA dla grup niezależnych: ω2m = [SSm – (k – 1)(s2wew)]/(SSc + s2wew) gdzie: SSm – międzygrupowa suma kwadratów SSc – całkowita suma kwadratów s2wew – wewnątrzgrupowe oszacowanie wariancji Miara ta szacuje proporcję wariancji zmiennej zależnej w populacji, którą możemy przypisać k warunkom eksperymentalnym.

13. Eta-kwadrat dla pomiarów powtarzanych Plan jednoczynnikowy Miara wielkości efektu w ANOVA dla pomiarów powtarzanych: ɳ2 = SS2osoby/(SS2osoby + SS2reszta) Miara ta szacuje tę proporcję zróżnicowania, którą można przypisać zmiennej niezależnej po wyeliminowaniu zróżnicowania spowodowanego różnicami indywidualnymi. SPSS: Analiza  Ogólny model liniowy Powtarzane pomiary

14. Eta-kwadrat dla planu dwuczynnikowego Miara wielkości efektu w ANOVA dla planu dwuczynnikowego: ɳ2wiersze = SSW/SSc ɳ2kolumny = SSK/SSc ɳ2WK= SSWK/SSc gdzie: SSW –suma kwadratów dla wiersza SSK – suma kwadratów dla kolumny SSWK – suma kwadratów dla interakcji WK SSc – całkowita suma kwadratów SPSS: Analiza  Ogólny model liniowy Wielu zmiennych  Opcje  Oceny wielkości efektu

15. Cząstkowa omega-kwadrat dla planu czynnikowego Miara siły związku między zmienną zależną a efektem eksperymentalnym każdego z czynników. ω2= oszacowanie wariancji dla (W, K oraz WK)/ [oszacowanie wariancji dla (W, K oraz WK) + oszacowanie wariancji wewnątrz kratek] W – liczba wierszy; K – liczba kolumn.

16. Miary wielkości efektu dla danych jakościowych

17. Wielkość efektu dla testów zgodności chi-kwadrat SPSS: Analiza  Opis statystyczny Tabele krzyzowe

18. Miara wielkości efektu dla testów niezależności – Tabele 2 x 2 W przypadku tabeli kontyngencji o wymiarach 2 x 2 miary siły związku dostarcza nam współczynnik fi. Współczynnik fi dla tabel 2x2 to pierwiastek z chi kwadrat podzielony przez liczbę n (liczebność próby). Według Cohena można przyjąć, że fi wynoszące 0,1 - oznacza mały efekt; 0,3 - przeciętny efekt a 0,5 - duży efekt. SPSS: Analiza  Opis statystyczny Tabele krzyzowe

19. Współczynnik fi

20. Miara wielkości efektu dla testów niezależności – Tabele większe niż 2 x 2 Dla większych tabel kontyngencji właściwą miarą siły związku jest V Cramera. V Cramera jest rozszerzeniem współczynnika fi, który skonstruowany został z myślą o tabelach o wymiarach 2 x 2. Współczynnik V Cramera dla tabel większych to pierwiastek z chi kwadrat podzielony przez nxdfmniejsze SPSS: Analiza  Opis statystyczny Tabele krzyzowe

21. V Cramera

22. V Cramera a omega kwadrat Współczynnik fi jest równoważny mierze wielkości efektu omega kwadrat, ale wskaźnik V Cramera i omega kwadrat równoważne nie są, dlatego …

23. Przekształcenie V Cramera na wartość omega kwadrat

24. Wartości omega kwadrat Według Cohena można przyjąć, że omega kwadrat wynosząca 0,1 - oznacza mały efekt; 0,3 - przeciętny efekt a 0,5 - duży efekt.

25. Miary wielkości efektu dla badań korelacyjnych

26. Analiza regresji Analiza regresji to budowanie modelu (uproszczonego obrazu) liniowej zależności pomiędzy zmienną zależną i niezależną (predyktorem) lub, w przypadku regresji wielokrotnej (MR), zmienną zależną (jedno lub wielowymiarową) i wieloma predyktorami. Analiza regresji umożliwia przewidywanie wartości zmiennej zależnej dla danych wartości zmiennej (zmiennych) niezależnej

27. Analiza regresji założenia • zarówno zmienna zależna, jak i predyktory (zm. niezależne) mierzone są na skali interwałowej • zmienna zależna, jak i predyktory, mają rozkład normalny w populacji • zakłada się liniowy (lub krzywoliniowy) związek pomiędzy zmienną zależną a predyktorami

28. Cztery odmiany modelu • jednowymiarowa zmienna zależna oraz jedna zmienna niezależna • jednowymiarowa zmienna zależna oraz wiele zmiennych niezależnych • wielowymiarowa zmienna zależna oraz jedna zmienna niezależna • wielowymiarowa zmienna zależna oraz wiele zmiennych niezależnych

29. Równania regresji Przy jednej zmiennej zależnej Y względem X1 ważnej dla badacza: – przewidywane wyniki zmiennej zależnej – współczynnik regresji (kąt nachylenia linii regresji względem osi odciętych układu współrzędnych) – stała regresji (punkt przecięcia linii regresji z osią rzędnych)

30. Równania regresji (2) W przypadku dwóch zmiennych niezależnych X1 i X2: – przewidywane wyniki zmiennej zależnej – cząstkowe współczynniki regresji – stała regresji

31. Miary wielkości efektu • statystyka R2, która mówi o stopniu dopasowania modelu do danych. Pokazuje jaki procent wariancji zmiennej zależnej można wyjaśnić za pomocą predyktorów • współczynnik f 2 Cohena, wykorzystujący statystykę R2, stosowany w modelu regresji wielokrotnej SPSS: Analiza  Regresja Liniowa STATISTICA: Statystyka  Regresja wieloraka

32. Współczynnik f 2 Cohena

33. procent wariancji zmiennej zależnej wyjaśniany przez zestaw lub pojedynczą zmienną niezależną A procent wariancji zmiennej zależnej wyjaśniany łącznie przez zestaw lub pojedynczą zmienną niezależną A oraz zestaw lub pojedynczą zmienną B * Regresja hierarchiczna to model regresji wielokrotnej do którego, w pierwszym kroku, wprowadzamy zmienne, które mają istotny wpływ na zmienną zależną (o czym wiemy z teorii, badań, itp.). Następnie wprowadzamy predyktor, który pozwala (zdaniem badacza) zwiększyć predykcję. Współczynnik f 2 dla regresji hierarchicznej*

34. Interpretacja współczynnika f 2 f 2 = 0,02 mały f2 = 0,15 średni f 2 = 0,35 duży

35. Analiza czynnikowa Jest to rodzina technik pozwalających na przedstawienie relacji między zmiennymi, które należą (wg badacza) do tego samego zbioru (Zakrzewska, 1994) . Celem zastosowania analizy czynnikowej jest odnalezienie nowej grupy zmiennych, mniej licznej od pierwotnej grupy, która wyraża to, co jest wspólne pomiędzy oryginalnymi zmiennymi (Zakrzewska, op. cit.).

36. Analiza czynnikowa (2) Ze względu na przyjęty przez badacza cel rozróżnia się dwa typy analizy czynnikowej: • eksploracyjny (EFA), polegający na odnalezieniu grupy zmiennych (czynników) tłumaczących korelacje pomiędzy obserwowalnymi zmiennymi • konfirmacyjny (CFA), polegający na testowaniu hipotez dotyczących relacji pomiędzy czynnikami, które tłumaczą korelacje pomiędzy zmiennymi obserwowalnymi

37. Kryteria ustalania liczby czynników w EFA kryterium Keisera: pozostawiamy taką ilość czynników, których wartość ≤ 1

38. Kryteria ustalania liczby czynników w EFA (2) test osypiska: kryterium odrzucenia to punkt, w którym nachylenie staje się małe, a wariancja nie spada (szum informacyjny)

39. Miary wielkości efektu dla EFA Miarą wielkości efektu dla eksploracyjnej analizy czynnikowej jest łączny procent wyjaśnianej wariancji przez wyodrębnione czynniki. SPSS: Analiza  Redukcja wymiarów Analiza czynnikowa STATISTICA: Statystyka  Wielowymiarowe techniki eksploracyjne  Analiza czynnikowa

40. Miary wielkości efektu dla CFA • test chi-kwadrat: miara dobroci dopasowania modelu do danych. Jeżeli statystyka chi-kwadrat okaże się istotna, należy odrzucić model • GFI (wskaźnik dobroci dopasowania) oraz AGFI (skorygowany wskaźnik dobroci dopasowania): porównują wyjściową oraz odtworzoną macierz kowariancji. Przyjmują wartość od 0 do 1. Jeżeli wartość wskaźnika spada poniżej 0,9 - należy zmodyfikować model* (Zakrzewska, 2004) * Nie dysponujemy rozkładem statystycznym GFI, dlatego nie opracowano standardów interpretacji

41. Miary wielkości efektu dla CFA (2) • pierwiastek ze średniego kwadratu reszt (RMR): pokazuje średnią z macierzy pozostałości po dopasowaniu modelu (macierz reszt). Jego poprawną interpretację zapewnia odniesienie go do wielkości kowariancji z macierzy korelacji zmiennych obserwowalnych. Wysoka wartość RMR wskazuje na złe dopasowanie modelu (Zakrzewska, 2004)

42. Miary wielkości efektu dla CFA (3) • pierwiastek ze średniego kwadratu błędu aproksymacji (RMSEA): szacuje wielkość popełnianego błędu aproksymacji w populacji. Wyniki: • RMSEA ≤ 0,05 oznacza dobre dopasowanie • RMSEA > 0,08 oznacza poważny błąd aproksymacji (Zakrzewska, 2004)

43. Analiza ścieżek Path Analysis Zastosowanie PA umożliwia weryfikację hipotez dotyczących zależności przyczynowych w określonym zbiorze zmiennych. Model PA daje możliwość interpretowania relacji jako bezpośrednich (X1, X2 na Y) lub pośrednich (X1 poprzez X2 na Y). Analiza ścieżek jest metodą testowania teorii – weryfikowana struktura zależności powstaje jako konsekwencja teorii (Gaul, Machowski, 2004).

44. Analiza ścieżek Path Analysis wielkość efektu Miarą wielkości efektu dla modelu PA jest, analogicznie jak w przypadku analizy regresji, statystyka R2.

45. Wskaźnik wielkości efektu requivalent

46. requivalent Łatwy do obliczenia wskaźnik wielkości efektu wyprowadzony z wartości p oraz wielkości próby (N). Przydatny w: prowadzeniu metaanaliz, gdy dysponujemy jedynie wartością p oraz wielkością prób* sytuacji, gdy dla danego testu brak opracowanego wskaźnika siły efektu (m.in. dokładny test Fishera, test Wilcoxona, Manna-Whitneya U) Sytuacji, gdy obliczony wskaźnik siły efektu może być omylny (mała liczebność próby + badana zmienna nie rozkłada się normalnie) *Dla dokładnego oszacowania requivalent musimy dysponować dokładną wartością poziomu istotności p (np. p = 0,003). W przypadku, gdy dysponujemy jedynie przybliżoną wartością (np. p < 0,05), będziemy w stanie obliczyć jedynie dolną granicę wskaźnika requivalent

47. Obliczanie requivalent Odczytanie z tablic (obliczenie) wartości t (wartość p jednostronna, stopnie swobody df = N – 2) Obliczenie requivalent wg wzoru:

48. Interpretacja requivalent Wskaźnik wielkości efektu requivalent przyjmuje wartości od -1 do 1 i odpowiada wskaźnikowi korelacji punktowo-dwuseryjnej* pomiędzy zastosowaniem manipulacji eksperymentalnej, a wynikiem w standardowym badaniu eksperymentalnym (randomizacja, grupa kontrolna o liczebności N/2, grupa eksperymentalna o liczebności N/2, rozkład normalny zmiennych w obu grupach), gdzie statystyka testu t równa jest t uzyskanemu z naszej wartości p. *Jeżeli jedna zmienna jest ciagła i ilościowa (np. wynik w teście), druga jest dychotomiczna i nominalna (np. zastosowanie techniki uczenia się)

49. Kiedy stosować requivalent gdy badanie zbliżone jest formą do badania standardowego (patrz: poprzedni slajd) gdy jedyną alternatywą jest brak jakiegokolwiek wskaźnika wielkości efektu gdy zastosowano metody nieparametryczne dla których brak określonych ściśle wskaźników gdy próba jest mała i inne wskaźniki mogą wprowadzać w błąd

50. Literatura: Brzeziński, J. (2004). Metodologia badań psychologicznych. Warszawa: Wydawnictwo Naukowe PWN Effect size (n.d.). W: Wikipedia. Pozyskano z: http://en.wikipedia.org/wiki/Effect_size Ferguson, G. A., Takane, Y. (2003). Analiza statystyczna w psychologii i pedagogice. Warszawa: Wydawnictwo Naukowe PWN Gaul, M., Machowski, M. (2004). Wprowadzenie do analizy ścieżek. W: J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów (str. 362-390). Warszawa: Wydawnictwo Naukowe PWN King, B., Minium, E. (2009). Statystyka dla psychologów i pedagogów. Warszawa: Wydawnictwo Naukowe PWN Krejtz I., Krejtz K., (2007). Wprowadzenie do analizy regresji jedno- i wielozmiennowej. W: A. Brzezicka-Rotkiewicz, S. Bedyńska (red), Statystyczny drogowskaz: praktyczny poradnik analizy danych (str. 364-384). Warszawa: Academica Król, G., Wieczorkowska, G. (2004). Budowanie wskaźników za pomocą analizy czynnikowej. W: J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów (str. 391-416). Warszawa: Wydawnictwo Naukowe PWN