Analiza reszt w regresji

1. Analiza reszt w regresji

2. Reszty losowe, sformułowanie problemu Powiedzmy, że rozpatrywana przez nas zmienna losowa Y jest normalna o wartości oczekiwanej będącej funkcją jednej lub wielu zmiennych niezależnych (objaśniających) oraz stałej wariancji dla dowolnych kombinacji tych zmiennych W wielu zastosowaniach praktycznych nie mamy jednoznacznej informacji o postaci wartości oczekiwanej: dr Janusz Górczyński, WSZiM

3. Reszty losowe, sformułowanie problemu Oznacza to, że eksperymentator a priori zakłada jakąś postać modelu, co w jakimś stopniu wynika z dotychczasowej wiedzy o przebiegu badanego zjawiska. Powiedzmy, że wartość oczekiwana zmiennej losowej Y jest funkcją f rozpatrywanych zmiennych objaśniających: Parametry funkcji f muszą być ustalone metodą NK na podstawie odpowiedniej próby losowej. Otrzymamy ocenę modelu z próby: dr Janusz Górczyński, WSZiM

4. Pytanie, czy funkcja f jest dobrze wybrana? Na etapie estymacji modelu nie jesteśmy w stanie ocenić, czy model został poprawnie wybrany (być może inny model lepiej opisuje zachowanie zmiennej losowej Y). Załóżmy, że model został dobrze wybrany. Jeżeli tak, to wartości obserwowane zmiennej losowej Y powinny być przypadkowo rozrzucone wokół funkcji regresji. Inaczej mówiąc część obserwacji będzie mieć wartości mniejsze od wynikających z modelu, a część większe. Niech oznacza reszty losowe, czyli różnice między wartościami obserwowanymi a teoretycznymi zmiennej losowej Y dr Janusz Górczyński, WSZiM

5. Pytanie, czy funkcja f jest dobrze wybrana? Jeżeli funkcja f jest dobrze określona względem wybranej zmiennej objaśniającej, to rozkład wektora reszt e, uporządkowanego rosnąco względem tej wybranej zmiennej, powinien być losowy (przypadkowy). Testem statystycznym, który możemy zastosować do weryfikacji o losowości rozkładu reszt jest test serii. Podstawą konstrukcji testu serii badającego losowość reszt jest pojęcie serii – ciągu reszt wyłącznie dodatnich lub ujemnych w uporządkowa-nym rosnąco, względem wybranej zmiennej, wektorze reszt. Przykładowo, w ciągu reszt + + - - - + + - + - - + mamy 7 serii. dr Janusz Górczyński, WSZiM

6. Badanie losowości reszt - test serii Weryfikacja hipotezy o losowości rozkładu odchyleń od modelu (reszt) ma na celu ocenę trafności doboru postaci analitycznej modelu. Weryfikujemy hipotezę zerową: wobec Punktem wyjścia do weryfikacji tak sformułowanej hipotezy zerowej jest ciąg reszt uszeregowanych wg rosnącej wartości zmiennej niezależnej (w modelu z wieloma zmiennymi dla wybranej zmiennej objaśniającej). Dla tak uporządkowanego wektora reszt e oblicza się liczbę serii S oraz liczbę reszt dodatnich n1 i liczbę reszt ujemnych n2. dr Janusz Górczyński, WSZiM

7. Badanie losowości reszt - test serii Z tablic testu liczby serii dla danej liczby reszt dodatnich n1, liczby reszt ujemnych n2 oraz przyjętego poziomu istotności  odczytujemy dwie wartości krytyczne liczby serii: Wnioskowanie: To nie mamy podstaw do odrzucenia hipotezy zerowej H0 Jeżeli Merytorycznie oznacza to tyle, że względem wybranej zmiennej model jest dobrze określony. Jeżeli lub to hipoteza H0 powinna zostać odrzucona, tym samym model względem wybranej zmiennej jest źle określony i powinien być zmieniony. dr Janusz Górczyński, WSZiM

8. Test serii, duża próba Wartości krytyczne testu serii zostały wyznaczone jedynie dla liczby reszt dodatnich i ujemnych nie większych od 20. Przy dużych próbach losowych powinniśmy skorzystać z możliwości standaryzacji rozkładu liczby serii S. Dla dużej próby ocenami wartości oczekiwanej i odchylenia standardowego liczby serii S są odpowiednio: ma rozkład N(0; 1) Tym samym zmienna dr Janusz Górczyński, WSZiM

9. Test serii, duża próba Tym samym weryfikacja hipotezy Sprowadza się do weryfikacji Którą przeprowadzamy w sposób standardowy poprzez sprawdzenie, czy wartość zS należy do obszaru krytycznego. dr Janusz Górczyński, WSZiM

10. Test serii, przykład źle i dobrze dobranego modelu dr Janusz Górczyński, WSZiM

11. Test serii, przykład zastosowań Prześledzimy dobór modelu funkcji regresji, który ma opisać zależność wielkości zbioru zbóż (w tys. Ton – zmienna Y) od dwóch wybranych zmiennych niezależnych: x1 – użytki rolne w tys. ha, x2 to liczba pracujących w rolnictwie w tys. osób. Poszukiwana funkcja może być opisana zależnością potęgową postaci: Estymacja parametrów tego modelu wymaga jego wcześniejszej linearyzacji (obustronnego zlogarytmowania logarytmem np. naturalnym. dr Janusz Górczyński, WSZiM

12. Test serii, przykład zastosowań - dane dr Janusz Górczyński, WSZiM

13. Test serii, przykład, dane po transformacji dr Janusz Górczyński, WSZiM

14. Test serii, przykład, estymacja modelu Do estymacji modelu wykorzystamy arkusz RegresjaNowa.xls, z jego pomocą wyznaczymy także wartości teoretyczne zmiennej losowej Y dla obserwowanych wartości zmiennych niezależnych Przed wywołaniem procedury „Regresja wielokrotna” musimy trochę inaczej zapisać dane logarytmowane – muszą po prostu tworzyć jeden zwarty obszar. Ja zapisałem je w obszarze I2:K33 Na kilku kolejnych slajdach będą pokazane kolejne kroki pracy nad wyestymowaniem parametrów założonego modelu funkcji regresji. dr Janusz Górczyński, WSZiM

15. Estymacja modelu, krok 1, podanie zakresu zmiennych dr Janusz Górczyński, WSZiM

16. Estymacja modelu, krok 2, określenie roli zmiennych dr Janusz Górczyński, WSZiM

17. Estymacja modelu, regresja krokowa, model wyjściowy dr Janusz Górczyński, WSZiM

18. Estymacja modelu, regresja krokowa, model jest dobrany dr Janusz Górczyński, WSZiM

19. Wyniki estymacji modelu dr Janusz Górczyński, WSZiM

20. Wykorzystanie procedury „Prognoza” dr Janusz Górczyński, WSZiM

21. Wyniki prognozy dr Janusz Górczyński, WSZiM

22. Wyznaczenie wektora reszt (sortowany wg ln(x1)) dr Janusz Górczyński, WSZiM

23. Wykorzystanie arkusza TestSerii.xls Wyznaczony na poprzednim slajdzie wektor reszt przeniesiemy teraz, via schowek Windows, do specjalnie przygotowanego arkusza o nazwie TestSerii.xls Zadaniem formuł tego arkusza jest weryfikacja hipotezy o losowości wektora reszt. Weryfikacja wykonywana jest przedstawionym wcześniej testem serii z automatycznym przejściem na zmienną standardową z wtedy, gdy próba jest duża. Wektor reszt umieszczony w schowku Windows powinien być wklejony od komórki A1 arkusza „ArkuszObliczeniowy” skoroszytu TestSerii, z reguły poprzez polecenie „Wklej specjalnie/wartości” z uwagi na wyznaczenie reszt formułami. dr Janusz Górczyński, WSZiM

24. Wykorzystanie arkusza TestSerii.xls dr Janusz Górczyński, WSZiM

25. Wykorzystanie arkusza TestSerii.xls W naszym przypadku, z uwagi na dużą próbę i brak w tablicach wartości krytycznych testu serii dla n1=19 i n2=13 nastąpiło automatyczne przejście na test z. Wymagało to oszacowania wartości oczekiwanej i odchylenia rozkładu serii, a następnie wyznaczenia empirycznej wartości z. Weryfikowana hipoteza zakłada, że z = 0, p-value dla tej hipotezy jest bardzo duże i znacznie przekracza standardowy poziom istotności (0,05), tym samym NIE MAMY podstaw do odrzucenia hipotezy o losowości reszt. Wniosek merytoryczny: model funkcji regresji jest poprawnie dobrany. dr Janusz Górczyński, WSZiM

26. Przykład liczbowy do pobrania W folderze download\Ekonometria\Zadania znajduje się arkusz excela o nazwie ZobaczModelProdukcji.xls Zakładka „Dane” zawiera wyjściowe dane eksperymentalne (kolumny A-C), w kolumnach I-K są logarytmy naturalne tych danych, a w kolumnach N-P są dane logarytmowane, ale posortowane narastająco względem zmiennej ln(x1) – dla potrzeb wyznaczenia wektora reszt. Zakładka „Model” zawiera wyniki estymacji modelu potęgowego uzyskane metodą regresji krokowej wraz z prognozą dla obserwo-wanych wartości zmiennych niezależnych (dokładniej – ln(x1)) oraz wyznaczonym wektorem reszt e. Obliczenia testu serii robione są już w standardowym arkuszu TestSerii.xls dr Janusz Górczyński, WSZiM

27. Badanie nieobciążoności Badanie nieobciążoności odchyleń losowych modelu przeprowadza się dla modeli nieliniowych. Weryfikujemy hipotezę: Statystyka testowa oparta jest o rozkład t-Studenta: gdzie Przy prawdziwości hipotezy zerowej podana statystyka ma rozkład t-Studenta z liczbą stopni swobody v = n -1 dr Janusz Górczyński, WSZiM

28. Badanie autokorelacji Pod pojęciem autokorelacji odchyleń losowych rozumiemy liniową zależność między odchyleniami losowymi z różnych okresu czasu. Miarą siły i kierunku autokorelacji odchyleń losowych et i et- jest współczynnik korelacji rzędu : dr Janusz Górczyński, WSZiM

29. Badanieautokorelacji Hipotezę o braku autokorelacji możemy weryfikowana testem Durbina-Watsona lub klasycznym testem t-Studenta: Przy prawdziwości hipotezy zerowej tak sformułowana statystyka ma rozkład t-Studenta z liczbą stopni swobody v = n--2 dr Janusz Górczyński, WSZiM