Regresijos lygties parametrų vertinimas

1. Regresijos lygties parametrų vertinimas 2014-02-19 D.Gujarati Part 1 “ Single-Eguation regression Models” 3 skyrelis “Two –variable Regression model:The Problem of Estimation” ir 4 skyrelis The Normality Assumption: CNLRM)

2. Porinė tiesinė regresija: parametrų vertinimas • Grafinė ir statistinė duomenų analizė • Parametrų vertinimas mažiausių kvadratų metodu • Porinė tiesinė regresija • Dauginė tiesinė regresija • Klasikinio regresinio modelio prielaidos • Gauso-Markovo teorema • Įverčių savybės • Regresijos paklaida ir jos įvertis • Maksimalaus tikėtinumo metodas

3. Pvz.

4. Grafinė studento-motinos ūgio priklausomybės analizė

5. Regresijos parametrų vertinimo metodai Regresinis modelis – bendras atvejis Porinė tiesinė regresija Yi=β0 + β2Xi + εi = β0 + β1 Xi + εi Yi Sisteminė/dėsningoji dalis Atsitiktinė dalis

6. Regresijos parametrų vertinimo metodai • MKM – rasti tokius parametrų β1,β2 įverčius, kurie minimizuoja modelio paklaidas, t.y atsitiktinę modelio dalį. • MTM – rasti tokius parametrų įverčius β1,β2, kurie maksimizuoja sisteminės dalies ir Yi atitikimo tikimybę

7. Parametrų įverčių nustatymas mažiausių kvadratų metodu Yi=0+1Xi+i Yi = b0+ b1Xi +ei MKM Įrodymas auditorijoje

8. Y . Y4 { e4 . e3 } Y3 . Y2 e2 { } e1 . Y1 x2 x1 x4 x3 x Y, e ir tiesinė regresijos lygtis

9. Parametrų įverčių nustatymas mažiausių kvadratų metodu • Formulių išvedimas paskaitos metu

10. Parametrų įverčių nustatymas mažiausių kvadratų metodu Galimos b1 matematinėsišraiškos Įrodymas auditorijoje

11. Pvz. Matavimo vienetų įtaka koeficientams YSŪ irXMŪ - cm YSŪ irXMŪ - metrais YSŪ- cm , XMŪ - m YSŪ- m , XMŪ - cm

12. Dauginės regresijos įverčių nustatymas mažiausių kvadratų metodu Yi=0 +1X1i + 2X2i+iYi = b0+ b1Xi + b2X2i+ ei MKM

13. MKM dviems kintamiesiems Yi = 0 + 1X1 + 2X2 + ei Pasižymime :

14. 2 yi xi1xi2 yi xi2xi1xi2 b1 = 2 2 xi1 xi2 xi1xi2 2 2 yi xi2xi1 yi xi1xi2xi1 b2 = 2 2 xi1 xi2 xi1xi2 2 MKM dviems kintamiesiems

15. 1-4 grupių studentų ūgiai 2014

16. MKM įverčių savybės • Įverčiai yra atsitiktiniai dydžiai • Įverčiai yra tiesiniai, nepaslinkti, efektyvūs ir suderinti

17. Įverčiai atsitiktiniai dydžiai Įverčiai, kaip ir visi atsitiktiniai dydžiai, charakterizuojami vidurkiu ir dispersija

18. Gauso-Markovo teorema • Teorema Jeigu yra tenkinamos klasikinio regresinio modelio prielaidos, tai mažiausių kvadratų metodu apskaičiuoti regresijos įverčiai yra tiesiniai, nepaslinkti ir turi mažiausią dispersiją nepaslinktų tiesinių įverčių klasėje.

19. Klasikinio regresiniomodelio prielaidos

20. Klasikinės regresijos prielaidos

21. Sąvokos • Tiesiniai įverčiai • Gauti įverčiai yra apskaičiuoti pagal tiesinę Y atžvilgiu lygtį • Nepaslinkti įverčiai • Įverčių bj, apskaičiuotų skirtingų duomenų imčių pagrindu, vidurkis yra lygus tikrajai parametro reikšmei E(bj)=j • Efektyvūs • Efektyvus įvertis –tai įvertis turintis mažiausią dispersiją nepaslinktų įverčių klasėje, t.y., įvertis, esantis arčiausiai tikrosios parametro reikšmės • Suderinti • Suderintas - tai toks įvertis, kurio reikšmės artėja prie tikrosios parametro reikšmės, didėjant stebėjimų skaičiui

22. Svarbios skaitinės savybės

23. MKM įverčių savybių įrodymas • Tiesiškumas Suma lygi 0 Konstanta

24. MKM įverčių savybių įrodymas • Nepaslinktumas =0 =0 =1

25. Mažos imties įverčių pageidaujamos savybės • Nepaslinktumas Tikimybių tankis 1bj 2bj βj Tikroji parametro reikšmė VU EF Vita Karpuškienė

26. 3.15 Efektyvūs įverčiai Įverčių efektyvumas Efektyvus Tikimybių tankis Neefektyvūs βj

27. 3.15 Suderinti įverčiai N=10 Suderinamumas Tikimybių tankis N=1000 N=5000

28. Įverčiai tiesiniai nepaslinkti ir efektyvūs yi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi

29. Įverčiai tiesiniai paslinkti yi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi

30. Gauss –Markov teoremos įrodymas Efektyvumas Tarkim turime tiesinį nepaslinktą įvertį, kurio dispersija yra mažiausia Tiesinis Efektyvumas Min pasiekiamas tuo atveju, kai

31. Porinės regresijos paklaida ir jos įvertis Porinės regresijos paklaida Modelio paklaidos įvertis yra atsitiktinis dydis, kuris apibūdinamas vidurkiu ir dispersija; • Vidurkis E(e)=0 • Dispersijos įvertis • Standartinė modelio paklaida

32. Dauginės regresijos paklaida ir jos įvertis Dauginės regresijos paklaida Modelio paklaidos įvertis yra atsitiktinis dydis, kuris apibūdinamas vidurkiu ir dispersija; • Vidurkis E(e)=0 • Dispersijos įvertis • Standartinė modelio paklaida

33. Modelio paklaidos ei

34. Modelio paklaidos ei

35. Maksimalaus tikėtinumo metodas • Idėja: Rasti tokius parametrų β0, β1įverčius, kurie maksimizuoja sisteminės dalies ir Yi atitikimo tikimybę Neatsitiktiniai dydžiai Yi=β0 + β1Xi+ εi Atsitiktiniai dydžiai

36. - (y - )2 2s2 2.48 Normalusis skirstinys Y ~ N(,s2) 1 exp f(y) = 2ps2 f(y) y 

37. Maksimalaus tikėtinumo metodas Tarkim nagrinėjame porinę priklausomybę, kurios Yi – atsitiktinis dydis pasiskirstęs N(, σ2) Yi=β0 + β1Xi +εi i=E(Yi) =β0 + β1Xi MTM – esmė

38. Maksimalaus tikėtinumo metodas Iš tikimybių teorijos žinom, jeigu Y – nepriklausomas atsitiktinis dydis, tai ... ...

39. Maksimalaus tikėtinumo metodas = Įsistatom į tankio f-jos lygtį

40. Maksimalaus tikėtinumo funkcija LF – maksimalaus tikėtinumo funkcija max LF=

41. Maksimalaus tikėtinumo funkcija(Imties koeficientai) Ieškome LF maksimalios reikšmės duomenų imties koeficientams, skaičiuodami dalines išvestines, prilygintas 0

42. Maksimalaus tikėtinumo funkcija Dalinių išvestinių skaičiavimo rezultatai

43. Maksimalaus tikėtinumo funkcija

44. Maksimalaus tikėtinumo metodo įverčiai

45. MKM ir MTM palyginimas • MKM privalumai: • Idėjos akivaizdumas • Skaičiavimų paprastumas • MKM trūkumai • Kad įverčiai turėtų pageidaujamas savybes: tiesiškumą, nepaslinktumą, suderinamumą, turi būti tenkinamos klasikinio regresinio modelio prielaidos, kurias reikia tikrinti kiekviename modelyje)

46. MKM ir MTM palyginimas • MTM privalumai: • Apskaičiuoja tiesinių ir netiesinių regresinių modelių parametrų įvarčius • Esant didelėms stebėjimų imtims, apskaičiuoti įverčiai turi pageidaujamas savybes • MTM trūkumai • Būtina žinoti priklausomojo kintamojo tikimybių pasiskirstymą. • Sudėtingi skaičiavimai • MKM ir MTM tiesinės regresinės lygties parametrų įverčiai sutampa, kai Y turi normalųjį tikimybių skirstinį