Hypothesis Testing In Full Rank Model

1. Hypothesis TestingIn Full Rank Model Ujihipotesisdiantaranyauntukmenjawabpertanyaanpertanyaanberikut: Apakah model yang dibentukapakahsebagianbesar observed variable mampumenjelaskanvariasidalamvariabelrespon? Apakahhanyasebagianatauseluruhvariabelobservasimampumenjelaskanvariasidalam variable respon? Apakahvariabeltertentudalam model dapatdigunakanuntukmengestimasirespon?

2. UjiKesesuaian Model Kita lihat model linier berikut: yi=β0+ β1 Xi1+ β2 Xi2+…+βkXik+εi, i=1,2,…,n Apakah model di atassudahsesuai(cocok)? Artinya, apakah model linier tersebutvariabel-variabelobservasidapatmenjelaskanvariasidarivariabelrespon? Jikatidak, makasemuakoefisien model akansamadengannol, sebaliknya minimal terdapatsatukoefisien model yang tidaksamadengan nol.

3. Uji terhadap model di atas, sbb: H0 : β1 = 0 H1 : β1 ≠ 0 Asumsi yang digunakan dalam uji model ini adalah random errors berdistribusi normal dengan E[ε]=0 dan Var ε=σ2I. Akibatnya y vektor random nx1 juga berdistribusi normal dengan rata-rata Xβ dan varians σ2I.

4. Metode yang digunakan untuk menguji hipotesis ini adalah analysis of variance (ANOVA). ANOVA adalah teknik analitik dimana jumlah kuadrat didistribusikan kedalam beberapa komponen sumber. Disini y΄y (jumlah kuadrat variabel respon) dipecah menjadi bagian-bagian yang lebih berarti. Residual sum of squares, yang merefleksikan variasi random atau variasi yang tidak dijelaskan dalam respon, dapat dinyatakan sebagai:

5. SSRes =y΄y – y΄X(X΄X)-1X΄y y΄y = y΄X(X΄X)-1X΄y +SSRes y΄X(X΄X)-1X΄y merefleksikanvariasidalamvariabelrespon yang tidakacak, samaartinyadenganvariasedalamvariabelrespon yang dijelaskanoleh model regresi linier. y΄X(X΄X)-1X΄y disebutdengan model or regression sum of squares, yang dinotasikandenganSSModelatauSSReg. Jika y΄y disebutdenganSSTotal, makajumlahkuadrat total dapatdinyatakansebagai: SSTotal = SSReg + SSRes

6. Pengujian ini membutuhkan pengetahuan tentang distribusi probabilitas dari SSReg/σ2 dan SSRes/σ2 serta hubungan antara keduanya. Theorema 4.1. SSReg adalah notasi dari jumlah kuadrat regresi dalam model rank penuh, maka SSReg/σ2 mengikuti distribusi chi-square dengan derajat bebas p=k+1 dan parameter noncentral

7. Theorema4.2. SSResadalahnotasidarijumlahkuadratresidual dalammodel rank penuh, makaSSRes/σ2mengikutidistribusi chi-square denganderajatbebasn-p. Theorema4.3. SSReg/σ2danSSRes/σ2adalahbentukkuadrat yang salingbebas. Theorema4.4. Jika X adalahmatriksnxp rank penuh, maka X΄X adalahpositive definite.

8. Pada kondisi H0 : β1 = 0 benar parameter noncentral λ berkaitan dengan SSReg/σ2 sama dengan nol. Sehingga bentuk kuadrat ini mengikuti distribusi chi-square dengan derajat bebas p. SSReg/σ2 dan SSRes/σ2 saling bebas, dan H0 benar ratio: Mengikuti distribusi F dengan derajat bebas p dan n-p.

9. s2 adalah penduga tak bias untuk σ2, atau E(MSRes)= σ2. E(MSReg) = E[(1/p) y΄X(X΄X)-1X΄y] = (1/p)[tr(X(X΄X)-1X΄σ2I+(Xβ)΄X(X΄X)-1X΄Xβ] = (1/p)[pσ2+ β΄X΄Xβ] Jika hipotesis nol tidak benar, maka β≠0. Sejak X΄X adalah positive definite, β΄X΄Xβ>0 dan E[MSReg]> σ2. Sehingga ratio MSReg/MSRes lebih besar dari 1.

10. ANOVA Table

11. UjiHipotesisthdSubvektorβ • Apakah x1, x2, …, xkmampumenjelaskanvariasidarivariabelrespon? • Jikademikian, variabelmana yang paling penting? Untukmenjawabpertanyan di atasperlumengujihipotesis subset dari parameter β. Pertama-tama pilih r parameter pertamadariβ.

12. Jika r parameter pertamasudahditentukan, kitadapatpartisivektor parameter menjadi: Matriks X jugadipartisimenjadi [X1|X2], dimana X1 terdiriatas r kolompertamamatriks X dan X2 adalahsisanyayaitu p-r kolomterakhirmatrik X.

13. Hipotesis yang akan di ujiadalah: H0: H1: Dengan kata lain hipotesisnolmenguji r parameter pertamatidakmenjelaskanvariasidarivariabelrespon, denganalternatif parameter tersebut menjelaskanvariasivariabelrespon. Secaramatematis, dapatdibandingkandua model, yaitu model di bawah H0dan H1.

14. Model di bawah H0 hanyaterdiriatas p-r parameter terakhir, dandisebutdenganreduced model. Dalambentukmatriks: y = X2+ ε* Model berdasarkan H1 terdiriatassemua parameter dandisebutdenganfull model. Dinyatakandalambentukmatriks: y = Xβ + ε

15. Jumlah kuadratregresifull model adalah: SSReg= y΄X(X΄X)-1X΄y Bentukkuadratinidinotasikandengan R(β). Jumlahkuadratregresireduced model yang dinotasikandengan R(), yaitu: R() = y΄X2(X2΄X2)-1X2΄y Selisihkeduajumlahkuadratini [R(β)-R()] adalahkomponenvariasidalamvariabelrespon yang tidak random tetapitidakdapatdihitunglangsungdari reduced model.

16. Selisih jumlahkuadratinidisebutdengansum of square for regression on in the presence of . Yaitu: R) = R(β) – R() Jika Ho benarmakavariasidarivariabelresponhanyadijelaskanolehreduced model.NilaiR(β) akanmendekatinilaiR(), samaartinyanilaiR) akansangatkecil. Jika H1 benarmaka parameter βr ,βr+1 ,…,βk tidakcukupuntukmenjelaskanvariabilitasvariabelobservasi, nilaiR) akansangatbesar.

17. Secaramatematikujihipotesisdapatdibangundaripersamaanberikut:Secaramatematikujihipotesisdapatdibangundaripersamaanberikut: y΄y = y΄X2(X2΄X2)-1X2΄y + y΄[X(X΄X)-1X΄ –X2(X2΄X2)-1X2΄]y + y΄[I –X(X΄X)-1X΄]y y΄y = R() + R) + SSRes kemudian y΄y/σ2= R() /σ2 + R) /σ2 + SSRes/σ2

18. Lemma 4.1 Rank matriksX2(X2΄X2)-1X2΄adalah p-r Lemma 4.2 Matriks X(X΄X)-1X΄ –X2(X2΄X2)-1X2΄adalahidempoten Lemma 4.3 Rank matriksX(X΄X)-1X΄ –X2(X2΄X2)-1X2΄adalah r Lemma 4.4 Rank matriks[I – X(X΄X)-1X΄] adalahn-p

19. Theorema 4.5. Jika z adalah nx1 variabel random multivariate normal dengan rata-rata μdan variance I. Misal z΄z = Σy΄Aiy Kondisi yang perludancukupuntukbentukkuadratdengan random variabelnyasalingbebasdanberdistribusi chi-square noncentraldengan parameter ridanλi, denganri=r(Ai) danλi=½μ΄AiμadalahΣri=n.

20. Misal z=y/σmaka E(z)=μ=Xβ/σ Var(z)=Vary/σ=I y΄y/σ2= z΄z = {y΄X2(X2΄X2)-1X2΄y}/σ2+ {y΄[X(X΄X)-1X΄ –X2(X2΄X2)-1X2΄]y}/σ2+ {y΄[I –X(X΄X)-1X΄]y}/σ2 Rank matrikspdruaskananadalah (p-r) + r + (n-p) = n

21. {y΄[X(X΄X)-1X΄ –X2(X2΄X2)-1X2΄]y}/σ2=R)/σ2mengikutidistribusi chi-square noncentraldengan rank r dan parameter noncentral λ = (1/2σ2)(Xβ)΄[X(X΄X)-1X΄ –X2(X2΄X2)-1X2΄]Xβ Telahdijelaskansebelumnyabahwabesaran R)merupakanindikasiditaloktidaknyahipotesis nol. Dalamujistatistikharusdiketahuidistribusidibawahhipotesisnolbenar.

22. Theorema 4.6. JikaH0: benar, makastatistik mengikutidistribusi F denganderajatbebas r dan n-p.

24. “Corrected” Sums of Square • Anova yang dibahassebelumnyadidasarkanpada ”uncorrected” sums of square. • Hipotesisbahwaβ0≠0 jarangsekalimenjadiperhatianpentingbagipeneliti, dibandingkanhipotesisbahwa variabel2 bebasberartidenganadanya intercept. • Ujihipotesisinitidakadajumlahkuadratdr reduced model, model hanyaterdiridarisebuah intercept, yang diberikan:

26. Pengukuran total variasidalamrespons y΄y merupakanvariasidisekitartitiknol, jikadiasumsikanbahwadengantidakadanyavariabelbebas, makaresponsakanbervariasidisekitarnilaitertentu (bukannol). Yaitudisekitar rata-rata , danpengukuranvariasinyaadalah: (Corrected Sums of Square)

27. Besaran di atasdisebutdengan correction factor.