第 五 章

1. 第 五 章 複迴歸分析

2. 複相關係數 • 欲測量二組變數之間的關聯性，如果其中一組只有一個變數，另一組有二個以上的變數，則此二組變數間的相關稱為複相關。 • 如果二組變數都有二個以上的變數，則此二組變數間的相關稱為典型相關。

3. 複相關係數 • Yi = β0 + β1Xi1 + β2Xi2 + εi • X* = aX1 + bX2，找到 X1 、X2 的線性組合與 Y 有最大的相關係數，此最大的相關係數值就稱為 X1 、X2與 Y 的複相關係數。

4. 複迴歸分析簡介 • 複迴歸分析是探討預測變數有二個以上時，預測變數如何影響準則變數的問題。 • Y 對 X 的複迴歸模式如下：Yi = β0 + β1Xi1 + β2Xi2 + εi εi ~ N( 0，σ2 )，i = 1,2,…,n • 模式設定後，第一件工作就是參數估計，即求參數 β0、β1、β2的估計值，它的求法和簡單線性迴歸一樣，都是利用普通最小平方法。

5. 各種方法求複迴歸的係數 • （1）解正規方程式。（2）以矩陣方程式估計。（3）以另一種公式求解。（4）以統計軟體作分析。

6. 複迴歸模式的統計推論 • 複迴歸模式的一般式Yi = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1 + εi εi ~ N( 0，σ2 ) ， i = 1,2,…,n • 參數之估計Y = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1 ︿ ︿ ︿ ︿ ︿

7. 偏迴歸係數的含義 • β1 、β2 稱為偏迴歸係數，其意義如下： • β1 測量了在 X2保持不變的情況下， X1 變動一單位所引起 Y平均值 E(Y) 的改變量。 • β2 測量了在 X1保持不變的情況下， X2 變動一單位所引起 Y平均值 E(Y) 的改變量。 • 偏迴歸係數反映了當模型中其他解釋變數保持不變時，某個解釋變數對反應變數平均值的影響。

8. 模式之簡化 • 參數的檢定：模式是否合適，除了作殘差分析的方法之外，尚須討論模式的簡化問題。 • 模式的簡化問題有三種情形：（1）只去除其中一個預測變數。（2）同時去除幾個預測變數。（3）同時去除所有的預測變數。 • 上述三種簡化模式的情形，都是在作統計檢定的工作。

9. 檢定某一個預測變數的迴歸係數是否等於0 • 以檢定最後一個預測變數 Xp-1作說明，即檢定Yi = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1 + εiH0： βp-1 = 0 H1： βp-1≠0 • 以上的假設檢定的意義為：當預測變數X1, X2,...,Xp-2已經放入模式內時，則預測變數 Xp-1是不是可以不用再放入模式內。

10. 檢定某一個預測變數的迴歸係數是否等於0 • 要作此項檢定，主要是計算 F 統計量，F 值是二個平方和作自由度調整後的比值。 • 首先計算簡化模式（Reduced Model）的殘差平方和SSE(R)，也就是模式中未放入 Xp-1時的殘差平方和。 • 其次，再計算完整模式（Full Model）的殘差平方和SSE(F)，也就是模式中除了預測變數X1, X2,...,Xp-2外，尚包含預測變數 Xp-1時的殘差平方和。

11. 檢定某一個預測變數的迴歸係數是否等於0 • 當模式越複雜時，其 SSE 會越小，所以SSE(F) ≦ SSE(R)，而SSE(R) – SSE(F)的值越大，就表示 Xp-1越有用（也就是 βp-1≠0，即拒絕H0）。 • SSE(R) – SSE(F) 的值表示增加預測變數 Xp-1到模式中後，Y 變異降低的部份，以SSR(Xp-1 | X1, X2,...,Xp-2 ) 表示。

12. 檢定某一個預測變數的迴歸係數是否等於0 • 到底變異要降低多少才表示預測變數 Xp-1是有用的呢？統計學上以降低變異的比例為指標，亦即以 [ SSE(R) – SSE(F)] / SSE(F) 作為判斷準則。此為二個平方和的比值，再作自由度的調整後，就成了 F分配。F = [ (SSE(R) – SSE(F)) / 1 ] / [ SSE(F) / (n – p) ] • 當 F > F1,n-p,α時，拒絕 H0。 • 上述的 F值亦稱為偏 F 值（Partial F）。

13. 多加一個解釋變數的貢獻

14. 多加一個解釋變數的貢獻 P-2個

15. 多加一個解釋變數的貢獻 P-2個

16. 多加一個解釋變數的貢獻 P-2個

17. 同時檢定幾個預測變數的迴歸係數是否等於0 • 以檢定最後 p - q 個預測變數 Xq , … , Xp-1作說明，即檢定Yi = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1 + εiH0： βq = βq+1 = … = βp-1 = 0 H1： βi不全為 0，i = q, q+1,...,p-1

18. 同時檢定幾個預測變數的迴歸係數是否等於0 • 首先計算簡化模式（Reduced Model）的殘差平方和SSE(R)，也就是模式中未放入預測變數 Xq , … , Xp-1時的殘差平方和。 • 其次，再計算完整模式（Full Model）的殘差平方和SSE(F)，也就是模式中除了預測變數X1, X2,...,Xq-1外，尚包含預測變數 Xq , … , Xp-1時的殘差平方和。 • SSE(R) = SSE(X1, X2,...,Xq-1)SSE(F) = SSE(X1, X2,...,Xp-1)

19. 同時檢定所有預測變數的迴歸係數是否都等於0同時檢定所有預測變數的迴歸係數是否都等於0 • H0： β1 = β2 = … = βp-1 = 0 • H1： βi不全為 0，i = 1, 2,,...,p-1 • 當模式中不放入任何預測變數時，則模式中只有常數項，因此，簡化的殘差平方和SSE(R) = SSTO。所以SSE(R) – SSE(F) = SSTO – SSE。 • X1, X2,...,Xp-1對 Y 有影響並不表示每一個 Xi都對 Y有影響。

20. SAS報表之分析Analysis of Variance Source DF Sum of Mean Square Square F Value Prob>F Model 3 950.16 316.72 19.11 0.0018 Error 6 99.43 16.57 C Total 9 1,049.60 H0： β1 = β2 = … = βp-1 = 0H1：至少有一 βi 不為 0

21. SAS報表之分析 Root MSE 4.07091 R-square 0.9053Dep Mean 45.20000 Adj R-sq 0.8579C.V. 9.00644

22. SAS報表之分析Parameter Estimates Parameter Standard T for H0：Variable DF Estimate Error Parameter=0 Prob>|T|Intercept 1 17.144 7.109 2.411 0.0525 X1 1 0.129 0.058 2.211 0.0691 X2 1 4.676 1.815 2.576 0.0420 X3 1 - 0.325 0.488 - 0.667 0.5296迴歸式： Y = 17.144 + 0.129 X1 + 4.676 X2 – 0.325 X3 ︿

23. 檢定聯合假設 • H0： β1 = β2 = … = βp-1 = 0 • H1： βi不全為 0，i = 1, 2,,...,p-1 • 在複迴歸模型中，一個或多個解釋變數各自對反應變數沒有影響，但聯合起來卻對反應變數有影響。 • 這意味著t 檢定雖然對於檢定單個迴歸係數的統計顯著性是有效的，但對於聯合假設的檢定卻是無效的。所以對聯合假設的檢定要改用 F 檢定。

24. SAS報表之分析 • ANOVA Table 是對整體的預測變數的預測能力作檢定。H0： β1 = β2 = … = βp-1 = 0 H1： βi不全為 0，i = 1, 2,,...,p-1 • Parameter Estimates 則是對個別的預測變數的預測能力作檢定。H0：β1 = 0 H0： β2 = 0 …… H0： βp-1 = 0 H1：β1≠ 0 H1： β2≠ 0 …… H1： βp-1≠ 0

25. SAS報表之分析 • 在Parameter Estimates中，對個別預測變數的參數作檢定，若同時有二個預測變數的 P Value 均大於0.05，則表示這二個預測變數可以從模式中刪除，但應一次刪除一個，而不是將二個同時刪除。通常以 P Value 較大者先刪除。 • 刪除掉一個預測變數後，需要重新跑迴歸式。

26. 預測變數太多的困擾 • 對於一個準則變數，如果選用太多的預測變數，則可能會發生模式擬合得太好，出現R2 = 1 的情形，這種情形通常發生在觀察的資料筆數 n 太少而預測變數 p 太多時。 • 事實上，當 p ≧ n+1 時，R2一般都會等於 1。

27. 預測變數取捨的依據 • 在模型建立過程中，要以經濟理論為依據，並充分利用以往的工作經驗。 • 一但建立起模型，就不要隨意地從模型中刪除某個解釋變數。