1 / 26

多変量一般化リッジ回帰モデル におけるリッジパラメータの選択法

多変量一般化リッジ回帰モデル におけるリッジパラメータの選択法. 広島大学大学院　理学研究科 博士課程前期 (2 年 ) 　数学専攻 永井　勇. 目的・動機. 多変量線形回帰モデルにおいて 　説明変数間の相関が高い 　⇒最小二乗推定量 (LSE) の分散が大 　⇒単変量の場合には他の推定法が提案 　⇒その手法を多変量に拡張 特に情報量規準によるパラメータの推定法の拡張. 目次. 一般化リッジ回帰モデル モデルの拡張 リッジパラメータ推定法の拡張 情報量規準による推定 その他の推定法による推定 検定統計量との関係 シミュレーション 参考文献.

ismet
Download Presentation

多変量一般化リッジ回帰モデル におけるリッジパラメータの選択法

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 多変量一般化リッジ回帰モデルにおけるリッジパラメータの選択法多変量一般化リッジ回帰モデルにおけるリッジパラメータの選択法 広島大学大学院　理学研究科 博士課程前期 (2年)　数学専攻 永井　勇

  2. 目的・動機 • 多変量線形回帰モデルにおいて 　説明変数間の相関が高い 　⇒最小二乗推定量 (LSE)の分散が大 　⇒単変量の場合には他の推定法が提案 　⇒その手法を多変量に拡張 • 特に情報量規準によるパラメータの推定法の拡張

  3. 目次 • 一般化リッジ回帰モデル • モデルの拡張 • リッジパラメータ推定法の拡張 • 情報量規準による推定 • その他の推定法による推定 • 検定統計量との関係 • シミュレーション • 参考文献

  4. 多変量線形回帰モデル 　　 目的変数行列 　 　　　　　　　 説明変数行列 ただし 　　　　　　誤差行列 ただし は互いに独立に 　　　　　 平均 で共分散行列 の分布に従っている 　　　 　　　　 未知回帰係数行列

  5. 最小二乗推定量 (LSE) の問題点 • のLSE ； 　説明変数間の相関が高い 　→　　　 の固有値が小さい 　→推定量の分散が大　　　　 別の推定方法が必要

  6. 多変量リッジ回帰モデル • 単変量リッジ回帰モデル (Hoerl & Kennard, 1970) 　　　　　　　　　　　　　　　　　　　　 のモデルへ 　リッジ推定量 (Ridge Estimator : RE)

  7. 平均二乗誤差 (MSE) • 多変量 単変量のとき　

  8. パラメータの推定法と問題点 • 推定法 Mallowsの 規準などを最小にする手法など • 最適なパラメータは？ 　←繰り返し計算が必要 一般化リッジ推定

  9. 多変量一般化リッジ回帰モデル • 　　　　　　　　 ；　　　　 の固有値 　　なる直交行列　　　　 が在る • 一般化リッジ推定量 (Generalized RE : GRE)

  10. モデルの書き換え LSE； RE； GRE；

  11. リッジパラメータの推定法 • MSEを小さくするパラメータ 　⇒　　　　　　　　　　 　　　 で最小 　　 　 の各行が従っている分布の共分散行列 　　 の 行目のベクトル 未知パラメータを含んだ形で陽に求まる 未知パラメータに直接推定量を代入(Plug in Estimator) MSEの推定量を最小に (情報量規準の最小化に対応) 別の推定法

  12. 多変量一般化リッジ回帰での 規準 • の推定量を構築 ⇒最小にする　　を求める Lemma 1. Corollary 1.任意の　　　 行列 ，　　　　 行列

  13. Lemma 2.任意の 　　　 行列 　 ，　　　 行列　

  14. 基準化した残差平方和 • Lemma 2より

  15. 　　　　　　　　　　　 のモデル • 　　　　　　　　　　　 のモデルへ

  16. 最小にすべき関数は？ • MSEの推定量 (　　 規準)を構築 　⇒　　に依存している部分・・・ 　⇒ を各　 に関して最小 REの場合

  17. 多変量の場合のパラメータの選択法 を最小にする 　 は を用いる推定法 誤差に正規性を仮定すると,MSEの不偏推定量となる

  18. 未知パラメータに直接代入する方法 • MSEを最小にする　 に直接代入 (PI) (Hoerl & Kennard, 1970) • (LSEの　行目) 　という反復 　　　　　 を用いる (IT-2) (IT-1=PI) (Hoerl & Kennard, 1970)

  19. 他の推定法 • 2の収束先 (Hemmerle,1975 の拡張) (IT-∞) 収束する⇒　 　　　　　　　　　　　　　　　の解 • PC (Lott, 1973)

  20. 検定統計量との関係 • V.S. 検定統計量 　　 を棄却 実現値

  21. シミュレーション • 比較方法 それぞれの推定法での推定値； 　　の平均により比較 （反復　 回）

  22. まとめ • REやGREの多変量モデルへの拡張 • 多変量一般化リッジ回帰モデルでの情報量規準　　　　　　　　の提案 • 最適なパラメータが陽に求まる • 他の陽に求まる手法の拡張 (PI,IT-2,IT-∞,PC) • 手法の比較 • サンプル数が少ない場合 ; • ある程度大きい場合 ; IT-∞

  23. 参考文献 • Hoerl, A. E. & Kennard,R.W.(1970).Ridge regression : biased estimation for nonorthogonal problems. Technometrics , 12 ,55-68 • Lawless, J.F. (1981). Mean squared error properties of generalized ridge estimators. J.Am .Stat .Assoc ., 76 ,462 – 466 • Mallows, C. L. (1973).Some comments on . Technometrics , 15 , 661-675 • Walker, S.G. & Page, C. J.(2001).Generalized ridge regression and a generalization of the statistic. J. Appl. Statist.,28,911-922 • Yanagihara, H. & Satoh, K.(2008).An unbiased criterion for multivariate ridge regression. TR No. 08-04, StatisticalResearchGroup, HiroshimaUniversity.

  24. ご清聴ありがとうございました 発表終了

More Related