1 / 34

7.Inference for the Random Effects

7.Inference for the Random Effects. B4 KANEKIYO Michiwo. Today’s menu. 青本 p97 ～に対応. 01 Introduction 02 Empirical Bayes Inference 03 Henderson’s Mixed-Model Equations 04 Best Linear Unbiased Prediction (BLUP) 05 Shrinkage 06 Example :The Random-Intercepts Model

kalea
Download Presentation

7.Inference for the Random Effects

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 7.Inferencefor the Random Effects B4 KANEKIYO Michiwo

  2. Today’s menu 青本p97～に対応 • 01 Introduction • 02 Empirical Bayes Inference • 03 Henderson’s Mixed-Model Equations • 04 Best Linear Unbiased Prediction (BLUP) • 05 Shrinkage • 06 Example :The Random-Intercepts Model • 07 Example :The Prostate Data • 08 The Normality Assumption for Random Effects

  3. 興味⇒βとかαとかだけでもない 固定効果 分散成分 • 興味⇒変量効果biの推測 • 何の役に立つ？ • 見抜く • 外れ人 (outlying individuals) などの特別プロファイル • 時間によって異なる変化をする集団 • 個人特有の変化(subject-specific evolutions) の予測

  4. 本章では • 「階層モデルが適切」と仮定 • 周辺モデルでは「変量効果によるバラツキ」と説明が出来ないんです • 被験者間のバラツキ＞被験者内のバラツキ⇒仮定正当化 • 「変量効果有⇒被験者間の自然な異質性」より

  5. 7.2 経験的ベイズ推測 • 変量効果は確率変数と仮定⇒だったらBayesian techniquesで推定だよ • Ex. Box and Tiao (1992), Gelman et al (1995) • Box, G.E.P and Tiao, G.C. (1992) Bayesian Inference in Statistical Analysis. Wiley Classics Library edition. New York: John Wiley & Sons • Gelman, A., Carlin, J.B., Stern, H.S., and Rubin, D.B. (1995) Bayesian Data Analysis, Texts in Statistical Science. London: Chapman & Hall.

  6. 3.3章で述べたように・・ • biを条件付けたYiは多変量正規分布に従う • biは多変量正規分布に従う • ベイズ関連の文献内ではこの分布をパラメータbiの事前分布 (prior distribution)と呼ぶ • Yiに依存していないので

  7. yiとbiの同時分布 • Yi=yiを条件付けたものをbiの事後分布 (posterior distribution)という • 式(7.1)のようになる • 上記、θ（のある成分）に依存 • 見易さのため、省略 • 一般的なベイズ流の線型モデル理論(Smith 1973, Lindley and Smith 1972)を用いれば、(7.1)は多変量正規分布の密度関数であることが示される yiの周辺分布

  8. biは事後平均 (posterior mean)によって推定 • 事後平均＝事後分布の平均 • その推定量の共分散行列は 7.2 7.3

  9. (7.3)はbiの変動を無視 • (bi^ - bi) のバラツキを過小評価 • biの推測 (inference) は以下に基づく • (7.3) じゃなくて (7.4) を使いませう、ってこと 7.4

  10. Empirical Bayes (EB) estimates • (7.2)にβとαを代入したもの→EB推定量 • (7.3)(7.4)に代入 • 推定値代入→バラツキ過小評価 • ワルド検定よりも近似ｔ検定、F検定でinference • ワルド検定よりかは↑いいだろう・・・ • 実際にはヒストグラムとか散布図を見ます • 変なのいないかどうかチェック • 具体例はあとで • Extreme careでもって解釈されるべき→7.8で 「バラツキ過小評価」を全てrecoverするものではない

  11. 7.3 混合モデル方程式 by Henderson et al (1959) • これ • αを条件付けて解くと、βとbが得られる • (5.3)とか(7.2)で得られる

  12. ただし • 大きなデータセットの場合⇒計算的にとても高価になる • 直接(5.3),(7,2)を計算した方が効率的かも

  13. BLUP (Best Linear Unbiased Prediction) • 　　　　　　　　　　という線型結合の推定に興味 • たとえば、ある被験者のある時点の測定値推定 • λはベクトルです（それぞれp次元、q次元の） • uの最良線型不偏予測（α条件付け下） • 他の不偏推定量の中で一番標準誤差が小さい • 実際はαに推定値を代入 リニアということ↓

  14. 右図のようなことを指す bi自体は平均0だから Xβの方に縮小 bi=0の方に縮小 Var(bi^) ≦ Var(bi) Shrinkage（縮小） yi yi^ bi bi^ Xβ Xβ yi^ yi 0 0 7.7

  15. Yiの予測（EB推定量の解釈） • Yiの予測値＝Xiβ＾とyiの重み付け平均 7.6 被験者内のバラツキ 全体のバラツキ 被験者間のバラツキ 全体のバラツキ

  16. 変量切片の例 • D=σ2b Zi=1ni Σi=σ2Iniを各々(7.2)に代入 7.8

  17. 右図のようなことを指す 　は残差平均 ある意味biである biは本来0 事前分布より 0と残差平均の重み付け平均 bi^ Shrinkage（縮小） =y ij r ij bi^ Xiβ i番目の被験者の測定値のプロット

  18. niが大きい：一人に対する測定回数が多い bi^ → に近づく 縮小はシビアではない σ2大：被験者内のバラツキ大 よりShrinkage Shrinkage（縮小） bi^ Xiβ i番目の被験者の測定値のプロット

  19. 前立腺癌データの例 • 付録図表参照 • 表6.1の結果どおりの散布図（図7.1） • ヒストグラム→外れ人（outlier）いそう • ＃22, ＃28, ＃39, ＃45がそれっぽい • ＃45以外、誤分類（局地性ではなく転移性だろう） • ＃45は転移性群の中で一番増加率大 • Dの推測値に比べ、bi^の推測値は小さい • 縮小効果(shrinkage effect)によるもの

  20. ？ • To illustrate the shrinkage effects, we calculated Yi^ and Xiβ^ for subjects ＃15 and ＃28 in the prostate data set. The resulting predicted profiles and the observed profiles are shown in Figure 7.2. The EB estimates clearly correct the population-average profile toward the observed profile.

  21. 変量効果の正規性仮定 • EB推定量のヒストグラムや散布図をみて検討 • ↑良さげですがいろいろ問題あるのです • Xi、Ziが同じでないと被験者ごとに分布は違う • 標準化EB推定量で対処 • DeGruttola, Lange, and Dafni (1991) • normal quantile plotsを使って検討

  22. 変量効果の正規性仮定 • 縮小効果により過小に見られたバラツキ • ヒストグラム→正しい変量効果の分布を表してるというわけではない • Louis(1984) • 事後平均に対応する古典的二乗誤差減少関数よりも他に選ばれた減数関数を最小化することを提案 • ex.変量効果の分布に興味があれば、推定値の経験的キュムラント分布関数と真値との距離関数を最小化 • ？？

  23. 7.8.2 • 「EB推定量」と「仮定した分布」の関係は？ • Verbeke(1995) Verbeke and Lesaffre(1996a) • ５回測定×1000profileのシュミレーション • 単一変量効果biは・・・ • 「実は」正規分布の混合分布 • 母集団内に異質性の存在を示す • 同じサイズの下位集団みたく・・ • 真値→図7.3を参照 • （事前分布＝正規分布の）EB推定量bi^は・・・ • 図7.4のようになってしまう←shrinkage

  24. σ2（誤差分散）が変量効果に比べて大きい • 級内相関が低い • 変量切片のみ＞変量傾きのみ • 測定回数が少ない 変量効果の下位集団の決定に興味があるならば、研究中に、出来るだけ多くの測定値を得るべき Verbekeら：条件付独立の場合 • σ2(Zi’Zi)-1の固有値が十分に大きい • 双峰性の分布→EB推定量の分布に反映されない

  25. 7.8.2　まとめ • EB推定量←正規性仮定に大きく依存 • 変量効果の仮定が適切かどうか探索するべし • 変量効果の分布に興味があれば • やり方→7.8.4で議論する • 変量効果における異質性の決定についての詳細は１２章を見てね♪

  26. 以降の予定 • 7.8.3 • 変量効果のEB推定値は分布の誤特定にナイーブだったが、他のパラメータ（固定効果など）はロバストである • 7.8.4 • 実際にはどうやって変量効果の正規性仮定をチェックするのかということに対しての簡単な議論

  27. 文献一覧 • 事後分布が多変量正規分布 • Smith, A.F.M (1973) A general Bayesian linear model. Journal of the Royal Statistical Society, Series B, 35, 67-75. • Lindley, D.V. and Smith, A.F.M. (1972) Bayes estimates for the linear model. Journal of the Royal Statistical Society, Series B, 34, 1-41. • Shrinkage • Carlin, B.P. and Louis, T.A. (1996) Bayes and Empirical Bayes Methods for Data Analysis. London: Chapman & Hall. • Strenio, J.F., Weisberg, H.J., and Bryk, A.S. (1983) Empirical Bayes estimation of individual growth-curve parameters and their relationship to covariates. Biometrics, 39, 71-86.

  28. 文献一覧 • 変量効果の正規性仮定 • DeGruttola, V., Lange, N., and Dafni, U. (1991) Modeling the progression of HIV infection. Journal of the American Statistical Association, 86, 569-577 • Louis, T.A. (1984) Estimating a population of parameter values using bayes and empirical Bayes methods. Journal of the American Statistical Association, 79, 393-398. • EB推定量の分布のシミュレーション • Verbeke, G. (1995) The linear mixed model. A critical investigation in the context of longitudinal data analysis. Ph.D. thesis, Catholic University of Leuven, Faculty of Science, Department of Mathematics. • Verbeke, G. and Lesaffre, E.(1996a) A linear mixed-effects model with heterogeneity in the random-effects population. Journal of the American Statistical Association, 91, 217-221.

  29. 質問エトセトラ • なぜベイズ？ • 縮小って？ • 式7.2から式7.3 • 式7.4について

  30. なぜベイズ？ • 推定したいものはそもそも固定 • ある被験者による効果、とか • だが、固定としては推定できない • 変量として扱って推定しよう⇒ベイズ

  31. 　　は本当のbi？ • データ数が大きいときはbiとなる • データ数が少ない場合は？

  32. 縮小ってbi>bi^のことを指すの？ • に比べてbi^が小さくなることは分かる • でも、それイコールbi>bi^なのだろうか？ • 分散としては小さくなる←縮小 • var(bi)>=var(bi^)

  33. 式7.2→式7.3 • αは既知として、βは未知の場合 • 7.3のように変換することになる • βとαはともに依存？ Wiyiの共分散行列 WiXiβの共分散行列

  34. 式7.4（分かりやすさの為、i抜きで） • var(b^-b)=var(b^) – cov(b^,b) – cov(b,b^) + var(b)=D-var(b^) var(b^)=var(DZ’W(y-Xβ))=var(DZ’W(Zb+ε))=DZ’W var(y) W’ZD=DZ’WZDまたcov(b^,b)=DZ’Wcov((Zb+ε),b)=DZ’WZDよってvar(b^)=cov(b^,b)=cov(b,b^)

More Related