小暮研究会２

1. 小暮研究会２ • 第１章　ベイズのアルゴリズム 　・尤度の優位 　・事後分布の収束 　・事後分布のサンプリング 　・BUGSでの実例 　・２乗誤差損失 総合政策学部３年　織田昌吾

2. 尤度の優位 • これまで見てきた事後分布以外の特徴として、観測数がパラメーター数より相対的に多く、事前分布がΘの関連部分に確率０を与えない時、事前分布にほとんど依存しないということである。 • データが蓄積させることによって、尤度が変化し、増加する傾向にあるが、事前分布は変化しない。 • 例として、対数値　　　　　　　　　　　　　　　　　を持つn個の独立した正規（μ）変量、　　　　　　　　　　　　　　 　 に対する尤度を考える。

3. 尤度の優位 • 追加的な観測値を加える時、尤度の増加分は負でも０でもない　　　　　　　　　　　であり、ほとんどのμに対しての対数尤度は、観測値が増えるにつれて大きな負の値になる。ゆえに、大標本において尤度が　　 　　　　　　である限り、数値的に優位な項である。 ＊この例は、依存あるいは一様分布ではないデータの場合に機能する。

4. 尤度の優位　例１．１６ • 事前分布における事後分布の弱従属性 ・　　　　　　　　　　　　　を 持つベルヌーイ試行を考え、 自然共益なベータ分布の中 で事前分布を変化させた結果　　　　　　　　　　　　　 　　　　　　　　　　　　　を考える。 図１．７ ベルヌーイパラメーターに対する３つの事前分布

5. 尤度の優位 図１．９ ３つの事後分布：n=20、s=8 図１．８ ３つの事後分布：n=5、s=2

6. 尤度の優位　まとめ • 異なる事前の考えが、かなり制限された量の証拠を考えた時に、急速に大まかな同意をもたらしうること、また多くのデータが利用できるほどその同意が完全であることを示している。 • 全く異なるが教義的でない事前の信念を持つ2人の個人が証拠の蓄積によって同意することになると言う点で、合理的で科学的な問いの過程とよく似ている。

7. 事後分布の収束 • それでは、標本サイズが大きくなると事後分布はどのように変化するであろうか。 • カルバック・ライブラー情報量 　この式の積分は、2つの確率分布　　　　　　と　　　　　　 　の相違を測るものであり、　　と異なる　　の値から生 　じる全てのありうるデータの分布（尤度）が　　　　　　 　と異なると言うことである。

8. 事後分布の収束　理論 • 理論 　　事後分布における全ての場合はパラメータ空間におけるただ一つの点に集中することになる。 • この理論は、全く異なった初期の信念（考え）を持つ個人が証拠の蓄積によって、どの程度最終的な結論をもたらすかに関する精度を形成する。

9. 事後分布の収束　証明 • 証明

10. 事後分布の収束　証明

11. 事後分布のサンプリング • 事後分布をとり、そこからθに関する実現値の集合を書くとき、　　　　　　　　　　から実現値をnrep個生成するようにプログラムすると、結果はnrep行とθに関する要素と同じくらい多くの行を持つ行列となる。

12. 事後分布のサンプリング • データが与えられた元で　　の分布　　　　　　を調べるために2行目を単純に無視する。 • 　の分布関数を調べるためにこの関数を結果として出来た行列の行に適用すると、確率変数　　　の一連の実現値となる。 • 独立であろうと無かろうと、大数の法則が適用され、それは　　のnrep個の実現値の標本から、　　　のモーメントがnrep→∞として　　　の分布のモーメントに収束する。

13. 例１．１７　プロビットの再訪 • 平均が２変数　　と　　に依存する２値データ　　を考える。 • ここで　　　　　　　　　　　　である。ゆえに、　　　　　　　　　は３次元パラメータである。例えば、　　に関する　　　　が　　の代替的な選択を評価したという確率の導関数に関する事後分布を知りたいかもしれない。これは経済的に興味深いものであるかもしれないので、最もありそうな値かその期待値、もしくはそれが負である可能性を知る必要がある。

14. プロビットの再訪 • この場合、興味のあるパラメータは以下のようになる。 • ここで必要とするのはその事後分布である。この分布を求める現代的な方法は　　　　　　　の同時事後分布をサンプリングし、次に３つの各実現値に対して、普通はいくつかの興味あるベクトル　　に対して　　を計算することである。

15. BUGSでの実例

16. BUGSの実例 １～5行目は、尤度を与えるものである。 ６～８行目はモデルに関する2つ目の要素を与え、この場合以下で示されるβに対する事前分布である。

17. BUGSでの実例 • これらは、βの３つの要素が平均０、標準偏差 　　　　　　　　　　を含むかなり低い精度を持つ独立した正規分布であることを示す。 • 　　　　　の列値を含むデータ行列と、要求された実現値の数、この場合nrep=10,000個を含む更なる詳細を提供したあと、プログラムはβの３つの要素に関する10,000個の実現値を含む出力行列を生み出す。要素として、近似するために尤度と事前分布、用意したデータに対応するβの同時事後分布からの実現値を含んでいる。

18. BUGSでの実例 • 図１．１０では　　の周辺分布に関する実現値の分布を与える。生成されたデータ　　の値は　　　　　　であった。プロット図は-0.22に集中している。　　の平均と中央値は共に-0.21であった。比較のため、最尤推定値もまた-0.2であった。 • 各実現値の結論を述べるため、各10,000個の実現値に対する　　　　　　　でのγの値を計算し、その分布が図１．１１で与えられる。連続確率における　　の影響が確実に正で確率0.17に集中していることがわかる。

19. BUGSでの実例 図１．１０ 図１．１１

20. 決定 • 多くは、データを観測し、その後の事後分布に基づいて決定をする。（→不確実性に合理的に対処するため） • 例として、パラメータθを含むデータ　　に対するモデルを持っているとする。データを見たあとで、事後分布　 　　　　　　を得る。θについて１つの決定値　　に達することを要求される。この決定は、　　　　　と表される。不確実なパラメータが値θを取る時、　　を決定するのに決定理論アプローチは損失を与える損失関数　　　　の存在を想定している。ベイズ決定は期待損失を最小にする。

21. 例１．１８　２乗誤差損失 • 損失関数が対称な形　　　　　　　　　　　（２乗誤差損失）をとるとする。その時、　は事後平均　　　　　である。これを証明するため、期待損失は次式であることに注意する。 　　　　に関するわずかな違いが結果をもたらす。 　　応用として、例１．１９がある。

22. 例１．１９ • 　　を０とθの間の一様分布とする。その密度関数は 他の所は０である。デフォルトな（非正則）事前密度 ここで、　　　はn個の標本実現値の中で最も大きい値である。

23. 例１．１９ • 前式は　　　　に対する事前密度のカーネルであり、正規化定数を提供した後、以下のようになる。 • ２乗誤差損失のもとで、ベイズ決定は事後平均である。積分をすると、　　　に対して平均が存在し、以下のようになる。

24. 例１．１９ • したがって、２乗誤差損失のもとでのベイズ決定は、データにおいて最も大きな観測値をとることやそれに 　　　　　　　をかける、すなわちわずかにそれを増加すること、そして結果として現れる数を報告することである。 • （参考として） 　　意思決定とベイズ推論に関する見通しを報告することは、計量経済学者が決定をするのではなく、エージェントが決定をするので、ベイジアン計量経済学のテキストにおいて強調されるべきである。

25. 結論と要約 • 計量経済学に対するベイジアンアプローチは概念的には簡単であり、最近では計算的にも容易である。アルゴリズムに続いて、データと事前分布に対する条件付き確率として理論を定式化しなければならない。これは、　　　　　　　　　　　　、つまりデータに対する確率分布であるので、データが理論のように見えると考えるものについて単に明言するに等しい。

26. 結論と要約 • 次に、データを研究し、モデルが少なくとも大まかに証拠と一致しているかどうかを調べ、一致していればモデルのパラメータについての見かたを修正する。データがモデルのパラメータに一致していようがいまいが、何かを学ぶであろう。