東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之 (Kazuyuki Tanaka) kazu@smapip.is.tohoku.ac.jp

1. 物理フラクチュオマティクス論Physical Fluctuomatics応用確率過程論Applied Stochastic Process 第4回最尤推定とEMアルゴリズム4th Maximum likelihood estimation and EM algorithm 東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka) kazu@smapip.is.tohoku.ac.jp http://www.smapip.is.tohoku.ac.jp/~kazu/ 物理フラクチュオマティクス論(東北大)

2. 今回の講義の講義ノート 田中和之著： 確率モデルによる画像処理技術入門， 森北出版，第４章，2006． 物理フラクチュオマティクス論(東北大)

3. 統計的学習理論とモデル選択 データから確率モデルの確率を推定する操作 モデル選択 統計的学習理論における確率モデルのモデル選択の代表例 不完全データにも対応 最尤推定に基づく定式化 EMアルゴリズムによるアルゴリズム化 更なる拡張 確率伝搬法，マルコフ連鎖モンテカルロ法によるアルゴルズムの実装 赤池情報量基準(AIC)，赤池ベイズ情報量基準(ABIC) etc. 物理フラクチュオマティクス論(東北大)

4. 最尤推定(Maximum Likelihood Estimation) パラメータ Hokkaido University GCOE Tutorial (Sapporo）

5. 0 1 2 3 4 5 6 7 8 最尤推定(Maximum Likelihood Estimation) パラメータ Hokkaido University GCOE Tutorial (Sapporo）

6. 0 1 2 3 4 5 6 7 8 最尤推定(Maximum Likelihood Estimation) データ パラメータ データ Hokkaido University GCOE Tutorial (Sapporo）

7. 0 1 2 3 4 5 6 7 8 最尤推定(Maximum Likelihood Estimation) データ パラメータ データ ヒストグラム Hokkaido University GCOE Tutorial (Sapporo）

8. 0 1 2 3 4 5 6 7 8 最尤推定(Maximum Likelihood Estimation) データ パラメータ データ ヒストグラム Hokkaido University GCOE Tutorial (Sapporo）

9. 0 1 2 3 4 5 6 7 8 最尤推定(Maximum Likelihood Estimation) データ パラメータ データ ヒストグラム Hokkaido University GCOE Tutorial (Sapporo）

10. 平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対する尤もらしさを表す関数（尤度関数）とみなす． 最尤推定(Maximum Likelihood Estimation) データ パラメータ Hokkaido University GCOE Tutorial (Sapporo）

11. 平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対する尤もらしさを表す関数（尤度関数）とみなす． 最尤推定(Maximum Likelihood Estimation) データ パラメータ 極値条件 Hokkaido University GCOE Tutorial (Sapporo）

12. 平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対する尤もらしさを表す関数（尤度関数）とみなす． 最尤推定(Maximum Likelihood Estimation) データ パラメータ 極値条件 標本平均 標本分散 Hokkaido University GCOE Tutorial (Sapporo）

13. 平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対する尤もらしさを表す関数（尤度関数）とみなす． 最尤推定(Maximum Likelihood Estimation) データ パラメータ 極値条件 標本平均 標本分散 ヒストグラム Hokkaido University GCOE Tutorial (Sapporo）

14. 最尤推定 が分からなかったらどうしよう データ ハイパパラメータ 周辺尤度 不完全データ 極値条件 パラメータ 不完全データ ベイズの公式 物理フラクチュオマティクス論(東北大)

15. gi fi i i 信号処理の確率モデル 雑音 通信路 原信号 観測信号 ベイズの公式 物理フラクチュオマティクス論(東北大)

16. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 原信号の事前確率 i j E：すべての最近接ノード（画素）対の集合 画像データの場合 1次元信号データの場合 1 2 3 4 5 = X 2 3 1 2 3 4 X X 4 5 物理フラクチュオマティクス論(東北大)

17. データ生成過程 加法的白色ガウス雑音 (Additive White Gaussian Noise) V：すべてのノード（画素）の集合 物理フラクチュオマティクス論(東北大)

18. gi fi i i 信号処理の確率モデル パラメータ 不完全データ データ ハイパパラメータ 事後確率 物理フラクチュオマティクス論(東北大)

19. 信号処理の最尤推定 パラメータ 不完全データ データ 周辺尤度 ハイパパラメータ 極値条件 物理フラクチュオマティクス論(東北大)

20. 最尤推定とEMアルゴリズム パラメータ 不完全データ データ 周辺尤度 Q関数 ハイパパラメータ EM アルゴリズムが収束すれば 周辺尤度の極値条件の解になる． 極値条件 物理フラクチュオマティクス論(東北大)

21. Original Signal 200 100 0 0 255 127 Degraded Signal 200 100 0 0 255 127 Estimated Signal 200 100 0 0 255 127 1次元信号のモデル選択 EM Algorithm 0.04 0.03 α(t) 0.02 0.01 0 α(0)=0.0001, σ(0)=100 物理フラクチュオマティクス論(東北大)

22. ノイズ除去のモデル選択 原画像 劣化画像 推定画像 EMアルゴリズムと確率伝搬法 α(0)=0.0001 σ(0)=100 物理フラクチュオマティクス論(東北大)

23. まとめ • 最尤推定とEMアルゴリズム • ガウシアングラフィカルモデルによる統計的推定 物理フラクチュオマティクス論(東北大)

24. 演習問題4ー1 , , , N個のデータgi (i=0,1,...,N-1) が確率密度関数 , に従って生成されたものとする．このとき，最尤推定 , による平均 m と分散 s2の推定値 が次式で与えられることを示せ． 物理フラクチュオマティクス論(東北大)