確率モデルによる画像処理における統計的学習理論

1. 確率モデルによる画像処理における統計的学習理論確率モデルによる画像処理における統計的学習理論 東北大学 大学院情報科学研究科 田中 和之 kazu@smapip.is.tohoku.ac.jp http://www.smapip.is.tohoku.ac.jp/~kazu/ IEICE-MIH (Sendai）

2. Contents • 序論 • 確率的画像処理 • 確率伝搬法 • まとめ IEICE-MIH (Sendai）

3. 理詰めの情報処理 • 法則・命題群からの予測 • コンピュータの発達により現実化 • 現実世界の情報処理 • 現象の起こる要因の多様性 • 必要なデータが完全に得られるわけではない． • 大量のデータは得られるが必要な情報の抽出が難しい． • 「すぐ分かること」と「本当に知りたいこと」のギャップからくる不確実性→何とかして克服したい!! 情報処理の守備範囲の推移 • 数値計算のための情報処理 • 作業手順が与えられている． 確率的情報処理 IEICE-MIH (Sendai）

4. 確率的情報処理における計算の壁 不確実性を確率・統計を用いて表現することの代償 起こりやすいことも起こりづらいこともまじめに考慮して計算 計算量的困難 統計的計算技法の改良による計算困難の打破 IEICE-MIH (Sendai）

5. たくさんが関連して集まり構成されたシステム：情報と物理が扱う対象に共通する概念たくさんが関連して集まり構成されたシステム：情報と物理が扱う対象に共通する概念 ビットが集まってデータを形成し，コトとなる． 主な研究対象 • 情報工学：コト データ • 物理：モノ 物質・自然現象 010011101110101000111110000110000101000000111010101110101010 101101110001 ０,1 ビット コト（データ） 並びをきちんと決めることによって意味のある文章になる． More is different in informatics as well 共通点：たくさんが関連 分子が集まって物質を形成し，モノになる． 分子 モノ（物質） 分子同士は引っ張り合っている． IEICE-MIH (Sendai）

6. More is Different 宇宙 社会 素粒子物理学 クォーク 生命 中性子 材料 陽子 原子核 物質 物性物理学 電子 化合物 More is different 分子 原子 P. W. Anderson IEICE-MIH (Sendai）

7. 確率的画像処理 • 確率的画像処理手法によるノイズ除去 基本単位は画素 画素上の数字は ディスプレイの 光の強度 最も簡単な既存のフィルター 202 202 192 190 192 190 219 173 202 120 202 120 218 218 100 110 100 110 信号処理の知見をもとにした画像処理の確率モデル化 マルコフ確率場モデル 確率的画像処理 アルゴリズム化 IEICE-MIH (Sendai）

8. Contents • 序論 • 確率的画像処理 • 確率伝搬法 • まとめ IEICE-MIH (Sendai）

9. 画像修復の確率モデル 雑音 通信路 原画像 劣化画像 IEICE-MIH (Sendai）

10. p p = > = 2値画像の事前確率(Prior Probability) ？ 問題設定 画素の周辺の状態が固定されて いるとき着目画素の状態は？ > 赤い線が少ないほど確率が高くなるように確率モデルを設計 周りが白ければ着目画素も白くあるべき IEICE-MIH (Sendai）

11. = > = 2値画像の事前確率(Prior Probability) p p ？-？ 問題設定 画素の周辺の状態が固定されて いるとき着目画素の状態は？ > = > 画素がいくつか集まると周りの画素の状態をよく見ながら自分の状態を決めないといけなくなる 赤い線が少ないほど確率が高くなるように確率モデルを設計 もっとたくさん集まったらどうなるか? IEICE-MIH (Sendai）

12. ゆらぎが大きいときに何が実際に起こっているのか?ゆらぎが大きいときに何が実際に起こっているのか? p 最近接画素間の共分散 Markov Network lnp pが大きい pが小さい マルコフ連鎖モンテカルロ法によるサンプリング 無秩序状態 秩序状態 ゆらぎが大きく点の近くのパターン IEICE-MIH (Sendai）

13. ゆらぎが大きいときのパターンを画像処理に使えるか?ゆらぎが大きいときのパターンを画像処理に使えるか? p 最近接画素間の共分散 Markov Network ln p 小 大 似ている IEICE-MIH (Sendai）

14. p p = > = 強磁性体と確率モデル Ising モデル p p = = > 共通点：まわりと同じ状態をとろうとする 画像は各画素ごとの 強さの異なる光で あらわされる． 0 255 Markov Random Field (MRF) モデル IEICE-MIH (Sendai）

15. Prior Probability in Probabilistic Image Processing Samples are generated by MCMC. Markov Chain Monte Carlo Method IEICE-MIH (Sendai）

16. Degradation Process Additive White Gaussian Noise Histogram of Gaussian Random Numbers IEICE-MIH (Sendai）

17. ベイズ統計と画像処理 事前確率 加法的白色ガウス雑音 または２元対称通信路 劣化画像 原画像 事後確率 Ω：すべての画素の集合 B：すべての最近接画素対の集合 画像処理は平均，分散，共分散の計算に帰着 計算困難 IEICE-MIH (Sendai）

18. Hyperparameters a, b are determinedso as to maximize the marginal likelihood Pr{G=g|a,b} with respect to a, b. Statistical Estimation of Hyperparameters Original Image Degraded Image Marginalized with respect to F Marginal Likelihood IEICE-MIH (Sendai）

19. Marginal Likelihood Maximization of Marginal Likelihood by EM Algorithm Q-Function EM (Expectation Maximization) Algorithm E-step and M-Step are iterated until convergence: IEICE-MIH (Sendai）

20. Contents • 序論 • 確率的画像処理 • 確率伝搬法 • まとめ IEICE-MIH (Sendai）

21. 計算困難のポイントは何か • 2L通りの和が計算できるか？ このプログラムでは L=10個のノードで1秒かかるとしたら L=20個で約17分， L=30個で約12日， L=40個で約34年かかる． 厳密に計算するのは一部の特殊な例を除いて難しい． L重ループ • マルコフ連鎖モンテカルロ法 • 確率伝搬法 今回 IEICE-MIH (Sendai）

22. B B C C 扱いやすい確率モデルのグラフ表現 扱いやすい確率モデルの数理構造 A D 木構造をもつグラフ表現 別々に和を計算できる A 扱いやすくない確率モデルの数理構造 閉路を含むグラフ表現 別々に和を計算することが難しい IEICE-MIH (Sendai）

23. 転送行列法＝確率伝搬法（1） 1次元鎖 IEICE-MIH (Sendai）

24. 転送行列法＝確率伝搬法（2） パスはひとつ 漸化式 IEICE-MIH (Sendai）

25. 閉路のないグラフ上の確率伝搬法 閉路が無いことが重要!! 同じノードは２度通らない IEICE-MIH (Sendai）

26. 確率的画像処理における確率伝搬法(Belief Propagation) 着目画素とその近傍画素だけを残すと木構造になる． 確率伝搬法(Belief Propagation)の統計的近似アルゴリズムとしての転用 IEICE-MIH (Sendai）

27. ３ １ ４ ５ ２ 閉路のあるグラフ上の確率モデルの確率伝搬法(Belief Propagation) 閉路のあるグラフ上でも局所的な構造だけに着目してアルゴリムを構成することは可能． ただし，得られる結果は厳密ではなく近似アルゴリズム メッセージに対する固定点方程式 平均，分散,共分散はこのメッセージを使ってあらわされる IEICE-MIH (Sendai）

28. 確率的画像処理における確率伝搬アルゴリズムの基本構造確率的画像処理における確率伝搬アルゴリズムの基本構造 ４近傍の場合は3入力1出力の更新式 ひとつの画素ごとに４種類の更新パターン 画素上での 動作の様子 の一例 IEICE-MIH (Sendai）

29. ３ ４ １ ２ ５ Belief Propagation Update Rule of BP Input BP EM Output IEICE-MIH (Sendai）

30. Maximization of Marginal Likelihood by EM Algorithm Exact Loopy Belief Propagation IEICE-MIH (Sendai）

31. Image Restoration by MRF and Conventional Filters Original Image Degraded Image Restored Image MRF (3x3) Lowpass (5x5) Median IEICE-MIH (Sendai）

32. Digital Images Inpainting based on MRF Markov Random Field Output Input M. Yasuda, J. Ohkubo and K. Tanaka: Proceedings of CIMCA&IAWTIC2005. IEICE-MIH (Sendai）

33. 結合ガウス・マルコフ確率場モデル ライン場についての事前情報 IEICE-MIH (Sendai）

34. 結合ガウス・マルコフ確率場モデル ライン場のない確率場モデル 原画像 劣化画像 ライン場を導入した確率場モデル 量子力学的に拡張されたライン場を導入した確率場モデル IEICE-MIH (Sendai）

35. Contents • 序論 • 確率的画像処理 • 確率伝搬法 • まとめ IEICE-MIH (Sendai）

36. 確率モデルによる画像処理技術入門 • ベイズ統計をつかった画像処理 • 画像処理の事前分布 • 磁性体の物理モデルとの類似性 • 確率伝搬法（Belief Propagation） IEICE-MIH (Sendai）

37. 標本平均による統計的性能 Nishimori and Wong (1999): Physical Review E Mean Square Error の標本平均 スピングラス理論による解析的評価が可能 Markov Network Noise Prior Probability 脳の物理モデル の記憶容量， パーセプトロンの容量 の評価に類似の議論 原画像 劣化画像 推定画像 マルコフ連鎖モンテカルロ法 IEICE-MIH (Sendai）

38. 統計的性能評価 劣化過程 事前確率 劣化画像 原画像 事後確率 修復画像 IEICE-MIH (Sendai）

39. References K. Tanaka: Statistical-Mechanical Approach to Image Processing (Topical Review), J. Phys. A, 35 (2002). A. S. Willsky: Multiresolution Markov Models for Signal and Image Processing, Proceedings of IEEE, 90 (2002). IEICE-MIH (Sendai）