Download
1 / 37
400 likes | 613 Views
ベイジアンネットと確率推論 変分原理からの再帰的確率推論アルゴリズムの解説. 東北大学 大学院情報科学研究科 田中 和之 kazu@statp.is.tohoku.ac.jp http://www.statp.is.tohoku.ac.jp/~kazu/. 参考文献 田中和之・樺島祥介編 , “ ミニ特集 / ベイズ統計・統計力学と情報処理” , 計測自動制御学会誌「計測と制御」 2003 年 8 月号．
E N D
ベイジアンネットと確率推論変分原理からの再帰的確率推論アルゴリズムの解説ベイジアンネットと確率推論変分原理からの再帰的確率推論アルゴリズムの解説 東北大学 大学院情報科学研究科 田中 和之 kazu@statp.is.tohoku.ac.jp http://www.statp.is.tohoku.ac.jp/~kazu/ • 参考文献 • 田中和之・樺島祥介編, “ミニ特集/ベイズ統計・統計力学と情報処理”, 計測自動制御学会誌「計測と制御」2003年8月号． • 田中和之，田中利幸，渡辺治他著，“連載/確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル---”，数理科学2004年11月号から開始． NC研究会 （2004年10月18日）
ベイズの公式 ベイジアンネット 確率モデル 確率的情報処理 確率的情報処理と確率伝搬法 確率伝搬法 J. Pearl: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann, 1988). NC研究会 （2004年10月18日）
進化する確率伝搬法 • 確率伝搬法と統計力学的近似解析手法との等価性 Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding corrupted messages, Europhys. Lett.44 (1998). M. Opper and D. Saad (eds), Advanced Mean Field Methods ---Theory andPractice (MIT Press, 2001). • クラスター変分法による確率伝搬法の一般化の提案 J. S. Yedidia, W. T. Freeman and Y. Weiss, Generalized belief propagation, Advances in Neural Information Processing Systems, 13 (2001, MIT Press). • 情報幾何としての確率伝搬法の解釈 • S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free energy, and information geometry, Neural Computation, Vol.16, No.9, pp.1779-1810, 2004. NC研究会 （2004年10月18日）
本チュートリアル講演のトピックス • 確率推論における確率伝搬法 • K. Tanaka: “Probabilistic inference by means of cluster variation method and linear response theory”, IEICE Transactions, E86-D (2003). • 確率的画像処理における確率伝搬法 • K. Tanaka, H. Shouno, M. Okada and D. M. Titterington: Accuracy of the Bethe Approximation for Hyperparameter Estimation in Probabilistic Image Processing, J. Phys. A: Math. & Gen., 37 (2004). NC研究会 （2004年10月18日）
A B 確率の知識（１） 事象Ａの起こる確率 事象Aと事象Bの結合確率 条件付き確率と結合確率 NC研究会 （2004年10月18日）
結合確率分布と周辺確率分布の一般的関係 確率の知識（２） Ａ Ｂ Ｄ Ｃ 周辺化 NC研究会 （2004年10月18日）
A B A C A B B C C 簡単な確率推論 NC研究会 （2004年10月18日）
より複雑な確率推論 複雑になるほどノードの個数は多くなり計算困難が深刻になる NC研究会 （2004年10月18日）
より複雑な確率推論 NC研究会 （2004年10月18日）
周辺確率分布 信念 （Belief） NC研究会 （2004年10月18日）
扱い易いモデルと計算困難なモデル • 閉路のないグラフ上の確率モデル どの枝もそれぞれで独立に和がとれる． • 閉路のあるグラフ上の確率モデル それぞれで独立に和をとることが困難． NC研究会 （2004年10月18日）
より複雑なグラフ上の確率モデル NC研究会 （2004年10月18日）
周辺確率分布のメッセージによる近似表現 NC研究会 （2004年10月18日）
メッセージの固定点方程式 確率伝搬アルゴリズム NC研究会 （2004年10月18日）
確率モデルとカルバックライブラー情報量 ：周辺確率分布 NC研究会 （2004年10月18日）
試行関数 ：周辺確率分布 NC研究会 （2004年10月18日）
確率分布を少数ノードからなるクラスターに対する周辺確率分布の積の形に近似する．その近似形と元々の確率分布の間のKL情報量の表式を考える．確率分布を少数ノードからなるクラスターに対する周辺確率分布の積の形に近似する．その近似形と元々の確率分布の間のKL情報量の表式を考える． クラスター変分法の戦略 • 各クラスターγに対する周辺確率分布PＱQγ(aγ)を その規格化条件とReducibility を拘束条件として D[Q|P] を最小にするように変分原理によって決定する．（注意：Q(a) の規格化条件Σa f(a)=1は要請しない変分で得られた f(a) がD[Q|P]≧0 を満たす保証はなくなる.） NC研究会 （2004年10月18日）
周辺確率分布のメッセージによる近似表現 NC研究会 （2004年10月18日）
メッセージの固定点方程式 確率伝搬アルゴリズム NC研究会 （2004年10月18日）
固定点方程式 固定点方程式と反復法 繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる． 反復法 NC研究会 （2004年10月18日）
Belief Propagation 数値実験 Exact NC研究会 （2004年10月18日）
確率伝搬法 数値実験 NC研究会 （2004年10月18日）
ベイジアンネットの今後の動向 • 自動化が急務． • パラメータのデータからの学習 • EM アルゴリズム • クラスター変分法の更なる拡張の試み • Region Graph Method • Max-Product Method NC研究会 （2004年10月18日）
雑音 画像修復の確率モデル 通信路 原画像 劣化画像 NC研究会 （2004年10月18日）
ベイズの公式と確率的画像処理 事前確率 劣化過程 劣化画像 原画像 事後確率 画素 NC研究会 （2004年10月18日）
周辺尤度最大化によるハイパパラメータ推定 周辺化 劣化画像 原画像 周辺尤度 NC研究会 （2004年10月18日）
劣化過程 画像修復の劣化過程と事前確率 事前確率 事後確率 NC研究会 （2004年10月18日）
周辺確率の導入 NC研究会 （2004年10月18日）
変分計算により得られる確率伝搬法の周辺確率密度関数の近似表式変分計算により得られる確率伝搬法の周辺確率密度関数の近似表式 NC研究会 （2004年10月18日）
確率伝搬法におけるメッセージ更新規則 固定点方程式 反復法 NC研究会 （2004年10月18日）
固定点方程式 固定点方程式と反復法 繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる． 反復法 NC研究会 （2004年10月18日）
ガウシアングラフィカルモデルを用いた画像修復ガウシアングラフィカルモデルを用いた画像修復 原画像 劣化画像 確率伝搬法 厳密解 MSE:315 MSE: 325 MSE: 1512 メジアンフィルター ウィーナーフィルター 平滑化フィルター MSE: 411 MSE: 545 MSE: 447 NC研究会 （2004年10月18日）
ガウシアングラフィカルモデルを用いた画像修復ガウシアングラフィカルモデルを用いた画像修復 確率伝搬法 原画像 劣化画像 厳密解 MSE:306 MSE: 324 MSE: 1409 平滑化フィルター ウィーナーフィルター メジアンフィルター MSE: 259 MSE: 268 MSE: 369 NC研究会 （2004年10月18日）
理論的方向 • パラメータのデータからの学習 • ライン場の導入 • 適応画像処理フィルターへの発展 • 実用的方向 • 画像圧縮 • 領域分割 • 移動体検出 確率的画像処理の今後の動向 NC研究会 （2004年10月18日）
本チュートリアル講演のキーワード • 確率伝搬法（Belief Propagation） • 確率推論（Bayesian Network） • 確率的画像処理(Markov Random Field) NC研究会 （2004年10月18日）
確率伝搬法の更なる応用 • 誤り訂正符号における低密度パリティ検査（LDPC）符号 Y. Kabashima and D. Saad: Statistical mechanics oflow-density parity-check codes (Topical Review), J. Phys. A, 37 (2004). S. Ikeda, T. Tanaka and S. Amari: Information geometry of turbo and low-density parity-check codes, IEEE Transactions on Information Theory, 50 (2004). • 移動体通信のCDMA復調方式 T. Tanaka: A statistical-mechanics approach to large-system analysis of CDMA multiuser detectors, IEEE Transactions on Information Theory, 48 (2002). Y. Kabashima: A CDMA multiuser detection algorithm on the basis of belief propagation, J. Phys. A, 36 (2003). • 充足可能性問題（SAT） O. C. Martin, R. Monasson, R. Zecchina: Statistical mechanics methods and phase transitions in optimization problems, Theoretical Computer Science, 265(2001). M. Mezard, G. Parisi, R. Zecchina: Analytic and algorithmic solution of random satisfability problems, Science, 297 (2002). NC研究会 （2004年10月18日）
確率的情報処理の動向 • 田中和之・樺島祥介編著, “ミニ特集/ベイズ統計・統計力学と情報処理”, 計測自動制御学会誌「計測と制御」2003年8月号． • 田中和之，田中利幸，渡辺治 他著，“連載/確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル---”，数理科学2004年11月号から開始． NC研究会 （2004年10月18日）
