特異モデルのベイズ学習における交換モンテカルロ法について

特異モデルのベイズ学習における交換モンテカルロ法について特異モデルのベイズ学習における交換モンテカルロ法について永田賢二　渡辺澄夫東京工業大学　知能システム科学専攻東京工業大学　精密工学研究所

発表概要 • 背景 • 特異モデル • ベイズ学習 • MCMC法 • 提案法 • 交換モンテカルロ法 • ベイズ学習への適用 • 実験・考察 • まとめ

背景：特異モデル ニューラルネットワーク混合正規分布ベイズネットワークこれらのモデルは特異モデルと呼ばれ、パターン認識、システム制御、時系列予測などの応用に用いられている。

ベイズ事後分布： 規格化定数：ベイズ予測分布：背景：ベイズ学習経験カルバック距離：解析的な計算が困難⇒期待値計算をMCMC法により計算

を採択 確率　　で　　　を採択確率　　　　　で　　　を採択～背景：MCMC法ある確率分布　　　　　　　　　　　　　　に従うサンプルを発生させるアルゴリズム＜メトロポリス法＞

背景：MCMC法 ベイズ事後分布：学習データ数：大学習データ数：小学習データ数に応じて、ステップ幅を最適にする必要がある

背景：MCMC法 ベイズ事後分布：学習データ数：大学習データ数：小特異モデルのベイズ事後分布＋メトロポリス法＜拡張アンサンブル法＞ • マルチカノニカル法 • シミュレーテッド・テンパリング法 • 交換モンテカルロ法対策計算量が爆発

目的 • 特異モデルのベイズ学習において、交換モンテカルロ法を適用することを提案 • その有効性をいくつかの実験により検証

交換モンテカルロ法[Hukushima,96] 以下の同時分布に従うサンプルを生成することを考える。＜アルゴリズム＞ • それぞれの分布　　　　に対して、メトロポリス法によりそれぞれの分布からのサンプルを生成する。 • 上記の操作に加え、数ステップごとに、状態　　　と　　　　を以下の確率　　　　　　　　　　　　　で交換する。

交換モンテカルロ法[Hukushima,96] ＜メトロポリス法＞＜交換モンテカルロ法＞

ベイズ学習への適用 （事後分布）（事前分布）緩和しやすい緩和しにくい

実験条件① 学習データの出方について平均した場合を考える。ベイズ事後分布：＜学習モデルの設定＞：標準正規分布確率的複雑さ：（　　：確率的複雑さの理論値、　　：実験値）評価関数（誤差率）：

実験条件② （　　　　）（otherwise）＜メトロポリス法の条件＞ • 初期値：事前分布からのランダムサンプル：　　　　　　　　　　　　　　の一様分布とし、　採択率が６割から８割になるように　　　　　　を設定初期値の影響をなくすため、サンプル系列の後半５０％を期待値計算に使用＜交換モンテカルロ法の条件＞　　　・交換の頻度は、メトロポリス法１ステップに対し１回　　　・交換を試行する状態の取り方ステップ数が奇数ならステップ数が偶数なら

実験結果（サンプル系列の様子） メトロポリス法交換モンテカルロ法

実験結果（事後分布からのサンプル数と誤差率の関係）実験結果（事後分布からのサンプル数と誤差率の関係）学習データ数：パラメータの次元数：メトロポリス法交換モンテカルロ法誤差率 log(事後分布からのサンプル数)

実験結果（学習データ数と誤差率の関係） 事後分布からのサンプル数：パラメータの次元数：メトロポリス法交換モンテカルロ法誤差率 log(学習データ数)

実験結果（パラメータの次元数と誤差率の関係）実験結果（パラメータの次元数と誤差率の関係）事後分布からのサンプル数：学習データ数：メトロポリス法交換モンテカルロ法誤差率パラメータの次元数

まとめ • 特異モデルのベイズ学習に交換モンテカルロ法を適用することを提案した。 • 実験の結果、以下のことが明らかになった。 • メトロポリス法よりも少ないサンプル数で、事後分布を精度よく近似できる。 • 特に、その効果は、学習データ数が多いときや、パラメータの次元数が高いときに顕著に現れる。 • 今後の課題 • より複雑なモデルへの適用 • 交換モンテカルロ法の予測精度の解明 • 変分ベイズ学習との比較

追加資料：確率的複雑さの計算法 確率的複雑さ：モデル選択やハイパーパラメータの決定の際の基準＜MCMC法による計算法＞

追加資料（サンプル１系列での期待値計算の比較）追加資料（サンプル１系列での期待値計算の比較）学習データ数：パラメータの次元数：メトロポリス法交換モンテカルロ法誤差率 log(パラメータのサンプル数)

特異モデルのベイズ学習における 交換モンテカルロ法について