1 / 51

PRML 読書会第 10 回 8.2 条件付き独立性

PRML 読書会第 10 回 8.2 条件付き独立性. 2010-01-09 SUHARA YOSHIHIKO (id:sleepy_yoshi). 目次. 8.2 条件付き独立性 8.2.1 3 つのグラフの例 8.2.2 有向分離 (d 分離 ). 8.2 条件付き独立性. 条件付き独立性 (1). 変数 a, b, c を考える． b と c が与えられたときに， a の条件付き分布が b の値に依存しない ⇒ c が与えられた下で， a は b に対して条件付き独立. 条件付き独立性 (2).

becca
Download Presentation

PRML 読書会第 10 回 8.2 条件付き独立性

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. PRML読書会第10回8.2 条件付き独立性 2010-01-09 SUHARA YOSHIHIKO (id:sleepy_yoshi)

  2. 目次 • 8.2 条件付き独立性 • 8.2.1 3つのグラフの例 • 8.2.2 有向分離 (d分離)

  3. 8.2 条件付き独立性

  4. 条件付き独立性 (1) • 変数a, b, cを考える．bとcが与えられたときに，aの条件付き分布がbの値に依存しない ⇒ cが与えられた下で，aはbに対して条件付き独立

  5. 条件付き独立性 (2) • cで条件付けられたaおよびbの同時分布を考える ⇒ cが与えられたとき，aおよびbが統計的に独立である p(a,b)=p(a|b)p(b) 記法： cが与えられた際に，aがbに対して条件付き独立

  6. 演習8.8 • 　　　　　　ならば 解) cについて周辺化

  7. 8.2.1 3つのグラフの例

  8. 8.2.1 3ノードから成るグラフ • ３つの構造 • (1) tail-to-tail • (2) head-to-tail • (3) head-to-head • 「弁明」現象

  9. (1) tail-to-tail

  10. (1) tail-to-tail tail-to-tail c tail どの変数も観測されていない場合に aとbの独立を確かめる (両辺をcに関して周辺化) b a head ⇒ p(a)p(b)に分解不可能( )

  11. tail-to-tail: 変数cの観測 • 前頁の例を変数cで条件付ける p(a,b,c) = p(a,b|c)p(c) よって条件付き独立が導かれる

  12. tail-to-tail: 経路の遮断 • cを観測することにより，経路を遮断 (block) し，aとbとを条件付き独立にする c b a ポイント１ tail-to-tailのノードを観測すれば， ふたつのノードの経路を遮断できる

  13. (2) head-to-tail

  14. (2) head-to-tail c どの変数も観測されていない場合にaとbの独立を確かめる a b head-to-tail ⇒ p(a)p(b)に分解不可能( )

  15. head-to-tail: 変数cの観測 • 前頁の例を変数cで条件付ける ベイズの定理 よって条件付き独立が導かれる

  16. head-to-tail: 経路の遮断 • cを観測することにより，経路を遮断 (block) し，aとbとを条件付き独立にする c a b ポイント２ head-to-tailのノードを観測すれば， ふたつのノードの経路を遮断できる

  17. (3) head-to-head

  18. (3) ead-to-head b a どの変数も観測されていない場合にaとbの独立を確かめる head-to-head c ⇒ p(a)p(b)に分解可能( )

  19. head-to-head: 変数cの観測 • 前頁の例を変数cで条件付ける p(a|c)p(b|c)に因数分解できないため， 条件付き独立ではない

  20. head-to-head: 経路の遮断解除 b a c ポイント３ head-to-headのノードを観測すると， ふたつのノードの経路の遮断が解かれる

  21. head-to-headの子孫の観測 依存関係の発生 b a c d ポイント４ head-to-headかその子孫のうちいずれか を観測すると，経路の遮断が解かれる (⇒ 演習8.10)

  22. 演習8.10 (1/2) b a c d の確認 変数c, dについて周辺化

  23. 演習8.10 (2/2) の確認 dで条件づける 変数cに関して周辺化

  24. 演習8.10の考察 • head-to-headノードの子孫である変数zを観測しても，変数の周辺化によって変数cの観測と同じ効果が発生 b a c 周辺化 … 周辺化 z

  25. 「弁明」現象

  26. 車の燃料タンクモデル B F • 車の燃料装置のモデル • バッテリの状態 B {1, 0} • 燃料タンクの状態 F {1, 0} • 電動燃料計 G {1, 0} G バッテリと燃料タンクが 満タンである事前確率 燃料タンクとバッテリの状態が 与えられた際の燃料系が満タンを指す確率 何も観測していないとき， 燃料タンクが空である確率 p(F=0) = 0.1

  27. 燃料計観測による確率の変化 燃料計が空を指している事実を観測 ベイズの定理より B F G 観測によってタンクが空である可能性が高くなる

  28. 「弁明」現象 つづいてバッテリが切れていること (B=0) を観測 B F G バッテリの観測によってタンクが空である確率が 0.257から0.111に下がった バッテリが切れているという事実が， 燃料計が空を指していることを「弁明」している ※1 燃料計Gの代わりにGの子孫を観測しても起こる ※2 バッテリが切れていても，燃料計が0を指しているという事実が証拠となり，事前確率p(F=0)よりも大きい

  29. 補足:B, G観測後の事後確率計算 p(B) Σの外に出て打ち消す

  30. 突然ですが

  31. アンケート • “explain away” あなたならどう訳す? • (1) 弁明 (現象) 1名 • (2) 釈明 (現象) 1名 • (3) 言い逃れ (現象) 1名 • (4) 説明を加えて明らかにする現象 5名 • (5) (他人がフォローするので) 弁護 (現象) 7名 • (6) 真犯人が現れました現象 • (その他自由回答) PRML読書会的には「弁護」現象となりました

  32. 8.2.1のポイントまとめ

  33. ポイント１ tail-to-tailのノードを観測すれば， ふたつのノードの経路を遮断できる ポイント２ head-to-tailのノードを観測すれば， ふたつのノードの経路を遮断できる ポイント３ head-to-headのノードを観測すると， ふたつのノードの経路の遮断が解かれる ポイント４ head-to-headかその子孫のうちいずれか を観測すると，経路の遮断が解かれる

  34. 8.2.2 有向分離 (D分離) 今までの話を一般化

  35. 有向分離 • グラフの有向分離 • A, B, Cを重複のないノード集合とする • 条件付き独立性 AB | C を調べたい ⇒ Aの任意のノードからBの任意のノードまで全ての経路が遮断されていることを確認する A B C

  36. 経路の遮断条件 • 以下の条件のいずれかを満たすノードを含む経路は遮断されている (a) 集合Cに含まれるノードであって，経路に含まれ る矢印がそこでhead-to-tailあるいはtail-to-tailである (b) 経路に含まれる矢印がそのノードでhead-to-headであり，自身あるいはそのすべての子孫いずれもが集合Cに含まれない • 全ての経路が遮断されていれば，AはCによってBから有向分離され，AB | C を満たす

  37. 例1) 有向分離 できないか? • aからbの経路を調べる a f e b c 1. fによって遮断されない ⇒ tail-to-tailかつ観測されていないため 2. eによって遮断されない ⇒ head-to-headだが，子孫のcが観測されているため このグラフからでは条件付き独立性は導けない

  38. 例2) • aからbの経路を調べる a f e b c 1. fによって遮断される ⇒ tail-to-tailかつ観測されているため 2. eによっても遮断される ⇒ head-to-headかつ，いずれの子孫が観測されていないため 条件付き独立ab | f が成立する

  39. 独立同分布データの場合 1.2.4節の独立同分布 (i.i.d.) の例 • 1変量ガウス分布の平均事後分布を得る問題 • 下記のグラフより p(μ,x) = p(x|μ)p(μ) μ μ または xn x1 xN … N μを条件付け変数と見なすと，任意のxiとxi≠jの経路がtail-to-tailの観測済みノードμのため，すべての経路が遮断される ⇒ μが与えられた下で観測値D = {x1, ..., xN} は独立である

  40. 図8.7の例 • \hat{t}からtnに対する任意の経路において，wはtail-to-tailであるため，以下の条件付き独立性が成立する つまり多項式係数wで条件つけられた下で，\hat{t}の予測分布は 訓練データtnに対して独立 一旦訓練データを利用して係数w上の事後分布を決めてしまえば，訓練データを捨ててしまってよい

  41. ナイーブベイズモデル • ナイーブベイズモデルのグラフ構造 • 観測変数x = (x1,...xD)T • クラスベクトルz = (z1, ..., zK) zを観測すると，xiとxj (j≠i) との間の経路が遮断される ナイーブベイズ仮説 クラスzで条件付けると 入力変数x1, ...xDが互いに独立 zを観測せずにzに関して周辺化すると，xiとxj (j≠i) への経路の遮断は解かれる i.e., p(x)を各成分x1,...,xDに関して 分解できないことを意味する

  42. ナイーブベイズモデルの特長 • 入力ベクトルxに離散変数と連続変数が混在するような場合にも使える ⇒ 変数それぞれに対して適切なモデルを採用する 2値観測値にはベルヌーイ分布 実数値には ガウス分布 様々な分布の組み合わせが可能

  43. 有向分離定理

  44. 有向分離定理 2つの方法によって得られる分布の集合は等価である (1) 有向分解 (directed factorization) • 同時分布の因数分解から得られる分布の集合 (8.5) (2) 有向分離 (directed separation) • グラフの経路遮断を調べて得られる分布の集合

  45. マルコフブランケット

  46. マルコフブランケット (1/2) • D個のノードを持つグラフで表現される同時分布p(x1, ..., xD) と，変数xiに対応するノード上の，他ノードxj≠iで条件付けられた条件付き分布を考える p(a|b,c) = p(a,b,c) / p(b,c) xiに依存しないノードは積分の外に出て分子と打ち消しあう xiの親ノードに依存 xi(の子)と共同親に依存 (誤植? 下巻p.95, 原書p.382)

  47. マルコフブランケット (2/2) • xiをグラフから条件付き独立にするためのノード最小集合 (⇒ 演習8.9) 共同親 (co-parent) • 共同親が必要な理由 ⇒ 子の観測により遮断が解かれるため 共同親 xi head-to-headノードが観測 (ポイント3)

  48. 演習8.9 • マルコフブランケットを条件付けることにより，xiが全てのノードから条件付き独立 親ノード集合: tail-to-tail or head-to-rail かつ観測 ⇒ 遮断 子ノード集合: (1) head-to-tail かつ観測 ⇒ 遮断 (2) head-to-head かつ観測 + 共同親も観測 ⇒ 遮断

  49. 本節のまとめ

  50. 本節のまとめ • 3ノードのグラフ • tail-to-tail • head-to-tail • head-to-head • 「弁明」現象 • 有向分離基準 • 3ノードグラフの性質を一般化 • 有向分離定理 • 有向分解 (8.5) と有向分離基準で得られる条件付き独立性は一緒 • マルコフブランケット

More Related