1 / 26

PCA から ICA へ？

PCA から ICA へ？. 狩野裕＋清水昌平 （大阪大学人間科学部）. ICA とは (1). Independent Component Analysis ( 独立成分分析 ) Jutten-Herault(1991) ：２つの音声を分離 情報検索によると ICA ： PCA ＝ 1 ： 8 （日本） ICA ： PCA ＝ 1 ： 4 （海外）. ICA とは (2). 成分が独立な多次元信号 s を線型混合した 観測値 v から， s を再生するための方法 v から A を推定し，ｓ を再生する. BSS

MikeCarlo
Download Presentation

PCA から ICA へ？

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. PCAからICAへ？ 狩野裕＋清水昌平 （大阪大学人間科学部） 日本行動計量学会：東京大学　平成12年10月

  2. ICAとは (1) • Independent Component Analysis (独立成分分析) • Jutten-Herault(1991)：２つの音声を分離 • 情報検索によるとICA：PCA＝1：8（日本）ICA：PCA＝1：4（海外） 日本行動計量学会：東京大学　平成12年10月

  3. ICAとは (2) • 成分が独立な多次元信号sを線型混合した観測値 v から，s を再生するための方法 • v からAを推定し，ｓ を再生する 日本行動計量学会：東京大学　平成12年10月

  4. BSS Blind Source Separation BSS と ICA 独立 音源Sn 音源S１ 観測V1 観測Vm 日本行動計量学会：東京大学　平成12年10月

  5. カクテルパーティー効果 周りの雑音に関係なく、会話できる。 どっかーん ♪ ♪ ♪ 日本行動計量学会：東京大学　平成12年10月

  6. 音源の物理的な位置・音響路の差異などの特性が違う音源の物理的な位置・音響路の差異などの特性が違う 観測される信号の重なり方が左右の耳で違う その違いから，ふたつの信号を復元する ICAでは独立性を利用 障害物 音源1 音源2 人間 左耳 右耳 カクテルパーティー効果とICA 日本行動計量学会：東京大学　平成12年10月

  7. 実際のカクテルパーティー効果は • 選択的注意 • ある情報を選択的に自覚した意識状態 • 話のコンテックスト • 欠落音の補完 • 音の冗長性を利用 • 断片情報から全体を復元 日本行動計量学会：東京大学　平成12年10月

  8. ICAの仮定 • 正規分布に従う独立成分は高々１つ • ｓ が正規分布だと分離不可能 • 非正規性に依拠する方法 • m≧n • 観測変数の次元の方が大きい • そうでないモデルもある • 混合行列 A は full column rank • その他 • E(s) = 0, V(s) = In，モーメント存在の条件 　　　これらの下で A を一意に決定できる 日本行動計量学会：東京大学　平成12年10月

  9. PCA．．．．分散の大きな成分を抽出 ICA．．．．非正規性を最大にする成分を抽出 ICAは高次統計量を用いた因子回転の一種 なぜ，独立成分の抽出と非正規性最大化が対応するのか？ 主成分の回転 日本行動計量学会：東京大学　平成12年10月

  10. 独立成分の抽出と非正規性最大化 日本行動計量学会：東京大学　平成12年10月

  11. 尖度の最大化 => 非正規独立成分の同定 独立成分の和は非正規性を小さくする この同値性が独立成分抽出と非正規性最大化を結ぶ ICAとPP（射影追跡）を結ぶ 独立成分の抽出と射影追跡 日本行動計量学会：東京大学　平成12年10月

  12. 射影追跡（PP） • データの興味深さ・面白さ（interestingness）を表す軸（超平面 wTv）を同定 • Interestingness を非正規性として捉える • Freedman の指標・Hallの指標が有名 • 岩崎（1991）を参照 日本行動計量学会：東京大学　平成12年10月

  13. ICAのプロセス • ICAでは，非正規性の尺度を定めると，それを最大化する wTMv によって独立成分を同定することができる • ２番目の独立成分は，ｓ を取り除いてから同プロセスを繰り返す 日本行動計量学会：東京大学　平成12年10月

  14. 非正規性の尺度 • 尖度や高次キュムラント • 外れ値に弱い • Entropy 最小化 • Mutual Information 最小化 • PPで提案されている非正規性の尺度 日本行動計量学会：東京大学　平成12年10月

  15. Entropy 最小化 日本行動計量学会：東京大学　平成12年10月

  16. Negentropy の近似 日本行動計量学会：東京大学　平成12年10月

  17. Mutual Information 最小化 日本行動計量学会：東京大学　平成12年10月

  18. Noisy ICA (IFA) • 測定に誤差が伴う場合 日本行動計量学会：東京大学　平成12年10月

  19. セミパラメトリックモデル • Amari-Cardoso(1997), 川鍋-村田(2000) 日本行動計量学会：東京大学　平成12年10月

  20. モデル間の関係 川鍋-村田(1999)より 日本行動計量学会：東京大学　平成12年10月

  21. ICA と PP • 両者とも観測変数の線型結合の中で非正規性を最大にするものを探す • ICAにおける指標とPPにおける指標は相互乗入れ可能と思われる • データが独立な信号（潜在変数）の線型和ならば，ICAやPPは独立成分を同定．そうでない場合は，興味ある軸を同定 • ICAはPPの一つの特徴づけ 日本行動計量学会：東京大学　平成12年10月

  22. V2 S2 S1 V1 例１．一様分布PPがICAになる場合 ICA or PPによって変換した変数の分布 球状化した観測変数の分布 日本行動計量学会：東京大学　平成12年10月

  23. V2 S2 S1 V1 例２．混合正規分布PPがICAにならない場合 ICA or PPによって変換した変数の分布 球状化した観測変数の分布 日本行動計量学会：東京大学　平成12年10月

  24. 応用 • BSS • 脳磁図・脳電図の分析 • いままでPCAないしはFAで分析していた対象をICAで分析してみたという例が多い • 社会科学への応用は今から 日本行動計量学会：東京大学　平成12年10月

  25. まとめ • (noise-free or noisy) ICAは軸の変換である • PCAは分散が大きくなるよう軸を変換 • ICAは独立成分を同定するよう軸を変換 • 独立成分同定 ⇔ 非正規性最大化 • ICA ⇔ PP • ICA・PPは独立成分が隠れているとそれを同定 • FAとの関連では，ICAは新しい直交回転解を与える • 独立性が一番大きくなるように回転 日本行動計量学会：東京大学　平成12年10月

  26. PCAからICAへ？ • PCAとICAはまったく異なり，一方が他方を凌駕するというものではない • 目的によって使い分ける • 分散最大化 vs 非正規性最大化（独立成分の同定） • ２次統計量 vs 高次統計量 • 方法論の研究に関しては，ICAが“燃えている” • ICAの社会科学での適用可能性は未知 日本行動計量学会：東京大学　平成12年10月

More Related