パターン認識特論担当：和田　俊和　　　　部屋　 A513 Email twada@ieee

パターン認識特論担当：和田　俊和　　　　部屋　A513 Emailtwada@ieee.org 主成分分析 http://vrl.sys.wakayama-u.ac.jp/PRA/

主成分分析１（正規直交基底をデータから求める）主成分分析１（正規直交基底をデータから求める） • 特徴ベクトルの各要素の分散を最大化する。 μ

この値を という条件の下で最大化する．主成分分析２ • 特徴ベクトルの各要素の分散

知識：ベクトルの操作に関する公式 内積転置微分

主成分分析３ラグランジェの未定係数法 この式を最大化するのが解． ⇒　　と　　で微分し，それらを０と置く固有値問題になる

　　　　　　　固有値問題の例 • 線形変換 • 　を起点として終点を　　とするベクトルを描　　　く． • 右図に固有ベクトルの方向を書き加えると，

知識：固有値問題の解き方 固有方程式特性方程式　各固有値が求められれば，それに対応する固有ベクトルが求められる．

実例 • x1= (2,4,3)T, x2= (2,2,4)T, x3= (1,1,2)T, x4= (3,1,3)T ←これが，共分散行列

計算結果 • 特性方程式 • 固有値　　（本当の固有　　値はこれを４　　で割る） • 固有ベクトル：次ページ

固有ベクトルの導出

固有ベクトル

直交展開

Octaveを使えば，簡単に計算できる．http://www.octave.org/Octaveを使えば，簡単に計算できる．http://www.octave.org/ lambda = 0.89722 0.00000 0.00000 0.00000 2.85363 0.00000 0.00000 0.00000 6.24914 octave:3> v*lambda*v' ans = 2.0000e+00 -4.1975e-16 1.0000e+00 -4.8881e-16 6.0000e+00 1.0000e+00 1.0000e+00 1.0000e+00 2.0000e+00 octave:4> octave:1> sigma=[2,0,1;0,6,1;1,1,2] sigma = 2 0 1 0 6 1 1 1 2 octave:2> [v,lambda]=eig(sigma) v = -0.664776 0.744880 0.056802 -0.143667 -0.202092 0.968772 0.733098 0.635855 0.241360

μ 主成分分析 • 共分散行列Σの性質　　分散,　　　共分散対称行列なので次式による対角化が　可能

主成分分析 • 共分散行列Σの分解 • 行列式 • トレース（行列の対角要素の和）

直交行列 正規直交基底を並べてできる行列は直交行列 VとVTは回転を表している：

対角行列 対角行列は各軸ごとの伸縮を表している

共分散行列が表す幾何学的変換

主成分分析によって何が分かるか • 分散の大きくなる軸の向き • その軸方向の偏差　　　分散 • 共分散行列のランクがrである場合、次式が成り立つ

「固有値＝軸上の分散」の確認

Karhunen-Loeve 展開 • r未満の数qに対する直交展開を計算する際に誤差||x-x’||を最小化する基底 • 自己相関行列　　　　　　　　　に対する固有値問題になる．

次回以降の講義 • 識別（統計的手法、判別分析、線形識別関数とニューラルネットワーク、最近傍識別） • クラスタリング（K-means、ＥＭアルゴリズム） • より進んだ識別手法：ＳＶＭ、ＢＯＯＳＴＩＮＧなど

パターン認識特論担当：和田　俊和　　　　部屋　 A513 Email twada@ieee