1 / 20

Definition 1

Definition 1. If A is an n n matrix, a real number λ is called an eigenvalue of A if The nonzero vector p is called an eigenvector of A corresponding to λ . Eigenvalues and eigenvectors are often called characteristic values and characteristic vectors , respectively.

tyanne
Download Presentation

Definition 1

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Definition1 • If A is an nn matrix, a real number λis called an eigenvalue of A if • The nonzero vector p is called an eigenvector of A corresponding toλ. • Eigenvalues and eigenvectors are often called characteristic values and characteristic vectors, respectively. Ap=λp 特徵值與多變量

  2. Definition2 • Let A be anynn matrix. A number λis an eigenvalue of A if and only if Ap=λp for some p0 (A-λI)p=0 for some p0 特徵值與多變量

  3. Definition3 • A matrix U is invertible if and only if Up=0 implies that p=0. Hence p is an eigenvector of A if and only if A-λI is not invertible, and this in turn means that • If x is an indeterminate, cA(x)=Det(A-xI) is a polynomial in x of degree n called the characteristic polynomial of the nn matrix A. • Thus the eigenvalues of A are precisely the roots of cA(x) Det(A-λI)=0 特徵值與多變量

  4. Definition4 • Let A be an nn matrix. The eigenvalues of A are the roots of the characteristic polynomial of A. That is , they are the numbers λ satisfying cA(λ)=det(A-λI)=0 The eigenspace Eλ={p|(A-λI)p=0} 特徵值與多變量

  5. 問題—多筆資料的描述 • 單變量—平均數、變異數 • 雙變量—二筆平均數、二筆變異數、一筆相關係數 • 多變量—?? 特徵值與多變量

  6. 多變量資訊描述的簡化 • y=k1x1+k2x2+…+kpxp • yn1=Xnpkp1 • E(X)=X1p→E(y)=E(Xk)=y11 • V(X)=Spp→V(y)=V(Xk)=k’Sk • 用一個平均數代替一組多變量的p個平均數 • 用p個變異數取代一組多變量的pp個變異與共變數 特徵值與多變量

  7. 原理1 • 找出一組加權指數矩陣k，讓新創變量y的變異數達到極大—在變異數極大的狀況之下，充分反映出多變量母體的特質。 λ=Max(k’Sk) s.t. k’k=1 (避免求解的過程中k→) 特徵值與多變量

  8.  L  L =2Sk-2λk=0→(S-λI)k=0 =k’k-1=0→k’k=1  k  λ 原理2 • Lagrange multiplier method： L=k’Sk-λ(k’k-1) 當k不為0時上式有解之充份與必要條件：|S-λI|=0 特徵值與多變量

  9. 原理3 • |S-λI|=0稱為特徵方程式(characteristic equation) • λ稱為特徵值(eigenvalue) • 將λj代入(S-λI)k=0，解得kp1稱為特徵向量(eigenvector) • 多變量的變異共變矩陣S的特徵向量，即是能夠讓所有多變量作線性組合之後，變異數達到極大的權數矩陣。 特徵值與多變量

  10. 範例1 特徵值與多變量

  11. 範例2 特徵值與多變量

  12. 特徵值與特徵向量在多變量的性質1 • 一般而言，多變量最佳線性組合的個數等於該多變量當中各個變數的個數。 • 針對相關係數(R)或變異共變異數(S)作最佳組合分析時，一般而言，所得到的特徵值與特徵向量的值並不會相同，但其隱含的意義極為類似。 • 若多變量中各個變量存有完全線性相依的情形時，則從S或R中萃取到最佳變量線性組合的個數，將等於該矩陣的秩值(rank)。 特徵值與多變量

  13. 特徵值與特徵向量在多變量的性質2 • 若多變量當中的各個變量均完全線性獨立，此時對R作最佳線性轉換時，所有p個特徵值的值均等於1，且所有p個特徵向量的值只要符合k’k=1均可任取。 特徵值與多變量

  14. 特徵值與特徵向量在多變量的性質3 • 若多變量當中的各個變量均完全線性相依，則所有p個特徵值僅有一個非零值，其餘的(p-1)個特徵值都為零。 • 亦即，僅存有唯一的一種最佳的線性組合方式。 特徵值與多變量

  15. 特徵值與特徵向量在多變量的性質4 • 由於相關係數值必須介於+1~-1之間，這個條件使得S與R矩陣皆為p.s.d. (positive semi definite)。即|S|0、 |R|0 特徵值與多變量

  16. 特徵值與特徵向量在多變量的性質5 • 由於S與R矩陣皆為p.s.d. ，故其所有的特徵值均不可能是負值。 • 不論是經由S或者R矩陣求得的特徵值與特徵向量，其所有特徵值與特徵向量重新組合的結果，可以把原先的S或者R矩陣重新加以複製還原。 λ=k’Sk→kλk’=kk’Skk’=S 特徵值與多變量

  17. 特徵值與特徵向量在多變量的性質6 S或R=KΛK’ 特徵值與多變量

  18. 特徵值與特徵向量在幾何上的意義1 • 兩個變量的數據資料在幾何上之分布圖形，整體上多為圓形或橢圖形。 • 特徵值約略代表橢圖形長軸與短軸的長度。 • 特徵向量在代表長軸與短軸所指的方向。 特徵值與多變量

  19. 特徵值與特徵向量在幾何上的意義2 特徵值與多變量

  20. Reference • Anton, Howard and Rorres (2005), Chris, Elementary Linear Algebra, 9th Edition, John Wiley & Sons. • 鄧家駒 (2004) ，多變量分析，華泰文化事業公司． 特徵值與多變量

More Related