1 / 22

周宗伟

周宗伟. Robust PCA 简介和解决算法. PCA. 在一些实际应用中，给定的数据 M 往往都是低秩的或者是近似低秩的，为了恢复矩阵的低秩结构，我们将矩阵 M 分解为两个矩阵的和： M=L+N 其中 L 是低秩矩阵， N 是一个小的干扰矩阵。 传统的 PCA 就是在 2 范数上寻找最优的低秩矩阵 L ，即下面的最优化问题： min ||M-L|| , s.t. rank(L) ≦k ，

ryu
Download Presentation

周宗伟

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 周宗伟 Robust PCA 简介和解决算法

  2. PCA • 在一些实际应用中，给定的数据M往往都是低秩的或者是近似低秩的，为了恢复矩阵的低秩结构，我们将矩阵M分解为两个矩阵的和： • M=L+N • 其中L是低秩矩阵，N是一个小的干扰矩阵。 • 传统的PCA就是在2范数上寻找最优的低秩矩阵L，即下面的最优化问题： • min ||M-L|| , • s.t. rank(L) ≦k， • M=L+N。 • 当噪声干扰矩阵N中元素都很小且各自相互独立的服从高斯分布时，上述问题能够通过求解矩阵的奇异值得到理想的结果。 • 但是，如果N不能够满足上述条件时，如何恢复低秩结构呢？？？

  3. Robust PCA 在实际应用，比如图像处理、网络数据分析、生物信息学，中，经常会由于采样、环境或者传感器的多种原因导致获得的数据与真实数据有很大出入。 而传统的PCA在处理大误差是很脆弱，不具有鲁棒性，甚至仅仅因为一个元素的测量错误就会导致PCA得到的L与真实L相差很大。 所以，近些年来许多PCA的鲁棒方法被提出。 Robust PCA：min (rank(L),||S||0) s.t. M=L+S (1) 上述双目标最优化问题中，L是低秩矩阵，S是稀疏的大 噪声矩阵。 转化为 单目标优化问题。 min rank(L)+λ‖S‖0, s.t. M=L+S (2)

  4. Robust PCA 的松弛表达(1) (2)式给出的优化问题是一个NP问题，于是我们需要对该问题进行凸松弛。 矩阵的核范数是矩阵秩的包络，矩阵的0范数与矩阵的1范数在一定条件下是等价的。于是，(2)中优化问题松弛到如下的凸优化问题： min ‖L‖*+λ‖S‖1 , s.t. M=L+S. (3) 对问题进行凸松弛之后是否能够准确的恢复出低秩矩阵L呢？ 低秩矩阵L的秩是多低呢？稀疏矩阵S的元素分布是否由要求呢？

  5. Robust PCA 的松弛表达(2) 很显然，并不是所有的M=L+S都能够通过求解（3）中的凸优化问题得到合适的解。比如，M=ee‘，(e=[a,0,…,0]’)那么M就是一个低秩又稀疏的矩阵，无论如何我们都不可能恢复出矩阵L和S。因此，从实用性方面，我们要对L和S做出一些假设。比如L是非稀疏矩阵。 定义1：如果一个矩阵A的左奇异矩阵和右奇异矩阵中的列向量都是相互正交的，且是独立同分布的，r=rank(A),那么我们称A服从秩为r的随机正交模型分布。 定义2： 如果对于一个误差矩阵S而言，S的每个元素的符号独立服从伯努利分布的，即每个元素为0的概率为1-ρs，为正和负的概率均为ρs/2,那么我们称S服从参数为ρs的伯努利符号分布模型。

  6. Robust PCA 的松弛表达(3) 结论1：对于任意p>0,存在一组常数(C*>0,p*>0,m*)满足： m>m*时， 中L*服从秩为r的随机 正交模型分布( ) ;S*服从参数为p0≦p*的伯努 利符号分布模型， 那么，通过求解 下式： 获得唯一且精确的解(L*,S*)的概率高达 ！ 也就是说，服从随机正交模型分布的矩阵L*有极大地可能通过求解（3）式中的凸优化问题而从服从伯努利符号分布模型的误差矩阵中恢复出来。

  7. Robust PCA 的松弛表达(4) 结论2：存在这样一组常数 使矩阵 （m>m0）服从秩为r的随机正交分布模 型 ，且令

  8. Robust PCA松弛表达的求解—APG (1) 梯度算法

  9. Robust PCA松弛表达的求解—APG (2) 软阈值迭代算法

  10. Robust PCA松弛表达的求解—APG (3) PG：proximal gradient.近端梯度算法 min ‖L‖*+λ‖S‖1 , s.t. M=L+S. (5)

  11. Robust PCA松弛表达的求解—APG (4)

  12. Robust PCA松弛表达的求解—APG (5) 具体算法：设D=A+E，A为低秩矩阵，E为大噪声稀疏矩阵

  13. Robust PCA松弛表达的求解—APG (6) 算法收敛条件 参数选择：

  14. Robust PCA松弛表达的求解—APG (7)

  15. Robust PCA松弛表达的求解—ALM (1) ALM：Augmented Lagrange Multiplier.增广拉格朗日乘数法。 ALM相对于APG的优势： 1.更高的精度、更少的迭代次数，在很多问题上更加的稳定； 2.更重要的一点是：实验表明，ALM的迭代次数经常不超过获得的最低秩矩阵的秩的大小，而APG算法不具有这种现象。

  16. Robust PCA松弛表达的求解—ALM (2) 仅含等式约束的非线性优化问题(NEP): 设x*是(4)的最优解，其Lagranage函数为 定理：

  17. Robust PCA松弛表达的求解—ALM (3) 如果能够找到 ，那么NEP问题就可以转 化为解决一个无约束优化问题。但是 往往是不存在的， 因此我们构造增广的Lagrange函数

  18. Robust PCA松弛表达的求解—ALM (4) 如何迭代计算 呢？

  19. Robust PCA松弛表达的求解—ALM (5) Robust PCA松弛表达为： min rank(L)+λ‖S‖0, s.t. M=L+S 表示成拉格朗日乘子形式有： 其中Y为拉格朗日乘子。 由前一页知道Y的迭代公式为： (10)式就等价于重复计算 直到 时，我们认为得到了最优解。

  20. Robust PCA松弛表达的求解—ALM (6) ALM算法中的参数给定

  21. Robust PCA松弛表达的求解—ALM (7) ALM算法

  22. Robust PCA松弛表达的求解—ALM (8)

More Related