Two-Dimensional PCA: A New Approach to Appearance-Based Face Representation and Recognition

1. Two-Dimensional PCA: A New Approach to Appearance-Based Face Representation and Recognition 作者 ：Jian Yang, David Zhang 讲解人：牛志恒 zhniu@jdl.ac.cn

2. 报告提纲 • 作者介绍 • 文章介绍 • 前人相关工作简介 • 相关基础知识简介 • 理论描述 • 实验分析 • 简单评述 • 提出问题

3. 作者的相关信息 • Jian Yang • EDUCATIONS • Ph.D Department of Computer Science, Nanjing University of Science and Technology (NUST), 2002 • M.S Applied Mathematics from Changsha Railway University, 1998 • B.Sc Mathematics from the Xuzhou Normal University, 1995 • PUBLICATIONS • Jian Yang; Frangi, A.F.; Jing-Yu Yang; David Zhang; Zhong Jin; KPCA plus LDA: a complete kernel Fisher discriminant framework for feature extraction and recognition. Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume 27,  Issue 2,  Feb. 2005 Page(s):230 - 244 • Jian Yang, David Zhang, Alejandro F. Frangi, Jing-Yu Yang: Two-Dimensional PCA: A New Approach to Appearance-Based Face Representation and Recognition. IEEE Trans. Pattern Anal. Mach. Intell. 26(1): 131-137 (2004) • Jian Yang, Hui Ye, David Zhang: A new LDA-KL combined method for feature extraction and its generalisation. Pattern Anal. Appl. 7(1): 40-50 (2004) • Jian Yang, Zhong Jin, Jingyu Yang, David Zhang, Alejandro F. Frangi: Essence of kernel Fisher discriminant: KPCA plus LDA. Pattern Recognition 37(10): 2097-2100 (2004) • Jian Yang, Jing-Yu Yang, Alejandro F. Frangi, David Zhang: Uncorrelated Projection Discriminant Analysis And Its Application To Face Image Feature Extraction. IJPRAI 17(8): 1325-1347 (2003) • Jian Yang, Jing-Yu Yang, Alejandro F. Frangi: Combined Fisherfaces framework. Image Vision Comput. 21(12): 1037-1044 (2003) • Jian Yang, Jing-Yu Yang: Why can LDA be performed in PCA transformed space? Pattern Recognition 36(2): 563-566 (2003) • Jian Yang, Jing-Yu Yang, David Zhang, Jian-feng Lu: Feature fusion: parallel strategy vs. serial strategy. Pattern Recognition 36(6): 1369-1381 (2003) • Jian Yang, Jing-Yu Yang: Generalized K-L transform based combined feature extraction. Pattern Recognition 35(1): 295-297 (2002) • Jian Yang, Jing-Yu Yang, David Zhang: What's wrong with Fisher criterion? Pattern Recognition 35(11): 2665-2668 (2002) • Jian Yang, Jing-Yu Yang: From image vector to matrix: a straightforward image projection technique - IMPCA vs. PCA. Pattern Recognition 35(9): 1997-1999 (2002)

4. 作者的相关信息 • David Zhang（张大鹏） • EDUCATIONS • Ph.D Electrical & Computer Engineering, University of Waterloo, 1994 • Ph.D Computer Science, Harbin Institute of Technology (HIT), 1985 • M.S Computer Science, Harbin Institute of Technology (HIT), 1983 • B.Sc Computer Science, Peking University, Beijing, 1974 • EMPLOYMENT • Adjunct Professor (2002- ) Department of System Design, University of Waterloo, Canada • Guest/Adjunct Professor (2000- ) Shanghai Jiao Tong University / Tsinghua University • Full Professor (1999- ) Department of Computing, Hong Kong Polytechnic University (PolyU) • Associate Professor (1995-1999) Department of Computer Science, City University of Hong Kong (CityU) Department of Computing, Hong Kong Polytechnic University (PolyU) • Adjunct Professor / Department of Computer Science and Engineering Supervisor of PhD (1995- ) Harbin Institute of Technology (HIT), China • Associate Professor (1988-1991) National Key Lab of Pattern Recognition, Institute of Automation Chinese Academy of Science, Beijing, China • Postdoctoral Fellow (1986-1988) Department of Automation, Tsinghua University, Beijing, China • Lecturer (1974-1980) Department of Computer Science, Heilongjiang University, China

5. SELECTED HONORS • Academic Awards • Project Awards • Supervised Student Awards • Patents • SELECTED ACTIVITIES (1998 - ) • Current Editorial Activities • Conference Organization • Industry Consultants • Leaderships • RESEARCH GRANTS (as Principal Investigator)(1996-) • INVITED TALKS • PARTIAL PUBLICATIONS • BOOKS • BOOK CHAPTERS • SELECTED JOURNAL PAPERS • SELECTED CONFERENCE PAPERS

6. 文章的相关信息 • 文章出处:IEEE TPAMI • 发表时间:JANUARY 2004 • 相关文献 • J. Yang, J.Y. Yang, “From Image Vector to Matrix: A Straightforward Image Projection Technique—IMPCA vs. PCA,” Pattern Recognition, vol. 35, no. 9, pp. 1997-1999, 2002.

7. 前人相关工作的介绍

8. 中文摘要 • 本文引入了2DPCA图像表示方法的一种新技术。与PCA不同， 2DPCA是基于2维图像矩阵而不是1维向量，因而特征提取的时候图像不必预先转化成一个向量。直接使用原始图像矩阵来构建图像协方差矩阵，它的特征向量用来作特征提取。为了检验和评估2DPCA的性能，在ORL、AR和Yale人脸数据库上进行了一系列的实验。在所有实验中2DPCA的识别率都高于PCA。实验结果也显示了2DPCA在特征提取的效率上要更高于PCA。

9. 文章的组织结构 • INTRODUCTION • TWO-DIMENSIONAL PRINCIPAL COMPONENT ANALYSIS • Idea and Algorithm • Feature Extraction • 2DPCA-Based Image Reconstruction • EXPERIMENTS AND ANALYSIS • Experiment on the ORL Database • Experiment on the AR Database • Experiment on the Yale Database • Evaluation of the Experimental Results • CONCLUSION AND FUTURE WORK

10. 相关基础知识的介绍 • 设样本集为 在 中，均值 ，协方差矩阵 ，分解为 其中 是正交阵， 是对角阵。 于是PCA变换为 。变换后的样本均值为0，协方差矩阵为对角阵 ，它包含了 的所有特征值，其对应的特征向量是不相关的。

11. 2DPCA • X是n维列向量，A是m×n的图像矩阵，Y是线性变换后的m维投影向量。 • 定义Y的协方差矩阵 的迹为总散度： • 最大化这个准则，就找到了最优的投影方向X使得投影后的向量Y分得最开。

12. 表示为： • 所以 • 我们记

13. 称作图像协方差（散度）矩阵。从定义可以看出它是非负定的n×n维矩阵。假设有M张训练图像，第j张图像表示为 ，所有训练图像的均值记作 。 • 准则化为

14. 最大化上式的X称作最优投影轴。最优投影轴是 的最大特征值对应的特征向量。通常一个最优投影轴是不够的，因此选对应特征值最大的取前d个相互正交的单位特征向量作为最优投影轴。

15. 证明： 令

16. 特征提取 • 2DPCA的最优投影向量 用来做特征提取。对于给定的样本图像A，有 • 得到的投影特征向量 称作样本图像A的主成分（向量）。 • 主成分向量形成m×d的矩阵 称作样本图像A的特征矩阵或特征图像。

17. 分类方法 • 采用最近邻分类。任意两个图像的特征矩阵 和 之间的距离定义为： • 给定测试样本B，如果 ，并且 ，则分类结果是 。

18. 基于2DPCA的图像重构 • 主成分向量是 ，令 ， ，那么 。 • 由于 是正交的，所以图像A的重构图像为： • 令 ，它的大小和图像A一致，称作图像A的重构子图。当d＝n时，是完全重构；当d<n时，是近似重构。

19. 实验

20. ORL

26. AR

31. Yale

32. 结论 • 2DPCA与PCA（Eigenfaces）比较 • 优点： • 提取特征的方法简单、直接 • 实验对比中显示识别率高 • 提取特征的计算效率高 • 缺点： • 表示图像时需要的系数多，因此需要更多的存储空间 • 分类所需的计算时间稍多

33. 为什么2DPCA的性能优于PCA • 对于小样本数据（比如人脸识别）来说， 2DPCA更加稳定。因为它的图像协方差矩阵比较小。 2DPCA比PCA能更加精确的刻画图像的协方差矩阵

34. 对文章的评价 • 文章对传统的PCA进行了对2D的扩展，虽然理论描述简单，但却想无人之想，做无人所做。善哉！善哉！ • 实验大量而丰富，效果显著，但是否在现实中实用值得讨论。

35. 提出的问题 • PCA表示图像时，近似图像与原始图像具有最小均方误差（MSE）。2DPCA是否也具有相似的性质？ • 2DPCA需要更多的系数，虽然后面加上PCA可以降维，但是这样做的道理并不清晰。是否能推出更有效的方法？ • 文中实验可以看到数据量偏少（人数），对更大的数据量（比如千人），更复杂的变化2DPCA是否依然有效？

36. 谢谢大家！