1 / 44

3D Face Recognition 程雪峰 7.15

3D Face Recognition 程雪峰 7.15. Paper 2：基于 Gabor 特征的 2D+3D 人脸识别的算法实现. Paper 1 :2D+3D 人脸识别综述. 2D 人脸识别简介. Summary and The Next. 目录. 2D人脸识别. 2D 人脸识别. 特点： 1，算法成熟 2，产品技术成熟 3，可研究点依旧很多. 2D人脸识别. 2D人脸识别算法成熟. 2D 识别流程（训练样本）：. 2D人脸识别. 2D人脸识别算法成熟. 2D 识别流程（测试样本）：. 2D人脸识别. 2D人脸识别产品技术成熟. 2D人脸识别.

elvina
Download Presentation

3D Face Recognition 程雪峰 7.15

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 3D Face Recognition程雪峰7.15

  2. Paper 2：基于Gabor特征的2D+3D人脸识别的算法实现 Paper 1:2D+3D人脸识别综述 2D 人脸识别简介 Summary and The Next 目录

  3. 2D人脸识别 2D 人脸识别 特点： 1，算法成熟 2，产品技术成熟 3，可研究点依旧很多

  4. 2D人脸识别 2D人脸识别算法成熟 2D识别流程（训练样本）：

  5. 2D人脸识别 2D人脸识别算法成熟 2D识别流程（测试样本）：

  6. 2D人脸识别 2D人脸识别产品技术成熟

  7. 2D人脸识别 2D人脸识别可研究领域很多 1，光照 2，姿态 3，遮挡 ４，表情 ５，年龄化

  8. 2D+3D人脸识别综述 A survey of approaches and challenges in 3D and multi-modal 3D + 2D face recognition 人脸识别的背景： 1，人脸识别（recognition） one to many 2，人脸确认（verification） one to one

  9. 2D+3D人脸识别综述 人脸图像采集

  10. Paper 1 Recognition based solely on 3D shape

  11. 2D+3D人脸识别综述 纯3D人脸识别方法汇总 1，深度图像，基于主曲率（principal curvature）和人脸表面的对称部位的方法，其中对称部位用来校正人脸； 2，深度图像，基于高斯曲率（Gaussian curvatures）对凸图像进行分割，然后创建EGI（扩展高斯图像） 优点：对表情变化的处理比较好，人脸图像不定大小的时候无法识别

  12. 2D+3D人脸识别综述 纯3D人脸识别方法汇总 3，利用人脸的五个特征点来定位人脸姿态，然后利用不同的曲率和剖面图来进行匹配，结论是：垂直的经过中心轴的剖面图最适合匹配，避免使用全局剖面图；

  13. 2D+3D人脸识别综述 纯3D人脸识别方法汇总 4，提出了主成分分析方法（PCA）在3D人脸识别的应用，并应用在六种不同表情的人脸库中，效果显著（库比较小） 5，提出了最近点迭代模型（ICP），并且数据库规模首次突破100个对象，98%的识别率

  14. 2D+3D人脸识别综述 纯3D人脸识别方法汇总 6，首次提出了利用高斯曲率来分割人脸深度图像，并对每一个分割区域形成特征向量进行匹配，首次应用带不同表情不同姿态的数据库，识别率急剧下降，78%

  15. 2D+3D人脸识别综述 纯3D人脸识别方法汇总 7，深度图像，提出了基于深度权重的豪斯多夫距离的方法，结合图像表面曲率特征，识别率98% 8，提出“多区域”人脸匹配方法，区域块围绕鼻子选择，不同的块再运用ICP方法，最后集成匹配，4000张人脸，92%的识别率

  16. 2D+3D人脸识别综述 纯3D人脸识别方法总结 1，方法单一 2，算法复杂性不高 3，整体上来说样本集太小 4，样本绝大多数都是自己的工作小组采集，说服力不够

  17. 2D+3D人脸识别综述 混合模型算法：2D+3D 背景： 3D人脸识别起源与1990； 混合模型算法到2000年才开始出现； 普遍的方法是：独立的获取2D和3D的数据（特征，匹配结果），然后结合匹配权值。

  18. 2D+3D人脸识别综述 混合模型算法汇总：2D+3D 1，立体图像利用稀疏的深度映射获取特征信息，灰度图像利用边缘向量和等亮度轮廓来查找虹膜，然后寻找其他特征信息（校正人脸），数据库：10个对象，96%识别率； 2，利用Gabor滤波器提取2D人脸特征信息，利用“点特征”提取3D人脸特征信息，然后集成一个总的特征向量，最后利用SVM分类，数据库：50个对象，有姿态和表情变化，90%的识别率

  19. 2D+3D人脸识别综述 混合模型算法汇总：2D+3D 3，利用深度图像和彩色图像，取代了常用的灰度图像，做了三组的实验，只利用彩色图像，只利用深度图像，彩色图像和深度图像混合，识别率：混合模型最好，99% 4，2D和3D人脸均利用PCA方法，训练集和测试集的人脸图像获取的时间有一定的间隔，识别率：92%，94%，99%

  20. 2D+3D人脸识别综述 混合模型算法汇总：2D+3D 5，提出了一种ICP的扩展模型，首次提出了利用点距离来识别混合模型人脸，提出了4D空间--（X,Y,Z,intensity）,结合了形状（3D）和纹理（2D）信息，数据库：62个对象，具有姿态和表情变化，姿态从0-45度，94-73%，表情从中性到笑脸，89-69% 6，提出了ICP+LDA(线性判别分析)的方法，数据库：100个对象，有表情变化，中性表情： 98%，中性和笑脸融合表情集：91%

  21. 2D+3D人脸识别综述 混合模型算法总结：2D+3D 1，数据集明显在上升； 2，对姿态和表情变化做了不少的工作； 3，各个论文得出的结论众多： 1)深度图像受表情和遮挡（眼镜）的影响较大； 2）处理表情和遮挡的算法较少； 3）3D人脸能很好的处理姿态问题

  22. 2D+3D人脸识别综述 3D人脸识别的研究方向趋势 1，识别算法的变化和复杂性的研究 比如：特征脸算法一开始很流行，现在又很多的变形算法，利用灰度作为变量的4D模型等； 2，实验结果的评估 03之前，数据集都是自己采集的小型数据库， 100%的识别率已经不复存在，选择具有不同变化的数据集是关键。 3，三种模型的比较 2D;3D;2D+3D

  23. 2D+3D人脸识别综述 3D人脸识别所面临的挑战 1，改善传感器 现有的传感器主要分为三类： 1）被动立体传感器 两台具有已知几何关系的相机； 通过计算对应图像的点来计算3D图像点的位置 2）具有结构型灯光的传感器 一台相机以及一台和相机具有已知几何关系的投光机

  24. 2D+3D人脸识别综述 3D人脸识别所面临的挑战 1，改善传感器 现有的传感器主要分为三类： 3）被动立体相机与结构型灯光的结合 先形成一个灯光pattern，然后由立体相机获取人脸图像

  25. 2D+3D人脸识别综述 3D人脸识别所面临的挑战 1，改善传感器 传感器所带来的挑战： 1，获得的人脸图像的瑕疵： “holes” and “spikes”

  26. 2D+3D人脸识别综述 3D人脸识别所面临的挑战 1，改善传感器 传感器所带来的挑战： 2，深度有多深？？ 立体相机的深度VS灯光的深度 3，获取的时间问题 在具有结构型灯光上面尤为明显

  27. 2D+3D人脸识别综述 3D人脸识别所面临的挑战 2，改善算法 算法的问题集中在：怎么处理表情的变化？？ 1）集中在对表情变化不敏感的区域做识别 2）样本集用多种表情的图像来表征一个对象 3）寻找一个通用的模型来表征所有人脸的表情信息

  28. 2D+3D人脸识别综述 3D人脸识别所面临的挑战 3，改善方法论 1）3D人脸识别的应用前景？？ 2）2D? 3D? 2D+3D?

  29. 基于Gabor特征的2D+3D人脸识别的算法实现 Automatic 3D face recognition from depth and intensity Gabor features

  30. 基于Gabor特征的2D+3D人脸识别的算法实现 Contributions of the paper 1，提出了一种分层选择模式来选择有效特征 2，提出了基于LDA的算法来选择Gabor图片中的最优子样本模块 3，利用Adaboost学习选择最有效Gabor特征并形成强分类器，应用了统计学习来融合2D和3D人脸识别

  31. 基于Gabor特征的2D+3D人脸识别的算法实现 预处理 目标：准确的注册人脸数据获取正则的深度和灰度人脸图像 方法： 1，鼻尖检测和注册信息 2，获取深度和灰度图像

  32. 基于Gabor特征的2D+3D人脸识别的算法实现 预处理 1，鼻尖检测和注册信息 利用局部的表面特征和局部的统计特征检测； 利用中性表情作为固定模型； 只考虑鼻尖周围区域，忽略嘴巴和下巴

  33. 基于Gabor特征的2D+3D人脸识别的算法实现 预处理 2，获取深度和灰度图像

  34. 基于Gabor特征的2D+3D人脸识别的算法实现 特征提取 Gabor 滤波器

  35. 基于Gabor特征的2D+3D人脸识别的算法实现 特征和分类器学习 特征选择和分类器创建

  36. 基于Gabor特征的2D+3D人脸识别的算法实现 特征和分类器学习 1，利用LDA选择最优子样本 为什么要用ＬＤＡ？ 如何选择？？

  37. Paper 2 特征和分类器学习 最优子样本选择的流程

  38. 基于Gabor特征的2D+3D人脸识别的算法实现 特征和分类器学习 2，特征学习 人脸识别：多分类问题 Ａｄａｂｏｏｓｔ学习：二分类问题 转换：ｉｎｔｒａ－ｐｅｒｓｏｎａｌ 　　　ｅｘｔｒａ－ｐｅｒｓｏｎａｌ １）不同尺度和方向的Ｇａｂｏｒ图像选择有效特征； ２）已经选择的有效特征再精度选择

  39. 基于Gabor特征的2D+3D人脸识别的算法实现 特征和分类器学习 2，分类器学习 利用级联ａｄａｂｏｏｓｔ学习程序创建强分类器。 差异向量X----各层相似度Si ---总相似度S

  40. 基于Gabor特征的2D+3D人脸识别的算法实现 实验 数据库： ＣＡＳＩＡ　３Ｄ; ＦＲＧＣ　Ｖ２.０； 分为七个子数据集： IV：光照变化； EV：表情变化； EVI：正面光照表情变化； PVS：小范围姿态变化； PVL：大范围姿态变化； PVSS：笑脸+小范围姿态变化； PVSL：笑脸+大范围姿态变化。

  41. 基于Gabor特征的2D+3D人脸识别的算法实现 实验结果比较

  42. Summary and The Next Summary 1,2D+3D识别率最高，高在哪里？ 2,3D识别难点多，难点在哪里？ 3,3D识别的应用在哪里？

  43. Summary and The Next The Next 几个方向： 1，用于2D人脸识别算法中处理表情变化的算法是不是可以利用到3D人脸识别中，需要怎么样的改进？？ 2，特征降维的方法是不是可以选用PCA+LDA结合的方法？？

  44. Thanks Thanks!

More Related