1 / 16

特征点深度值估计

特征点深度值估计. 报告人：朱 珠. 2012 年 8 月 30 日. 参考文献. [1] 龚勋 . 基于单张二维图片的三维人脸建模 ; 西南交通大学 ,2005. [2] 姜太平 , 王晓娟 , 刘玉洁 , 张学锋 , 邰伟鹏 . 基于 candide 模型的人脸深度信息生成技术研究 ; 计算机技术与发展 ,2012; [3] 胡永利 . 真实感三维人脸建模及应用研究 [D], 北京工业大学 ,2004. 实验背景.

ugo
Download Presentation

特征点深度值估计

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 特征点深度值估计 报告人：朱 珠 2012年8月30日

  2. 参考文献 [1]龚勋.基于单张二维图片的三维人脸建模;西南交通大学,2005. [2]姜太平,王晓娟,刘玉洁,张学锋,邰伟鹏.基于candide模型的人脸深度信息生成技术研究;计算机技术与发展,2012; [3] 胡永利.真实感三维人脸建模及应用研究[D],北京工业大学,2004.

  3. 实验背景 • 人类视觉系统(Human Visual System,HVS)天生具备识别人脸复杂模式的能力.即使只有一张照片,借助HVS的处理,人类也能够准确,快速地恢复出人脸三维形状信息,进而实现身份辩别.要用计算机实现自动的三维人脸建模,如果能够借鉴人类的认知机理和相关数学最新研究成果,实现基于单张二维图片的三维人脸建模,首先要解决的问题就是如何从二维图片中确定人物的深度信息.

  4. 问题描述 • 给定包含m个三维人脸形状模型的训练集 ,令三维模型 上与人脸图像上的特征点 ，k是特征点的数目）相对应的顶点为 。

  5. 最优匹配法 • 以训练集为先验知识，估计平面特征点 的深度 信息最简单、最直观的方法是在训练集中找到一个人脸模型 ，使得其顶点 的二维坐标 与 最接近，即： • 然后，将 的第三维 作为 的深度值，该方法称为最优匹配法（Best Matching,BM）。

  6. 插值拟合函数 • 为了避免直接利用空间顶点坐标产生的误差，采用插值拟合函数（Interpolation Fitting Function,IFF）是较好的选择，它相对BM更加稳定。 • 将训练集中所有人脸的第t个顶点当作空间散乱点集合 ，用一个拟合函数f(p)对这些点进行拟合。

  7. 基于稀疏线性模型的优化算法 • 为了获得相对准确、稳定的估计结果，本文提出一个基于稀疏线性模型的优化算法（Sparse Linear Model based Optimization,SLMO）, 把所有特征点看成一个整体，将其组合成一个稀疏的形状向量，然后利用训练库中的先验知识对稀疏向量中缺失的数据（即所有特征点的z值）进行整体估计。

  8. 基于稀疏线性模型的优化算法 • 在已知三维人脸上k个特征点的情况下，用特征点集何来表示人脸结构，把它们进行线性组合构造一个稀疏形状向量： • 其中，上标‘L’表示向量是由特征点（landmark）组合而成的。从而，测试人脸上的特征点向量的估计值 可以由训练库中所有人脸的稀疏形状向量经线性组合而成： • （2.1） • 其中， ，m是训练库中三维人脸的数目。

  9. 基于稀疏线性模型的优化算法 • 对 进行PCA变换得到特征矩阵 以及相应的特征值 ，其中 。用特征矩阵代替原始形状向量空间 ，式（2.1）可以改写为： • （2.2） • 其中 是组合系数，平均稀疏向量 . • 根据PCA理论，系数 的方差 。

  10. 基于稀疏线性模型的优化算法 • 从而，我们可以用特征值对特征矩阵进行缩放： • 从而系数方差 被归一化，即 。采用缩放后的特征矩阵，式（2.2）可以改写为： （2.3）

  11. 基于稀疏线性模型的优化算法 • 下面讨论如何根据稀疏线性模型进行特征点的深度值的估计。 • 从式（2.3）可知，在已知 （通过训练库变换获得）的情况下， 是计算测试人脸特征值坐标的关键。对于二维照片而言，特征点的坐标分量z是未知的，从而 未知。因此，只有通过已知的二维信息来求解 。给定二维人脸照片上的一组（数目为k）特征点 ， ，将其进行组合成向量：

  12. 基于稀疏线性模型的优化算法 • 另外，从平均稀疏向量可以提取二维稀疏形状向量 如下： • 其中 是三维顶点 的前二维数据构成的向量。类似地，从每三行中提取前两行数据，我们可以得到 的二维版本 。将 ， 和 代入式（2.3）,可得： • （2.4）

  13. 基于稀疏线性模型的优化算法 • 从而，从式（2.4）计算 可以通过最优化方法求解，令目标函数 • 因为式（2.4）只是（2.3）的二维表示形式，很显然式（2.4）的解并不能保证 最小化。为了对优化结果进行约束，使其偏离平均值不大，我们添加一个罚函数对 的范围进行约束，从而目标函数变为：

  14. 基于稀疏线性模型的优化算法 • 为便于计算，我们将罚函数简化为 是大于0的任意正数），从而 • 其中 是罚因子，它的大小变化对估计值结果的影响包括两方面： • 增大， 变小，从式（2.3）可知，最终估计结果更接近平均值 ； • 减小， 增大，式（2.3）中 部分的作用相对较强。

  15. 基于稀疏线性模型的优化算法 • 令 取最小值， 的求解过程如下： (2.5) • 根据奇异值分解（SVD）， ， • ，代入式（2.5）： • 两边都乘以 ，从而解出使 取最小值的 ：

  16. 基于稀疏线性模型的优化算法 • 将代入式（2.3）,所有特征点的坐标组成的稀疏形状向量的估计值为： • （2.6） • 因此我们就可以采用式（2.6）的深度信息。与二维观测值进行组合构成特征点的三维坐标。

More Related