暑期汇报

暑期汇报 报告人：崔滢 2012年8月30日

一、课题组人脸数据库

Face Database of PRNUST 数据库包含22人，其中女性7人，男性15人，每人采集10幅不同姿态、不同表情的图像，共220幅图像，分4个批次采集完毕，不同批次间存在背景和光照的变化，部分图像如Fig.1所示： Fig.1. Example images of the database

Face Database of PRNUST 每幅图像的尺寸为600×800，图像的命名规则为<person number>_<image type>。图像类型如表1所示。表1. 图像类型

Face Database of PRNUST 每幅图像手工标注了68个特征点，包含了眉毛、眼睛、鼻子、嘴巴以及人脸外轮廓的形状信息，如Fig.2所给示例： Fig.2. Image annotation

二、不同视角下人脸图像合成算法概述

不同视角下人脸图像合成算法概述 在人脸识别的实际应用中，姿态、眼镜、表情、阴影等众多干扰因素普遍存在，都不同程度地对识别效果产生影响。其中由于姿态的变化而导致的侧面人脸识别问题尤为显著。三维的可变形模型可以很好的处理姿态变化问题，但是由于三维模型需要整个头部的三维纹理扫描信息，计算量非常巨大。因此从二维侧面照片恢复正面视角图像是仍是解决侧面人脸识别的最重要方法。

目前从一幅给定图像，生成其它视角图像的基本方法是先预测出该图像在目标视角处的一组特征点，然后使用纹理变形的方法将该图像的纹理信息映射到目标特征点生成的网格里，从而合成目标图像。不同视角下人脸图像合成算法概述

Akshay A. 等人使用回归的方法由正面图像合成任意视角和表情的图像。首先给定一组标记了特征点的正面人脸图像集以及相应的一组特定视角P0（如左转45度）的非正面人脸图像集，使用回归模型学习出它们之间的回归参数R；当输入一幅标记了特征点的正面图像 I ，便可根据学习出的回归参数R预测出 I 在视角P0下的形状向量Sp；最后将 I 的纹理信息映射到Sp中得到最终的视角P0下的新图像。由特定视角的侧面图像合成正面图像也可以用这种方法预测正面特征点形状。不同视角下人脸图像合成算法概述

Miguel A.等人直接基于AAM模型进行正面人脸图像的合成[3]。首先训练侧面人脸AAM模型与正面人脸AAM模型，然后使用最小平方正则化方法（Least Squared Regularization Approach）来计算两个模型参数之间的映射关系。Fig.3给出了该方法的架构图。不同视角下人脸图像合成算法概述 Fig.3. 使用AAM模型之间的参数映射变换估计正面视角人脸图像

高新波等人提出了一种基于张量分解与Delaunay三角划分的多视角人脸合成方法。它利用特征点标注的方法提取出人脸图像的轮廓信息，采用张量分解的方法分离出训练集中人脸数据的视角系数矩阵，对视角系数矩阵进行样条拟合，利用张量分解公式构建新视角的特征点，最后应用Delaunay三角划分以及线性仿射变换根据已知人脸图像合成出新视角的人脸图像。该方法的合成视角范围比较广泛，Fig.4给出了算法示意图。高新波等人提出了一种基于张量分解与Delaunay三角划分的多视角人脸合成方法。它利用特征点标注的方法提取出人脸图像的轮廓信息，采用张量分解的方法分离出训练集中人脸数据的视角系数矩阵，对视角系数矩阵进行样条拟合，利用张量分解公式构建新视角的特征点，最后应用Delaunay三角划分以及线性仿射变换根据已知人脸图像合成出新视角的人脸图像。该方法的合成视角范围比较广泛，Fig.4给出了算法示意图。不同视角下人脸图像合成算法概述

不同视角下人脸图像合成算法概述 Fig.4. 基于张量分解与Delaunay三角划分的多视角人脸合成

在对人脸特征点进行预测之后，我们得到目标视角下的人脸特征点信息。接下来需要将源图像的纹理信息变形映射到特征点形状上，以生成新图像。在对人脸特征点进行预测之后，我们得到目标视角下的人脸特征点信息。接下来需要将源图像的纹理信息变形映射到特征点形状上，以生成新图像。目前常用的纹理映射方法是三角剖分法结合仿射变换。首先使用Delaunay法则基于图像的特征点集对图像作三角剖分建立三角网格，对目标网格上的任意一点，都可以通过仿射变换在源图像网格内找到对应一点，将此点的像素值赋予目标图像。不同视角下人脸图像合成算法概述

Scott S.等人提出一种基于线性移动最小二乘法(Linear Moving Least Squares)的图像变形方法[7]。该方法不需要对图像进行三角剖分，并且图像的变形结果更加平滑。Fig.5和Fig.6给出了使用该方法的图像变形例子。不同视角下人脸图像合成算法概述 Fig.5. 基于移动最小二乘法的图像变形，左：源图像，中：目标图像，右：合成图像

不同视角下人脸图像合成算法概述 (1) (2) (3) (4) Fig.6. 基于移动最小二乘法的图像变形，(1) 正面图像，(2) 侧面图像， (3) 由正面生成侧面图像，(4) 由侧面生成正面图像

不同视角下人脸合成技术对获得可靠的身份认证是至关重要的。此外，在视频会议、公共安全等领域也有着重要的应用。不同视角下人脸合成技术对获得可靠的身份认证是至关重要的。此外，在视频会议、公共安全等领域也有着重要的应用。在下一步的工作中，将侧重于实现由侧面图像合成正面视角的人脸图像，并验证其对人脸识别率的提高。另外，对于纹理合成这一步骤中，如何生成更加逼真的纹理也是一个研究点。不同视角下人脸图像合成算法概述

谢谢！ 报告人：崔滢 2012年8月30日

暑期汇报

暑期汇报

Presentation Transcript