Distinctive Image Features from Scale-Invariant Keypoints

Distinctive Image Features from Scale-Invariant Keypoints DAVID G.LOWE 报告人：张

CONTENTS • 1引言 • 2相关研究 • 3尺度空间极值的检测 • 4准确的关键点的定位 • 5定向任务 • 6局部图像描述子 • 7目标识别的应用 • 8识别实例 • 9结论

1 SIFT综述 • 尺度不变特征转换（SIFT）是一种电脑视觉的算法，用来侦测与描述影像中局部特征。它在尺度空间中寻找极值点，并且提取其位置、尺度、旋转不变量。 • 2 SIFT的特点 • 稳定性独特性多量性 • 高速性可扩展性

SIFT 算法的主要步骤 • 1检测尺度空间的极值 • 2精确定位极值点 • 3为每个极值点指定参数方向（定向任务） • 4 关键点描述子的生成

Ⅰ.尺度空间的极值检测 • 尺度空间理论： • 1引入一个被视为尺度的参数 • 2变化参数得到多尺度的图像表示序列 • 3对这些尺度图像的序列进行尺度空间的主轮廓的提取

图像的尺度空间表示 • 一副二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到： • 式中，代表图像的像素位置，代表图像的尺度空间，为尺度空间因子，其值越小则表征被平滑的越少，相应的尺度也就越小。同时大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。

高斯卷积核是实现尺度变换的唯一线性核，其定义如下：高斯卷积核是实现尺度变换的唯一线性核，其定义如下： • 其中，是空间坐标，代表高斯正态分布的方差，亦即尺度坐标（在尺度空间中）。

两个金字塔的引入 • 要实现极值的检测要引入两个金字塔（形象化的表示，算法中为了便于理解）： • 1建立高斯金字塔 • 2生成DOG金字塔（Difference-of-Gaussian） • 高斯金字塔的构建： • 对图像做不同尺度的高斯模糊（平滑）； • 对图像做降采样（隔点采样）

1.高斯金字塔有O组(阶)，每一阶有S层尺度图像 2.Lowe的文章中每组有s+3层图像将原始图像隔点采样生成下一组尺度空间。

DOG金字塔的构建： • 为了有效提取稳定的关键点，利用不同尺度的高斯差分核与图像卷积生成。

将每一组尺度空间中的相邻高斯尺度函数相减，生成高斯差分金字塔。将每一组尺度空间中的相邻高斯尺度函数相减，生成高斯差分金字塔。

a是第二组的第一层图像由第一组的的最后第二层图像隔点采样得到。b是通过相邻高斯尺度空间图像相减得到。aba是第二组的第一层图像由第一组的的最后第二层图像隔点采样得到。b是通过相邻高斯尺度空间图像相减得到。ab

相关的极值检测 • 作为加快理解的两个金字塔相关背景介绍完毕，下面提出的是关于极值检测的方法，极值的检测操作是基于第二个金字塔的，与第一个金字塔没有直接关系，并且搜索的基本原理我认为与harris的角点检测是十分接近的，其原理如下图：

图示如下 极值点的搜索是通过同一组内DOG相邻层之间比较完成的. 为了寻找尺度空间的极值点，每一个采样点都要和它所有的相邻点比较，以确保在尺度空间和二维图像空间都检测到极值点。

Ⅱ. 关键点的精确定位 • 通过拟合三维二次函数以精确确定关键点的位置，同时去除低对比度的关键点和不稳定的边缘响应点（因为DOG算子会产生较强的边缘响应）以增强匹配稳定性、提高抗噪声能力。 • 在关键点处用泰勒展开式得到： • 式中为关键点的偏移量，是在关键点处的值。

求导让上方程等于0，可以得到极值点为： • 如果（相对于插值中心点的偏移量）在任一方向（一共3维）上的偏移大于0.5时，就意味着该关键点与另一采样点（检测点）非常接近，这样的点就要删除。

为了增强匹配的稳定性，需要删除低对比度的点。将上求出的极值点代入原方程求出 的极值：可以用来衡量特征点的对比度，如果则为不稳定的特征点，应当删除。的经验值为0.03。

因为DOG算子会产生较强的边缘响应，所以应去除低对比度的边缘响应点，以增强匹配的稳定性，提高抗噪声能力。一个平坦的DOG响应峰值往往在在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。因为DOG算子会产生较强的边缘响应，所以应去除低对比度的边缘响应点，以增强匹配的稳定性，提高抗噪声能力。一个平坦的DOG响应峰值往往在在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。 • 主曲率通过一个2*2的Hessian矩阵求出：

导数通过相邻采样点的差值计算。 的主曲率和的特征值成正比， • 令，为最大，最小特征值，则 • 令为最大特征值与最小特征值的比值，则

为了检测主曲率是否在某阈值 下，只需检测 • 的经验值为10。

Ⅲ. 确定关键点的主方向 • 为了实现图像的实现旋转不变性，需要根据检测到的特征点局部图像结构求得一个方向基准。用图像梯度的方法求取该局部结构的稳定方向。对于已检测到的特征点，我们已经知道该特征点的尺度值，因此根据这一尺度值，得到接近这一尺度值的高斯图像。

上式中，和分别为高斯金字塔 处梯度的大小和方向，所用到的尺度为每个关键点所在的尺度。

以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0~360度，其中，每10度一个柱，共36个柱。直方图的主峰值（最大峰值）代表了关键点处邻域梯度的主方向，即关键点的主方向。以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0~360度，其中，每10度一个柱，共36个柱。直方图的主峰值（最大峰值）代表了关键点处邻域梯度的主方向，即关键点的主方向。 • 至此，图像的关键点已检测完毕，每个关键点有三个信息： • 位置、所处尺度、方向。

Ⅳ. 生成sift特征描述算子 • 首先，将坐标轴旋转到关键点的主方向。只有以主方向为零点方向来描述关键点才能使其具有旋转不变性。 • 其次，以关键点为中心取8*8的窗口。进而计算每个4*4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。每个种子点有8个方向向量信息。

为了增强匹配的稳健性，Lowe建议对每个关键点可使用4*4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的sift特征矢量。为了增强匹配的稳健性，Lowe建议对每个关键点可使用4*4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的sift特征矢量。 • 此时sift特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响

Distinctive Image Features from Scale-Invariant Keypoints