基于 Kinect 的手势识别技术研究

基于Kinect的手势识别技术研究

1 2 3 手势识别简介基于Kinect的手势识别目录 Hand Gesture Recognition Using Kinect

手势识别简介 • 手势：人手或者手臂结合产生的各种姿势或动作 • 根据其时变特性，分为 • 静态手势：用手的形状来表明手势者意图 • 动态手势：运动的手势，由一组序列图像组成 • 手势识别研究方向： • 基于触摸屏 • 基于数据手套 • 基于视觉

手势识别简介 • 基于触摸屏的手势识别 • 通过手指或触摸笔与物体表面接触达到直接人机交互目的 • 智能手机、平板电脑等 • 优点 • 多用户、多点同时与计算机交互 • 缺点 • 直接接触，操作受到一定限制 • 精度受手指影响

手势识别简介 • 基于数据手套的手势识别 • 利用手套内的传感器系统采集数据以判断手指的弯曲程度、关节角度等，转化为传感信号，输入到计算机中 • 优点 • 输入数据量小、识别率高、速度快 • 可识别手势种类多，可实时 • 缺点 • 需要佩戴装备，不符合自然人交互原理 • 装备昂贵，不适合推广

手势识别简介 • 基于视觉的手势识别 • 手势采集后，需要对图像进行手势分割，将手势从图像中分离出来，常用的方法有 • 增加限制法：特定背景等，精度高，但降低手势自由性 • 肤色检测法：常用。分离出肤色区域

手势识别简介 • 肤色检测法 • 早期：设置基于RGB颜色值的阈值，分离出隶属肤色范围的像素点，受光照影响较大 • 当前：确定适合的颜色空间RGB,CMY,HSV,YCbCr • 正常光照下：RGB色空间 • 光照变化较大时：YCbCr色空间 • 针对不同人种造成的肤色不同，色空间内肤色设置的阈值不是固定的，而是采用自适应的阈值选取方法

手势识别简介 • YCbCr色空间 • YCbCr中Y是指亮度分量，Cb指蓝色色度分量，Cr指红色色度分量，因此该颜色空间对亮度和颜色能进行较好的分割 • 优点： • 将亮度与色度分离，并且色度分量在色彩上具有一定的聚类性 • 与RGB颜色空间之间是线性的转换关系肤色像素在CbCr区域的分布

手势识别简介 • 不同色空间检测率对比

基于Kinect的手势识别 如何能更好地进行手势分割？ • 可以拍摄3D信息的摄像机：克服光照、阴影等干扰 • 20世纪90年代，TOF(飞行时间法)摄像机：通过计算光的飞行时间来测量拍摄物体的深度信息 • 方便区分前景和后景，在目标识别和追踪方面有独特优势 • 分辨率低，价格贵 • 2010年，微软推出用于Xbox 360的体感外设3D摄像机Kinect：使用结构光编码技术(Light Coding)获取拍摄图像深度信息 • 价格低，分辨率达像素级 • 使用图像处理器芯片，可以使PC端以低配置实现实时性

基于Kinect的手势识别 • Kinec核心技术 • 获取目标深度数据 • 具有骨骼跟踪功能 • 目前可以追踪20个骨骼点，最多可以定位6个人的骨骼位置

基于Kinect的手势识别 • 除了游戏领域，由于Kinect广泛的易用性和低廉的成本，在计算机科学、电子工程以及机器人等领域也有广泛应用

RGB摄像头 基于Kinect的手势识别 CMOS 红外摄像头所构成的3D 深度感应器红外线发射器 • Kinect工作原理红外发射器发出近红外激光，当激光照射到粗糙物体时会形成具有高度随机性的衍射斑点，称为激光散斑。激光散斑会随着成像物体的距离不同而变换图案，当激光散斑照射到整个空间时即对空间进行了标记。红外摄像头则接收空间标记，传递至Kinect 内部的图像处理器芯片。图像处理器通过分析散斑图案获得的空间距离生成深度影像，并使用USB2.0 协议传输至PC 端。

基于Kinect的手势识别 Kinect的深度通过灰度值来进行编码。一个像素颜色越深，代表这个像素离摄像头越近。黑色的像素点表示这些点上的深度信息无法被获取到。

基于Kinect的手势识别 • Kinect摄像头分辨率为640*480像素，每秒可以采集30帧图像，彩色图像和深度图像理论有效采集范围kinect for Xbox是0.8~4m，kinect for windows 对0.4~0.8m内也有效 • 由于深度信息的加入，除了可以更好的进行手势分割，还可以记录动态手势在深度上的变化，扩大识别范围

基于Kinect的手势识别 • 基于Kinect的手势识别常用方法 • 使用Kinect 获取深度图，然后使用微软提供的Kinect SDK 进行人体骨架识别从而获得手势位置及动作意义 • 必须要在摄像头全身可见的条件下才能较为准确的识别 • 根据深度信息过滤提取出手势部分深度图，再将其转换为平面图，使用2D 手势识别的方式进行识别 • 常用方法

基于Kinect的手势识别流程 • Kinect校准 • 原因：Kinect运输过程中，热量和震动导致红外发射器和感应器之间产生偏差 • Kinect传感器的深度值是由一个对其真实值的仿射变化得到的 • 对Kinect进行重新校准的目标是决定参数和 • 通过Kinect的RGB摄像头，重新校准技术可以决定其摄取到的特征点的3D坐标，而这些坐标才是真实的坐标值。与此同时，Kinect产生了这些特征点在IR摄像头下的估计坐标值，将这两个坐标点集之间的差值最小化, Kinect就能够估计到α和β的值与RGB和红外摄像头之间的转换关系。

基于Kinect的手势识别 • 基于三维视觉的深度分割 • 设定深度范围，将该范围内的图像像素提取出来 • 与肤色分割相比：不受同色的人脸干扰，但限制了活动范围，除非手掌正对摄像头，否则易受手臂干扰 • 改进：将深度与肤色结合起来肤色检测深度分割二者结合

基于Kinect的手势识别流程 • 手势识别流程静态手势识别动态手势识别手势分类和识别过程

基于Kinect的手势识别流程 • 手势跟踪 • 物体的跟踪可以理解为确定其在视频序列不同帧中相对位置的动态过程 • 常用方法：Camshift跟踪算法 • 当视频序列一帧帧变化时，Camshift利用其自动调节搜索窗大小和位置的功能，定位被跟踪目标的位置，并利用已知定位结果来预测下一帧目标位置。如此迭代处理每帧图像，形成动态跟踪 • 常用颜色作为跟踪特征 • 利用Kinect，可以直接对手掌掌心进行跟踪

基于Kinect的手势识别流程 • 根据分类器的不同，目前手势识别的方法有： • 基于模板匹配 • 基于人工神经网络ANN • 基于概率统计模型（HMM） • 基于支持向量机SVM • 基于动态时间规划DTW

基于Kinect的手势识别流程 • 基于模板匹配 • 常用于静态手势识别 • 把输入的图像与预先存储的模板进行匹配，并测量比较其相似度。 • 轮廓边缘匹配、弹性图匹配、基于Hausdorff距离匹配 • Bergh M V D 等人：领域间隔最大化法（ANMM） • 刘玉进等人：引入M+N特征维数的人手成对集合直方图（PGH）特征值 • 简单快速，但准确率不高，可识别数量不多

基于Kinect的手势识别流程 • 基于ANN(人工神经网络) • 是一种基于决策理论方法的识别方法，能进行大规模分布式并行信息处理 • 一般由许多具有非线性映射能力的计算单元(神经元)组成，不同单元之间通过权相连，通过一定训练，能够估算对应某种模型中决策函数的参数，从而完成一定分类的任务 • 可以对未知过程进行拟合，具有一定的学习能力，被大量运用在静态和动态手势识别中

基于Kinect的手势识别 • 误差反向传播的神经网络BPNN • 该神经网络有三层，使用最速下降的学习方法，使网络误差平方和达到最小。 • Murthy G R S等：监督前馈的BP神经网络，对5个不同使用者10种手势进行识别，准确率达89% • 模糊神经网络FNN • 模糊理论与ANN结合的产物 • Tusor B等：用14个取值介于小、中、大的模糊特征值描述不同的手势，并改变了模糊神经网络的拓扑结构使之成为闭环的模糊神经网络，使训练时间缩短，且不明显影响识别率 • 复数域神经网络CVNN • Hafiz A R等人：利用Kinect，对手势进行边缘检测和细化算法建立“手势树模型”，再利用CVNN分类，效果较好

基于Kinect的手势识别 • 基于概率统计模型 • 贝叶斯分类器：密度函数的维数和具体表达形式难以确定，需要估计和假设，结构复杂，配置的参数过多，不适用于复杂手势识别 • 隐马尔可夫模型HMM： • 最简单的马尔可夫过程就是一阶过程，每一个状态的转移只依赖于其之前的那一个状态。HMM描述一个含有隐含未知参数的马尔可夫过程 • 先训练手势的HMM库，使每一种已知手势对应一个HMM。识别时，将待识别的手势特征值代入模型库中的各个HMM，对应概率值最大的那个模型即为该手势 • 较好解决不同手势间时间上的非线性波动问题，提供了时间尺度不变形，但计算量大，实时性依赖于计算速度

基于Kinect的手势识别 • 基于SVM • 通过把特征向量映射到高维空间，使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题，并通过一个线性超平面实现线性划分 • 选择什么样的特征向量是关键

基于Kinect的手势识别 • 基于动态时间规划DTW • 动态规划技术的基础上，具有非线性时间归一化效果的模式匹配算法。 • 使用某种指定属性的非线性规整函数对时间轴上的波动近似建模，通过弯曲其中一个模式的时间轴，使之和另一个模式达到最大程度的重叠，从而消除两个时空表示模式之间的时间差别 • 步骤简单，计算量少，是HMM的简化

基于Kinect的手势识别 设一个参考模板特征矢量时序序列为B={b1,b2,…,bi} ，输入的待识别手势特征矢量的时序序列为A={a1,a2,…,aj} ，其中i≠j。 DTW算法就是要寻找一个最佳的时间规整函数，使待识别手势特征矢量序列的时间轴j(A)非线性的映射到模板手势的时间轴i(B)，使总的累计失真量最小。

基于Kinect的手势识别 设ai为测试模板中某一帧，bj为参考模板中的一帧，记D(ai,bj)为ai与bj的累计距离。为了使路径不至于过倾斜，可以约束斜率在0-2的范围内，如果路径已经通过(ai,bj)，则其通过的前一点只可能在下图三个位置中的一个计算累积距离的递推公式为：

基于Kinect的手势识别 • 算法优化 • 对全局路径的限制，减少畸形匹配 • 如将路径的约束斜率设为1/2~2 待测模板的每一帧只需和菱形范围内的帧进行比较即可减少存储空间减小计算量

基于Kinect的手势识别 • 算法优化 • 设定失真度阈值 • 在待识别索引序列和索引序列库中的某个序列匹配过程中，一旦计算出的部分失真度超过阈值，立即终止，转入对下一个索引序列的匹配 • 节约大量计算开销

Hand Gesture Recognition Using Kinect • 研究背景 • 关于Kinect的研究文献，很少涉及到HGR • 可以识别出移动手势，如上移、下移、向前、向后，但没有识别出指尖 • 对指尖进行跟踪，但没有应用到手势识别，而是机器人操控 • 可以识别出指尖，但识别种类单一，如指尖操控Angtry Bird Software Engineering and Service Science (ICSESS), 2012 IEEE 3rd International Conference on 被引次数：10

Hand Gesture Recognition Using Kinect • A novel method for contact-less HGR using Microsoft Kinect • detect the presence of gestures • identify fingers • recognize the meanings of nine gestures in a pre-defined Popular Gesture scenario.

Hand Gesture Recognition Using Kinect • The system of the present work consists of three main components • Hand Detection（手的检测） • Finger Identification（手指识别） • Gesture Recognition（手势识别）

Hand Gesture Recognition Using Kinect • Hand Detection • First step：separate the hands from the background • 手动设置一个深度阈值zRange：0.5~0.8m，超过这个范围的像素点在程序中不予考虑 • 在这个范围内，至多可以识别两只手

Hand Detection • K-均值聚类算法： • 从n个数据对象任意选择 k 个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类；然后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值）；不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数 • 已知数据集C，将其划分成k个簇C1, C2, …, Ck，每个簇的均值代表点（聚类中心）为m1, m2, …, mk，则误差平方和准则函数公式为：

Hand Detection • K-均值聚类算法： • 本系统中k设置为2，在zRange范围内随机取2点作为初始聚类中心 • 当均值收敛后，属于每个手的点也就聚合完成了 • 当两只手的质心小于一个预定义的值，这两个簇就合并成了一个

Hand Detection • K-均值聚类算法 • 主要优点： • 是解决聚类问题的一种经典算法，简单、快速。 • 对处理大数据集，该算法是相对可伸缩和高效率的。因为它的复杂度是O(n k t ) , 其中, n 是所有对象的数目, k 是簇的数目, t 是迭代的次数。通常k < <n 且t < <n 。 • 当结果簇是密集的，而簇与簇之间区别明显时, 它的效果较好。 • 主要缺点 • 在簇的平均值被定义的情况下才能使用，这对于处理符号属性的数据不适用。 • 必须事先给出k（要生成的簇的数目），而且对初值敏感，对于不同的初始值，可能会导致不同结果。

Hand Detection • 采用Graham扫描算法计算两个聚类中的凸包(convex hulls)，即手的最小凸多边形边界

Hand Detection 在所有点中选取y坐标最小的一点H，当作基点。如果存在多个点的y坐标都为最小值，则选取x坐标最小的一点。坐标相同的点应排除。然后按照其它各点p和基点构成的向量<H,p>与x轴的夹角(就是极角)进行排序以下图为例，基点为H，根据夹角由小至大排序后依次为H，K，C，D，L，F，G，E，I，B，A，J

Hand Detection • 采用Moore-Neighbor Tracing算法进行轮廓检测

Hand Gesture Recognition Using Kinect • Finger Identification • 轮廓检测完成后，所形成的轮廓内接圆的圆心即是手掌掌心，它比两个聚类的质心更加的稳定，因为质心会随着手指的张开，弯曲发生改变 • 掌心用于计算手指的方向 • 采用三点定位法(Three-point Alignment Algorithm)确定指尖

Finger Identification • Three-point Alignment Algorithm • 候选点集C既在凸包上，又在轮廓上 • 对C中的每一点p0，沿着轮廓集取反向的两个点p1，p2 • 计算p1,p2的中点，计算p0到中点的距离d • 如果d大于某个值，证明三点不共线，记为一个指尖点

Finger Identification • Finger Identification Algorithm 利用指尖点之间的距离关系来对指尖进行识别（需要把手指张开进行）

Finger Identification • 当下一帧显示的图形经过变换，可以与上一帧匹配，则上一帧中的所有属性可以映射到下一帧中

Gesture Recognition • 一旦所有手指被识别出来，就可以进行手势识别 • 通过三层分类器（Three Layers of Classifiers） • Finger counting classifier • Finger name collecting • Vector matching: • The direction vectors of all extended fingers are measured, and all pairwise angles between extended fingers are calculated. • The meaning of the gesture is now classified according to these angles

Hand Gesture Recognition Using Kinect • Results • 4 people are asked to perform each of the 9 gestures for 100 times: 50 times with the left hand and 50 times with the right hand.

Hand Gesture Recognition Using Kinect • Results • if the signer uses two hands to do the same gestures at the same time, the accuracy is significantly increased to more than 90% for all nine gestures.

Hand Gesture Recognition Using Kinect • Conclusion and Future Work • 利用深度信息将手从背景中分辨出来 • 利用K-均值聚类算法将手的像素点收敛成2个聚类 • Granham扫描算法计算凸壳， Moore-Neighbor Tracing算法检测轮廓 • 三点定位算法定位指尖 • 利用指尖距离关系识别出每个手指 • 利用三层分类器进行手势识别

Hand Gesture Recognition Using Kinect • Conclusion and Future Work • 用于特殊场景的实时交流：语言和听力有障碍的人群 • 可以在黑暗中工作 • 有良好的可移植性 • 未来发展方向： • 通过HMM可以识别连续性的手势，可以将词语形成句子 • Kinect新版本的发布，使其更适用于HGR

基于 Kinect 的手势识别技术研究