LI Yunhe

Zhaoqing University,Zhaoqing 526061,China

本文引用格式

以腕带类智能手环、手表为代表的智能穿戴设备越来越普及，为广大用户提供了便捷服务。智能穿戴设备一般受尺寸约束，对人机交互形式有特殊的要求。在日常生活中，手势交互是一种常见的、直观的沟通方式，结合了智能穿戴设备受的约束、智能传感设备具有的丰富传感器以及一定的计算能力，相对于传统的人机交互形式，使用穿戴设备作为手势识别终端，改善了人机交互体验，使用户可以进行自由、自然的交互。目前，基于传感器的手势识别已取得一定成果。在文献[ 1 ]中， Yao等人设计了一种分为14个分片的手势分区方法并整合到基于视觉的手势识别框架中，用于开发桌面应用程序、跟踪三维空间中的手势，使用简单轮廓模型来匹配手势，从而支持复杂的实时互动。在文献[ 2 ]中，Lu等人提出了一种用于处理手势识别的加速度和表面肌电图（SEMG，surface electromyography）信号的算法框架。在文献[ 3 ]中，Marin 等人提出了一种关于体感控制数据的手势识别方案，该方案计算基于指尖位置和方向的特征集，并将其发送到 SVM 分类器中，用于识别已执行的手势。在文献[ 4 ]中，Molchanov 等人提出了一种使用 3D 卷积神经网络将驾驶员姿势识别算法的深度和强度数据在 VIVA 比赛数据集上实现的算法，正确分类率可达 77.5％。在文献[ 5 ]中，Caramiaux 等人描述了基于模板的识别方法，该方法采用序贯蒙特卡罗推理法的同时调整输入手势，不同于基于动态编程的标准模板法，如动态时间规整（DTW，dynamic time warping），该算法具有实时跟踪手势变化的自适应过程。在文献[ 6 ]中，Zhang 等人提出了一种新的有效描述符，即3D平面直方图（H3DF），使用H3DF清晰地编码 3D 形状信息。在文献[ 7 ]中，Tsai 等人提出了一个便于查阅日常信息的方法，即不需要操作鼠标和键盘以省去接收信息步骤的系统。在文献[ 8 ]中，Cheng 等人介绍了近年来关于 3D 深度手势识别的研究。目前，基于传感器的手势研究主要集中在将收集的手势相关数据发送到电脑，然后使用轻型设备识别手势。但是，这种识别模型过于依赖电脑进行数据处理和分类，限制了手势的应用范围。

本文提出的基于穿戴设备的 3D 手势识别算法，直接利用智能穿戴设备进行数据处理，这种3D手势识别可以在任何地方实现，不受网络连接和地点限制。因此，此识别模型可以极大地扩大手势的应用范围。如用于PPT讲座演示、控制智能家电甚至无人驾驶飞行器的飞行轨迹。此外，每个人有独特的手势习惯，尤其是复杂手势，因此可以提取每个人的独特手势特征，创建用于手机解锁和简单身份认证的轨迹指纹。不同于基于视觉的手势识别，本文提出的手势识别方法受环境背景和光照条件的影响较小。即使在步行时，也可以使用该方法，对识别率影响小，比基于视觉的手势识别优势更大。

本文利用动态时间归整算法识别并优化手势，从而提高手势识别效率 ^{[ 9 ]} 。DTW算法的核心思想为：将输入的主要数据与预存储的模板进行匹配，并通过测量两个模板之间的相似性完成识别任务 ^{[ 10 ]} 。考虑手势持续时间会随机发生变化，模板匹配必须在时序长度上处理输入的数据和预存储的模板之间的一致性 ^{[ 11 ]} ，因此，DTW算法具有一定优势。本文提出的识别方法包括使用DTW算法进行的数据预处理和识别。

当使用智能穿戴设备做手势时，加速度传感器采集的手势相关数据会引起噪声干扰，并且受握手和传感器精度影响，数据波形会上下波动。进行静态去噪的主要目的是处理噪声干扰并降低对识别精度的影响 ^{[ 12 ]} 。本文采用简单滑动平均滤波器对加速度相关数据进行静态去噪，在保证快速响应的前提下，有效滤去随机噪声 ^{[ 13 ]} 。对SMA的推导如下

其中，n表示数据序列的长度，其数值与平滑效果相关。当n过低时，平滑效果不明显；当n过高时，平滑效果稳定，但容易造成手势信息丢失。在不同情况下，n的范围通常为5~15，可用式(2)直接计算。

对手势相关数据进行平滑和去噪前、对手势相关数据进行平滑和去噪后分别如 图1 、 图2 所示。从 图1 和 图2 中可以看出，在原始数据被滤波器滤过并开始静止后，数据波形变得平滑且清晰。

截取和判定手势的起点和终点对于识别手势非常重要 ^{[ 14 ]} 。为了有效区分两个相互连接却不相关的手势区域，必须截取合适的手势长度。如果截取的手势长度过长，则数据冗余，从而导致设备的计算资源浪费；如果截取的手势长度过短，将发生手势相关数据丢失，从而影响特征提取。因此，需要对基于动态多阈值检测的手势进行检测。

此外，假定 $X_k^{acc}$ 、 $Y_k^{acc}$ 、 $Z_k^{acc}$ 分别是微机电系统（MEMS，micro-electro-mechanical system）加速度计在第k个采样点上沿X轴、Y轴和Z轴的加速度，假设 $X_k^{acc}$ 、 $Y_k^{acc}$ 、 $Z_k^{acc}$ 分别是 MEMS 陀螺仪沿第k个采样点上X轴、Y轴和Z轴的角速度。则其关系可以表示为

基于动态多阈值，通过以下两个步骤截取手势。首先，将Ats ₁ 的初始阈值设置相对较高，即Ats ₁ =max*0.8，其中，max是沿加速度方向的 3 个轴得到差异序列的绝对值后计算得到的最大值；当找到Ats ₁ 时，向前搜索找到Atb ₁ =max*0.2对应的时间点，此时，Atb ₁ 为手势起点，同样可以通过向后搜索检测终点，找到Atf ₁ =max*0.2对应的点，从而检测到终点。在此情况下，Atf ₁ 是终点，截取手势相关数据的点选择如 图3 所示。

基于动态多阈值检测3个数据轴的数据，根据手势类型排除对数据轴产生干扰的影响。最后，得到有效 Ats ₂ 、Ats ₃ 、Ats ₄ 、Atf ₂ 、Atf ₃ 、Atf ₄ 、Atb ₂ 、Atb ₃ 、Atb ₄ 。当确定两个数据集(Atb _i ,Atf _i )时，定义Ats和Atf、Ats和Atb 之间的时间差，从而避免将连续手势错误判定为几个手势。此外，应定义Atf 和Atb 之间的时间差，使得用户的意外握手动作被错误识别为手势的开始。为了保证手势相关数据的完整性，在 Atb 和 Atf 处截取的时序适当向T _e 两端延伸。在平滑处理手势相关数据并进行手势检测后，首先检测Ats对应的时序点；然后，向前和向后搜索找到Atb 和Atf 对应的时序点。时序适当向T _e 延伸，以获得关于手势加速度的完整数据。截取手势相关数据前、截取手势相关数据后分别如 图4 、 图5 所示，显示了截取手势前、后的相关数据对比。

作为与非线性时间归一化同样有效的模式匹配模型，DTW 算法基于动态规划对具有指定属性的非线性规整函数的时间轴波形进行近似建模，并使模式的时间轴弯曲以最大程度与另一个模式重叠，目的是去除两个时空模型间的时间差。两个时序的规整如 图6 所示，DTW 算法是隐马尔可夫模型的简化形式，两者在对比简单时序的能力方面相同。DTW 算法能够灵活实现测试和参考模式之间的正确排序。

对于DTW算法，可以通过动态规划法将关于全局优化的复杂问题转换为关于局部优化的多个问题。在DTW算法中，将模板库中存储的所有手势作为样本模板，每个手势模板可以表示为 $\{R(1),R(2),\cdots ,R(m),\cdots ,R(M)\}$ 。其中，m是训练手势的时序数，m=1是起点的数据帧，m=M 是终点的数据帧，M是模板的数据帧总数， $R(m)$ 是第m个数据帧的手势特征向量。所识别的输入手势是一个测试模板，可以表示为 $\{T(1),T(2),\cdots ,T(n),\cdots ,T(m)\}$ ，其中，n是测试手势数据帧的时序数，n=1是起点的数据帧，n=N是终点的数据帧，N是该模板的数据帧总数， $T(n)$ 是第n个数据帧中的手势特征向量。一般来说，在样本模板和测试模板中使用相同类别的特征向量，如梅尔频率倒谱系数（MFCC，mel frequency cepstral coefficients）和线性预测编码（LPC，linear predictive coding）。DTW算法用于求解时间规整函数( j=w(i))，使得测试向量的时间轴(i)非线性映射到该模板的时间轴(j)，并满足式(5)。

其中， $d[T(i),R(w(i))]$ 是第i ^th 个数据帧的测试向量 $T(i)$ 与第 j ^th 个数据帧的板矢量之间的测量距离。Dist是最优情况下两个向量之间的匹配路径。

若N=M，则可以直接进行计算或需要考虑 $R(M)$ 和 $T(N)$ 是否对应。此对应可以通过线性扩展实现，并且如果N小于M，则可以将T线性映射到一个M数据帧序列中，然后计算其和{R(1),R(2),…,R(m)}的距离。但是，上述计算过程未考虑在不同情况下，每个阶段手势持续时间的变化，因此识别效果不好。

本文选取动态规划法进行识别，通过创建一份沿着指定曲线路径的边界链表，并根据手势相关数据的特征和智能穿戴设备的限制设置失真阈值，对DTW 算法进行改进。改进的算法不但有效减少了计算量，而且提高了手势识别效率。

根据斜率划定沿DTW算法的曲线扭曲处的路径，因此要计算的格子数会大幅度减少。此外，DTW算法通过斜率约束对搜索路径进行限制。为了使路径不过于倾斜，将斜率设定在 0~2。事实上，由于匹配过程中存在斜率约束，许多格子是不可及的。有限曲线路径如 图7 所示，原始DTW算法在判定要计算的点是否满足特定斜率要求前，计算虚线内的所有格点。

当M和N都等于 4时，重复计算 16次。在限定斜率的情况下，虚线只能在黑点所处的格点上延伸。假设在判定格点是否满足斜率要求后，只计算满足斜率限定要求的标记格点，则匹配频率将显著降低。根据上述分析可以推断，当限定斜率时，可能减少式(6)所示的 f(M)个格点数，其中，d表示距离。

在存在斜率约束的情况下，N（要识别的手势对应的数据长度）和M（样本模板的数据长度）根据式(7)限定

如果不满足式(7)，则表示不能对要识别的手势和样本模板的手势进行时间规整，不同手势的差异很大，即它们属于不同类别。在这种情况下，程序可以直接暂停用于匹配样本模板的当前计算，并跳转至下一个样本模板。

蓝牙是设备间进行近场通信的便捷方式，苹果手机安装蓝牙4.0后，专用Core Bluetooth.framework通过蓝牙操作对设备间通信进行统一管理。Core Bluetooth的设计与客户端和服务器类似，其中，服务器设备被称为“外围设备”，客户端设备被称为“中心设备”，Core Bluetooth的完整架构都是基于此概念设计的。CB Peripheral Manager 表示 Core Bluetooth的外围设备，通常用于启动服务、生成和存储数据。启动和广播服务用于告知用户周围的中心设备有哪些服务和功能可用。CB Central Manager表示Core Bluetooth的中心设备，采用外围设备的数据。中心设备在扫描外围设备后尝试创建连接，成功创建连接后，将获得可用的服务和功能。

外围设备和中心设备之间的交互媒介是 CB Service and CB Characteristic，都使用唯一的UUID （一种 CBUUID）来确定唯一的服务或特征，每项服务可能具有多个特点。

画矩形的手势：顺时针画矩形的手势不同于顺时针画圆形的手势，其在空间内的 4个矩形拐点处停止并减速，因此，其波形明显不同于顺时针画圆形时生成的波形。对于这些手势，数据波形交替出现在X 轴和Z轴上，构成一个M形，便于区分这些手势与其他手势，其波形结构如 图8 (g)所示。逆时针画矩形的手势与上述步骤一致，而运动方向不同，可能影响X 轴和Z轴交替出现的顺序，其波形结构如 图8 (h)所示。

本文研究了基于运动传感器的动态手势识别，应用智能穿戴设备的算法并测试了识别精度。创新性地识别了移动设备的 3D 手势，并解决了传统的基于视觉的手势识别技术，这种传统技术容易受外部环境的干扰并受摄像头移动范围的限制。随着移动设备的日益普及，本文提出的方法将推广到更多领域，实现更好的人机交互体验。本文设计了8种相对简单且常见的手势，可以根据轨迹进行区分，为将研究成果推广到更多领域奠定了坚实基础。对于所提出的方案，考虑每个人有独特的手势习惯，特别是在做复杂手势时，可以从手势中提取唯一特征，以创建手机解锁和简单身份认证的轨迹指纹。大量测试表明，本文提出的手势识别算法合理有效，平均精度达90％左右。当识别闭环手势时，准确率超过90％。与其他具有相同精度的手势识别算法相比，本文提出的算法复杂度更低，识别速度更快。在行走期间识别手势时，平均识别精度可以满足识别要求，因此，本文提出的算法可以实现较高的识别率。