冯俊 何晔 马宁

摘 要 通过态势与虚拟现实技术结合，可增强对整体态势的掌控与理解能力，将真实人手引入，利用虚拟手与场景交互，可自然高效地完成任务。使用惯性传感器采集人体手部基本动作信息，约定人手动作类别，结合隐马尔夫模型在三维态势模拟场景中定义识别人手动作类别方法，设计符合逻辑的语义交互模式，在三维态势模拟场景进行验证。

关键词 惯性传感器;手势识别;语义交互

引言

在构建三维态势模拟场景时引入虚拟人手，在三维态势模拟场景中实现基于虚拟人手的人机交互技术，对人手动作类别进行识别和语义映射，从而可以很好地控制虚拟人手在三维态势模拟环境中的交互[1]。

针对此应用场景，使用惯性传感器采集人体手部基本动作信息，在获得人体手部基本动作运动数据的同时，有效地规避了光学设备的遮挡等问题，操作者还具有极强的沉浸感，开发成本低，更有利于推广[2-3]。

1基于惯性传感器的手部数据采集

使用惯性传感器，获得人体手部基本动作运动数据，通過人体手部基本动作运动数据和虚拟现实技术来重现人体手部基本动作，便于对特定手势动作进行分析与研究。

1.1 惯性传感器简介

MEMS惯性传感器具有体积小，便于佩戴，采集效率高等优点，MEMS是由三轴加速度计，三轴陀螺仪和三轴磁强计构成的九轴传感器，三轴加速度计和三轴陀螺仪采用MPU6050传感器，三轴磁强计采用HMC5883传感器。

三轴陀螺仪可以测得转动角速度，但长时间运行会对转动角速度产生累积误差。而三轴加速度计可以测得三个轴向的加速度，可以用来修正三轴陀螺仪测得的俯仰角和滚转角。三轴磁强计的罗盘精度在一度到两度，可以用来修正三轴陀螺仪测得的偏航角。

1.2 手部运动姿态数据表示

为了精准描述手部在运动过程中的旋转姿态，常用欧拉角进行表示。欧拉角表示定点转动刚体位置的一组独立的角参量，由偏航角、俯仰角和滚转角三种转角构成。手部主要关节的旋转姿态可分别分解为三个角度的旋转来表示，一共就有12种组合方式。本文采用的旋转方式是，分别表示偏航角，俯仰角，滚转角。绕轴旋转度，绕轴旋转度，绕轴旋转度，因此绕着旋转后得到的复合旋转矩阵表示为：

使用欧拉角表示手部旋转姿态，在计算过程中，当俯仰角接近时，会出现“奇点”问题，可引入四元数的方式来描述姿态数据。四元数常用于姿态控制，轨道力学等领域，它是由实数和三个复数元素组成，欧拉角到四元数的转换表示为：

式（1.2）

四元数到欧拉角的变换公式为：

式（1.3）

2面向特定场景的手部动作识别

在特定场景的交互过程中，手部动作识别是其中不可缺少的环节。手部动作识别主要有以下几个步骤：定义手部动作序列，提取分析手势特征并表示，最后采用隐马尔可夫模型（简称HMM）对动作序列进行识别。

2.1 人手动作特征表示

人手动作特征表示就是采用区分不同人手运动动作的特征来表示人手运动动作。人手的运动可以抽象为人手关节骨骼的运动，手部骨骼示意图如2.1所示。

本文通过骨骼的朝向、手指的弯曲程度、关节上的骨骼夹角和手指指尖间距来表示人手动作特征。

2.2 基于HMM的人手基本动作类别识别

HMM是一种基于统计分析而建立的模型，常被应用于人手动作模拟的人机交互环境中。采用HMM进行人手基本动作类别识别主要包含人手基本动作类别定义、人手基本动作数据采集，人手动作特征匹配，模型训练和人手基本动作类别识别分类。

（1）手手基本动作类别定义

根据三维态势模拟场景应用，定义人手基本动作类别，并进行相关的运动数据采集和智能识别，人手基本动作类别如下表2.1所示。

（2）模型训练与人手动作特征匹配

通过人手基本动作类别数据不停地对模型的初始参数进行不断的调整优化，以达到最佳结果的过程就是模型训练的过程[4]。训练完成后就可对人手基本动作类别进行识别，得到识别的概率值，识别出的人手基本动作类别即为概率最大的类别[5]。

（3）实验结果分析

每一种人手基本动作类别需要建立一个HMM模型，不同的模型设置不同的初始参数，然后进行反复的训练，直到得到最佳的参数设置。人手基本动作类别识别过程中采集了600组实验数据，识别率结果如表2.2所示。

3基于场景的语义交互应用

三维虚拟态势场景中目标不仅具有位置、颜色、大小等属性信息，还有语义交互信息，如人机交互策略、交互判断规则、限制条件等。在三维虚拟态势场景中引入语义交互信息，可以提高在人手基本动作类别在三维虚拟场景中的识别率[6]。

在三维态势虚拟场景中虚拟人手简单实用，操作方便，可以通过虚拟人手在三维态势虚拟场景中进行相关操作指令。不同的三维态势虚拟场景，进行不同的操作来实现不同的目的，完成不同的任务[7]。

根据虚拟态势场景，建立语义对象的信息存储库，将语义对象的约束信息以节点属性形式存储。当虚拟场景中增加语义对象时，会根据不同的场景，从存储库中选择添加，场景中的对象都具有不同的语义信息，增强了场景的语义表达能力，使虚拟环境提供了智能的上下文感知能力。在操作虚拟人手时，三维态势模拟场景通过对人手基本动作类别进行分析识别，结合交互语义，分析操作目的，完成操作指令，语义描述如表2.3所示。

根据上述人机交互操作的描述，以三维态势模拟场景中的直升机模型为例。将虚拟人手放在要进行操作的直升机模型附近，点击并滚动操作进行放大直升机操作，三维态势模拟场景对人手基本动作类别进行分析识别，结合交互语义，分析指挥参谋操作目的，完成放大直升机模型的操作指令，如图3.1所示（图在文末）。

4结束语

基于MEMS惯性传感器进行手部动作序列采集与识别，在此基础上，通过解析手势的交互语义，实现基于场景上下文理解的语义交互，并在态势虚拟场景中加以应用。在未来的研究中，可将多种传感器融合进行手部数据采集，提高识别的准确性。

参考文献

[1] 陈娜，李文强，李彭伟.沉浸式态势感知中手势交互应用[J].指挥信息系统与技术，2019，8（4）：38-42.

[2] 容志能.惯性运动捕捉系统中传感数据的传输与处理[D].杭州：浙江大学，2012.

[3] 赵健.基于视觉的手势识别和人体姿态跟踪算法研究[D].北京：北京交通大学，2014.

[4] 陈娜.面向航天测法发任务的虚拟手交互技术研究[D].南京：南京理工大学，2017.

[5] 李晓丹，肖明，曾莉.人体动作捕捉技术综述以及一种新的动作捕捉方案陈述[J].中国西部科技，2011，10（15）：35-37.

[6] 魏勇.虚拟地理环境中基于语义的三维交互技术研究[D].郑州：解放军信息工程大学，2012.

[7] 李振波，孟祥旭，向辉.复杂虚拟场景构造及交互漫游实现研究[J].系统仿真学报，2002，14（9）：1183-1187.

图3.1 手势交互效果图

作者简介

冯俊（1989-），男;职称：工程师，现就职单位：中国电子科技集团公司第二十八研究所，研究方向：二三维场景标绘。

何晔（1989-），女;职称：助理工程师，现就职单位：中国人民解放军94782部队指挥自动化工作站，研究方向：自动化。

马宁（1991-），男;职称：助理工程师，现就职单位：中国电子科技集团公司第二十八研究所，研究方向：三维图形建模与可视化。