面向VR放置任务的自然手势交互时间的预测

2021-07-13颜宝明潘伟杰赵泽宇

工程设计学报 2021年3期

颜宝明，潘伟杰，吕健，王毅，赵泽宇

（贵州大学现代制造技术教育部重点实验室，贵州贵阳 550025）

随着交互技术的快速发展，自然交互（natural interaction，NI）作为一种新的体验技术被广泛应用于虚拟现实（virtual reality，VR）环境中［1］。用户在日常生活中与真实世界的互动可以转化为人与机器之间的交互［2］。在人机自然交互中，用户在人机系统中的输入方式分为手势行为输入和其他肢体行为输入。传统的鼠标、键盘等交互设备仅适用于二维交互，无法满足VR 环境中人机交互对交互设备和交互方法的新要求［3］。在三维交互中，Oculus手柄、HTC Vive手柄等设备［4-6］结合头戴显示器和定位系统，根据用户发出的指令，在执行VR 交互任务时具有效率高、延迟低等特点。然而，在执行VR 交互任务时，雷金树［5］发现相比于通过手柄交互，用户更倾向于通过自然手势直接与虚拟对象交互。随着VR 技术的快速发展，一种更加接近真实人手操作的人机交互方式开始出现。梁民仓等［7］以Leap Motion控制器和Kinect控制器等为交互设备，通过机器视觉技术和图像处理技术获取图像和视频，达到手势特征识别和重建的目的［7］。

为了在VR 环境中准确模拟用户的放置任务并预测自然手势的交互时间，笔者提出了一种基于改进Fitts 定律的面向VR 放置任务的自然手势交互时间的预测方法。首先，构建“手势交互—VR环境—VR交互任务”的交互逻辑；然后，进行自然手势交互实验，根据放置任务和改进Fitts 定律确定影响自然手势交互时间的因素，并建立相应的预测模型，旨在为面向VR 放置任务的用户交互时间的准确预测提供参考。

1 自然手势交互和Fitts定律简介

1.1 自然手势交互

随着Leap Motion 控制器、Kinect控制器等体感交互设备的不断涌现，人机交互逐渐发展为在三维场景中的自然人机交互。为了实现二维场景到三维场景的可视映射，冯志全等［8］利用普通摄像机获取手势特征并引入“替身”，提出了一种基于自然手势交互的三维人机交互方式。张凤军等［9］利用智能手机的惯性传感器控制输入，实现其与三维场景相连，这种交互方式具有实时、快速和易学习的优点，但难以实现对复杂动作的模拟。为了将手势交互融入三维体验系统，吴汇岳等［10］基于“paint-view-correct（描绘—观察—修正）”构建了手势界面工具IEToolkit，并将其应用于虚拟家居展示和城市漫游系统，取得了良好的三维交互效果。针对自然手势与虚拟对象的直接交互，Huang 等［3］开发了一种沉浸式手势系统，可以在VR环境中利用自然手势很好地完成与复杂图形的交互，其交互效果优于利用鼠标、键盘的交互。

虽然手势交互被认为是目前最自然的交互方式之一，但现有的交互效果并不理想，存在人工跟踪算法使用效率低、长时间交互易引起手部疲劳等不足［11］。因此，笔者在设计放置实验时，综合考虑了影响自然手势交互时间的多种因素，并设计了多种面向VR放置任务的自然手势。

1.2 Fitts定律

Fitts定律广泛应用于二维交互界面的设计。针对交互界面的设计，ISO（International Organization for Standardization，国际标准化组织）提出了一种用于预测交互任务难度指数和交互时间的方法［12］。自1954 年Fitts 定律提出以来，其有效性已被诸多研究证明。在人因工程领域，Fitts定律是评价定向装置有效性的重要数学模型，可用于测定输入设备的指向和选择。Fitts定律指出，将物体从一个目标区域移动到另一个目标区域所需的时间是关于目标物宽度和移动距离的函数［13］，其基本公式为：

式中：tM为移动时间；a、b为常数，可通过MATLAB拟合工具箱回归分析得到［13］；ID为难度指数；A为移动距离；W为目标物宽度。

经典Fitts 定律为完成一维、二维场景中的指向任务提供了较好的理论依据。国内外学者基于经典Fitts定律开展了很多研究，如Dunagan等［14］利用Fitts定律较准确地预测了在触摸平板上完成指向任务的交互时间。

经典Fitts 定律并不适用于三维场景，因此很多学者对经典Fitts 定律进行了改进。Jeong 等［15］用手指在触摸屏上滑动来完成三维场景中的指向任务，利用改进的Fitts定律更加精确地预测了完成指向任务的交互时间。Burno 等［16］通过自然手势完成了三维场景中的指向任务，并与利用鼠标和触摸屏进行交互作了对比，发现基于自然手势的交互时间长于基于鼠标和触摸屏，但自然手势交互的吞吐率较低。

Deng 等［17］利用光线投射算法对三维虚拟场景中的物体定位任务进行了系统研究，提出了面向VR放置任务的交互时间预测模型，并通过实验改进了经典Fitts定律。其改进的Fitts定律表示为：

式中：tMA为改进后的移动时间；IDA为改进后的难度指数；TT为目标物容差。

Deng等的研究表明，影响交互时间的主要因素为难度指数、移动距离和目标物容差。通过手柄放置实验发现，改进Fitts定律还有待进一步优化。Holmes 等［18］利用Leap Motion 控制器将手势交互应用于VR 环境，所得结果同样满足改进Fitts 定律。虽然Deng 和Holmes等均对经典Fitts定律进行了改进，但其并未研究自然手势交互在VR 放置任务中的适用性以及自然手势交互时间与实际交互时间之间的一致性问题。基于此，笔者拟基于改进Fitts 定律和自然手势交互理论，对VR环境中的放置任务作进一步研究，进行面向VR放置任务的自然手势交互时间的预测。

2 自然手势交互方法及设计

2.1 “手势交互—VR 环境—VR 交互任务”交互逻辑

通过对交互方式、交互环境和交互任务的分析，在VR 环境中构建一个合理有效的自然手势交互框架。在实际生活中，用户常用的包含交互语义的手势分为通信型手势（如手语）和操作型手势（如操纵具体物体）。在VR环境中，交互对象为虚拟对象和VR界面；交互方式分为桌面交互和自然手势交互，其中自然手势交互包括基础手势交互和组合手势交互；交互任务分为导航、对象控制和放置。基于此，根据用户活动和VR 环境中的交互任务，构建了“手势交互—VR环境—VR交互任务”交互逻辑，如图1所示。

图1 “手势交互—VR环境—VR交互任务”交互逻辑Fig.1 Interaction logic of"gesture interaction-VR environment-VR interaction task"

2.2 自然手势设计原则

对于VR环境中的放置任务，Connolly等［19］指出用户、计算机和任务是VR交互中必不可少的3个重要因素。基于Fitts定律和图1所示的交互逻辑，提出3条面向VR放置任务的自然手势设计原则，具体为：

1）用户体验原则。以用户为中心，手势交互应满足易学、易操作的要求，符合用户的正常交互习惯。在设计过程中，应降低无意识操作的影响，提高用户的操作意识，把握用户心理和顾及风俗等因素，将简单手势复用，减轻用户学习和记忆的负担。

2）目标需求原则。在基础手势的基础上设计其他对比手势，以丰富手势类型。在本文中，手势类型的设计须满足放置任务的要求，确保对应的操作能够完整地完成放置任务。

3）环境限定原则。设计的手势应能适应特定环境。考虑到手势感应范围的有限性，划定相应的操作范围；考虑到手势遮挡等问题，也须限定操作范围。

2.3 自然手势交互设计及语义映射

基于上述自然手势设计原则，为了准确完成VR放置任务，结合VR 交互特点和用户行为特点，设计了3种基础自然手势，如图2所示。利用Leap Motion控制器以及虚幻引擎UE4调用手势指令。在UE4中张手可调用射线，握拳使物体平移，张手和握拳交替进行可以实现物体放置。建立用户、手势指令与交互任务之间合理的语义映射关系是人机交互的关键。通过自然手势与交互任务的准确映射，可实现用户与虚拟对象的准确交互。自然手势与交互任务之间的语义映射关系如表1所示。其中：自然手势①适用于二维场景交互，不适用于三维场景交互；自然手势②、③、④存在手遮挡等问题，在放置较小物体时，移动距离误差较大；自然手势⑤、⑥采用控制射线的方式间接完成交互任务，可以移动并放置距离较远的物体。针对本文研究目的，选用自然手势⑤、⑥进行面向VR放置任务的自然手势交互实验的设计。

图2 面向VR放置任务的3种基础自然手势Fig.2 Three basic natural gestures for VR placement task

表1 自然手势与交互任务之间的语义映射关系Table 1 Semantic mapping relationship between natural gesture and interaction task

3 面向VR放置任务的自然手势交互实验

3.1 实验目的

VR放置任务如图3所示。用户使用自然手势在VR环境中完成物体放置任务，并对其交互时间进行预测，主要包括：1）在VR 环境中通过自然手势控制射线移动物体，完成放置任务；2）验证经典Fitts 定律和改进Fitts 定律预测面向VR 放置任务的自然手势交互时间的适用性。

图3 VR放置任务示意Fig.3 Schematic of VR placement task

3.2 实验设备

面向VR 放置任务的自然手势交互实验的设备如图4 所示。软件设备：虚幻引擎UE4 和绘图软件Vision 等。硬件设备：1 台搭配LG 曲面屏的Windows10 系统台式电脑、Leap Motion 控制器和THC头盔。

图4 面向VR放置任务的自然手势交互实验的设备Fig.4 Equipment of natural gesture interaction experiment for VR placement task

3.3 实验对象

在贵州大学招募14名学生参与实验，其中男性9名，女性5名，年龄为（23±2.0）岁，身高为（165.8±9.2）cm。所有参与者均视力正常，为右手使用习惯，且从未使用过Leap Motion 控制器，对VR 设备的操作不熟练。

3.4 实验方法

在虚幻引擎UE4中搭建一个长、宽均为20 m，高为5 m的VR场景，任务开始前移动球体和目标球体均放在0.5 m×0.5 m×1.0 m立方柱的正中央。参照文献［17，20］，选取7个不同直径的移动球体（其直径SO=0.06，0.12，0.18，0.24，0.30，0.36，0.42 m）、2 个移动距离（A=0.6，1.6 m）和3 个不同的目标物容差（TT=0.1，0.2，0.3 m）。在VR环境中，移动球体为绿色球体；目标球体为半透明的黄色球体，其直径W=0.16～0.72 m。为了确保移动球体出现在用户视觉范围内，移动球体和目标球体距离地面的高度均为0.8 m，移动球体与实验对象的距离为1 m。考虑到用户移动物体的习惯，设物体移动方向为水平方向。根据设计的实验任务，每名参与者须完成42个放置任务，每个放置任务重复10 次，则每名参与者须完成420次实验，共采集14×420=5 880个实验数据。

在VR空间中，移动物体的速度v与其在水平方向（x方向）上的分量vx的大小基本一致，而另外2 个方向的分量vy和vz较小，对移动物体速度的影响较小，因此采用水平方向作为物体的移动方向来设计手势交互实验。

3.5 实验过程

在实验前，提醒实验者注意实验事项，并协助他们佩戴好HTC头盔，调整好所在位置。随后，让实验者完成如下任务：迅速、准确地用自然手势将移动球体放入目标球体，如图5所示。

面向VR 放置任务的自然手势交互实验的场景如图6所示。实验者使用自然手势⑤和⑥执行放置任务，即张手发射射线，然后迅速握拳，快速、准确地选中移动球体并将其放置到目标球体中。在实验过程中，实验者张手将射线朝向移动球体，当射线触及移动球体时，其表面出现蓝色光标且颜色由绿变红；当实验者将移动球体完全放入黄色目标球体时，移动球体立即变成绿色，并发出清脆的“叮铃”声，提示放置任务成功，记录此时的交互时间。成功完成一次放置任务后，实验者停顿6 s再进入下一个试次。每名实验者的实验时间为40 min 左右。在正式开始前，实验者可进行20 次适应性练习，时长大约为5 min，练习结束后进行正式实验。

3.6 实验结果及分析

在实验过程中，由于实验者长时间保持操作状态导致手部疲劳以及Leap Motion 控制器自身的灵敏度问题，使得一部分实验数据无效，因此须剔除无效数据再进行数据的处理和分析。有2名实验者将移动球体放入目标球体的失误率为50%和43%，因此他们的实验数据为无效数据，予以剔除。其余12名实验者的失误率为（7.381±2.143）%，其实验数据予以保留，则共获得5 040个有效数据。当实验者出现个别组10次放置任务均未完成的情况时，采用该组对应条件下的总体平均值代替。对12名实验者的自然手势交互时间取平均值，得到每个组别的交互时间tMA。实验结果如表2所示。

图5 面向VR放置任务的自然手势Fig.5 Natural gestures for VR placement task

图6 面向VR放置任务的自然手势交互实验的场景Fig.6 Scene of natural gesture interaction experiment for VR placement task

表2 面向VR放置任务的自然手势交互实验的结果Table 2 Results of natural gesture interaction experiment for VR placement task

根据表2，制作了面向VR 放置任务的自然手势交互时间与各影响因素的关系，如图7所示。为了分析移动距离、目标物容差和移动球体直径对自然手势交互时间的影响，在SPSS（statistical product and service solutions，统计产品与服务解决方案）软件中，进行2×3×7 的三因素重复测量方差分析，设水平点α=5%。通过箱式图判断，各组数据无异常值。经过Mauchly 球形度检验后可知，移动距离、目标物容差和移动球体直径的p＜0.05，违背了Mauchly球形度检验，须进行Greenhouse-Geisser矫正。通过主体内效应检验可得，对于移动距离，F（1，11）=110.264，p＜0.001，p=0.000（经Greenhouse-Geisser矫正），说明其对交互时间有显著效应，交互时间随移动距离的增大而显著增长，如图7（a）所示；对于目标物容差，F（1.160，12.757）=108.633，p＜0.001，p=0.000（经Greenhouse-Geisser矫正），说明其对交互时间的主效应也较为显著，交互时间随目标物容差的增大而快速缩短，如图7（b）所示；对于移动球体直径，F（3.026，33.283）=27.192，p＜0.001，p=0.000（经Greenhouse-Geisser 矫正），说明其对交互时间的主效应也较为显著，交互时间随着移动球体直径的增大而缩短，但是当球体直径增大到0.24 m后，交互时间的变化逐渐趋于平缓，如图7（c）所示。由于目标球体直径随目标物容差和移动球体直径的变化而变化，为了得到其对交互时间的影响，作交互时间随目标球体直径的变化曲线，如图7（d）所示。随着目标球体直径的增大，交互时间并不一直减小，说明移动球体直径和目标物容差存在交互作用。为了判断交互项因变量（移动距离、目标物容差和移动球体直径）的交互作用是否具有统计学意义，进行了Mauchly 球形度检验，检验发现交互项因变量的p＜0.05，须进行Greenhouse-Geisser 矫正；F（3.793，41.721）=45.146，p＜0.001，p=0.000（经Greenhouse-Geisser 矫正），说明移动距离、目标物容差和移动球体直径的交互作用对交互时间的主效应显著，具有统计学意义。另外，移动球体直径对交互时间的影响与真实环境中的结果存在差异。VR 放置任务不同于二维平面上的指向任务，移动物体大小对交互时间有显著影响，因此在预测交互时间时不可忽略该因素。

4 面向VR放置任务的自然手势交互时间的测定

图7 面向VR放置任务的自然手势交互时间与各影响因素的关系Fig.7 Relationship between the natural gesture interaction time and the influencing factor for VR placement task

将实验数据导入MATLAB拟合工具箱［13］，采用多元线性回归分析法进行回归分析。基于经典Fitts定律拟合得到的相关系数R2=0.515，结果如图8（a）所示。通过回归分析得出：a=-23.241，其95%CI（confidence interval，置信区间）为［-383.26，336.78］；b=480.28，其95%CI为［331.49，629.06］。将a、b代入式（1），可得：

图8（a）表明交互时间预测值与真实值间存在偏差。出现偏差的原因有2个：1）未考虑移动球体的直径；2）未考虑目标物容差。通过上文分析可知，移动物体大小和目标物容差对交互时间有显著性影响，在构建面向VR 放置任务的自然手势交互时间预测模型时须考虑这2个因素。式（1）展开后变为：

Deng等利用目标物容差TT代替目标物宽度W，基于式（2）拟合得到的相关系数R2=0.927，表明采用目标物容差TT更合理。基于上文三因素重复测量方差分析结果可知，交互时间与移动物体大小成反比。考虑移动物体大小的影响，对式（2）进行改进，可得［17］：

图8 面向VR 放置任务的自然手势交互时间与难度指数的关系Fig.8 Relationship between the natural gesture interaction time and the difficulty index for VR placement tasks

利用MATLAB拟合工具箱，基于式（5）拟合得到的相关系数R2=0.970，结果如图（b）所示。其中：a=51.56，其95% CI 为［-79.95，183.1］；b=135.40，其95% CI 为［100.6，170.1］；c=0.611，其95% CI 为［0.446，0.777］。对比图8（a）和图8（b）可知，基于式（5）的拟合结果优于基于经典Fitts定律的拟合结果。将a、b、c代入式（5），可得：

由上文分析可知，在自然手势交互中，移动距离、目标物容差和移动物体大小对交互时间的影响程度不同，且移动距离和目标物容差对交互时间的影响更大，而式（2）只体现了移动距离和目标物容差的影响，式（6）则体现了移动距离、目标物容差和移动物体大小对交互时间的影响。进一步分析图8（b）发现，有些点不在拟合曲线上甚至严重偏离。通过方差分析可知，除了因控制器抖动造成的人为误差外，偏离点对应的均是直径较小的移动球体，因此必须考虑移动物体大小对交互时间的影响。故在自然手势交互时间的预测上，式（6）的预测精度更高。

根据表2 数据和公式（6）进行计算，得到自然手势交互时间随难度指数的变化曲线，如图9所示。对比图9（a）和图9（b）发现：移动距离越大，目标物容差越小，则难度指数越大，对应的交互时间越长；移动球体直径越小，其对应的交互时间越长。