柳有权，王愿超，徐 琨，刘正雄，黄攀峰

基于混合现实的远程协同式装配维修引导

柳有权1，王愿超1，徐 琨1，刘正雄2，黄攀峰2

(1. 长安大学信息工程学院，陕西 西安 710064；2.西北工业大学航天学院，陕西 西安 710072)

提出一种基于混合现实设备HoloLens头盔的一种远程协同装配维修系统。利用HoloLens的深度摄像头和摄像头对空间的感知能力，通过改进手势识别算法将专家端的二维手势操作转换为用户端的三维动画标识。这种简洁生动的三维动画标识通过空间锚点固定在相应的空间位置上，为操作人员开展下一步操作提供清晰的指引，且无需放下手头工作与计算机进行手势交互，实现了专家-用户模式的远程协同工作。相对于传统的协同式系统，实验验证了该文开发的协同式装配维修引导系统的友好性和实用性。

远程协同；混合现实；人机交互；装配维修；HoloLens

近10年来混合现实(mixed reality，MR)和增强现实(augment reality，AR)技术得到迅猛发展，其在工业制造和装配方面的应用价值逐渐得到体现，可以减少培训时间、提速制造周期。MR/AR通过为现实世界叠加数字信息为现场人员提供文字、语音、3D模型、视频等多种辅助信息，指导拿取不同的工具，安放组装部件到各自位置，解决了阅读繁琐冗长的纸质装配指令的问题。

然而目前MR/AR应用多基于平板电脑、手机等设备，但现实中许多操作并不允许用户解放双手，该方式限制了用户的移动范围和与物理世界交互的能力，迫使用户在装配任务和阅读指令之间来回切换。随着计算能力和显示技术的发展，便携头戴式显示器(helmet mounted display，HMD)变得越来越普及，例如Microsoft的HoloLens。借助HMD头盔用户可以集中精力于手头工作，不用在装配任务和阅读指令之间切换以至于分散注意力。

但由于HMD不能利用触摸屏或鼠标键盘来进行人机交互，操作上多采用手势交互或语音交互。而对于手势交互，用户必须停止手中的工作才能开展交互任务，而且手要悬浮在空中，一段时间后很容易疲劳。语音交互因为自然语言处理的局限性导致适用范围受限。

针对装配维修应用场景，现有的远程协同交互只是在图像空间进行标注。本文利用远程专家标注的二维手势，结合HoloLens硬件的感知能力在用户端生成具有三维空间位置信息的三维动态手势，且空间锚将该标注固定在空间某点上，解放操作人员的双手，不影响其正常工作状态。

通过手势识别，手绘的二维不规则线条被转成三维规则且带有动画效果的指令，交互画面更整洁清晰、生动，大大提高了协同交互的效率。

1 相关工作

2000年FUSSELL等[1-2]的研究表明基于实时视频流的协同模式可以提高任务完成的效率。之后出现了结合投影仪、可穿戴设备或VR/AR设备的远程协同工作模式。

DOVE系统[3]支持AR远程交互，允许专家使用手写手势在本地的实时视频流上绘制手势草图，并通过2D显示器将增强后的视频呈现给本地工人，但该模式可导致用户的工作环境碎片化，用户需要不断分散注意力去查看显示器。KIRK等[4]提出的系统可以解决用户工作环境碎片化的问题，该系统通过相机采集专家的手势，并用投影仪投射在用户的工作空间中，由于采集的是专家的二维手势信息，用户在使用过程中会出现操作偏差。为了避免由于采集信息导致的偏差，WANG等[5]在专家端使用Leap Motion作为手势采集设备，并将三维手势投影到用户的工作空间。GUREVICH等[6]提出了一种基于投影的AR远程协同系统TeleAdvisor，支持远程专家协同，可自由控制一个投影仪-摄像机组合，并使用指针方法来添加AR注释信息。基于投影的远程协同系统虽然保证了用户工作空间的一致性，但由于投影仪-摄像机需要处于相对固定状态，对于需要大范围移动的操作项目，这种系统并不方便。

相对于传统的交互方式，基于可穿戴设备的远程专家协同系统具有部署灵活、操作环境统一等特点。HUANG和ALEM[7]利用HandsInAir系统通过HMD解决了这个问题，但需要用户和专家同时穿戴HMD设备，分别采集用户的空间信息和专家的手势信息，将其合成后显示到用户端，但该系统并不能很好地对各部件的关系做出指示，同样缺少对用户现实世界环境的理解。KIM等[8]开发了一款用户穿戴的HMD显示AR注释信息的系统，可由专家在电脑上圈出部件，并通过语音发出动作命令。GAO等[9]利用VR HMD与外部深度摄像头进行远程协作的MR系统，且支持捕捉用户工作空间的三维点云数据以及共享远程专家的手势。

2 本文方法

2.1 系统设计

如图1所示，本文系统分为用户端和专家端2部分，用户端佩戴Hololens头盔从事装配维修等工作，专家端则为PC或平板电脑，专家通过二维手势交互输入相应的操作来指导用户完成相应的装配维修任务。手势交互包括空间标注、目标圈选、插拔导引、旋转导引等4大部分，专家端在二维图像上通过触控或鼠标键盘进行画线完成手势输入，然后通过手势识别算法，结合头盔感知的三维空间信息，将绘制的不规整线条转化为相应的动态三维标识映射到用户头盔显示器上，这样用户可直观地看到专家指令且无需放下手中的工具或物件，该指令由空间锚在用户端的显示空间进行位置固定，始终保持在相应三维位置上。

图1 系统框架图

空间标注主要提供装配维修的区域标注，即顺序标注和文字标注，并借助HMD的空间感知，将该标注显示为贴在物体表面。目标圈选，即感兴趣目标的选取，让用户关注该对象，区别于普通的二维套索操作，该操作具有三维信息，可从各个视角观察。插拔导引用于指引用户完成相应的零部件插拔操作。旋转导引则用于指引用户完成相应的零部件拧紧和松开等与旋转有关的操作。这些交互操作均具有空间锚属性，且采用形象生动的动画演示进行展现。详细交互指令见表1。

表1 本文支持的交互指令

另外还有一些辅助模块，如通过语音控制模块可完成菜单的呼入、呼出操作，交互删除操作用于对屏幕进行清理操作，去掉相应的标注显示等。网络通信模块使用TCP/IP协议和UDP协议，视频数据通过UDP由用户端传输给专家端，其他指令通过TCP/IP协议完成。

2.2 空间感知

用户佩戴头盔，在操作空间里自由活动，因此给出的操作辅助信息必须具有空间定位。该位置信息通过HoloLens自身功能获取，即通过其空间映射扫描技术[10]，如图2所示，利用射线投射法获得当前视线与空间物体相交点的三维坐标，然后锚定在世界坐标系里。

图2 HoloLens中的物体世界坐标

专家端操作的为二维界面，所有的手势指令均为二维指令，所获得的点序列为

借助射线投射法，即转换为对应的带有空间锚点信息的三维点序列

该三维信息不随视角变化而变化。

2.3 指令设计

在获取手势点序列的基础上，进行三维手势的识别。针对装配应用场景，本文共设计了5类手势指令，包含物体标注、目标圈选、插拔导引、旋转导引和删除手势。

2.3.1 物体标注指令

物体标注最为简单，该指令为一些物体提供标签信息，可方便操作人员在专家的帮助下了解操作对象的某些属性和操作流程。该指令只需要对三维空间的单点进行锚定，专家端放置二维标签在物体表面，同时标注相应文字，这样操作人员能看到专家给出的三维标签信息，且随视点变化，该标签位置不会丢失，仍然朝向视线方向。如图3所示，黄色标签即由远程专家给出，用户端看到的是一张三维的标签，始终朝向视线方向，且与被标注对象紧密相连。

图3 物体标注((a)专家端观察效果；(b)用户端观察效果)

2.3.2 目标圈选指令

目标圈选是为操作人员眼前的操作场景提供的目标圈选功能，可帮助操作人员在杂乱场景下快速找到所需目标。由于物体之间存在遮挡，因此本文在文献[11]的基础上进行拓展，借助HoloLens头盔的空间感知能力，将专家端勾画的二维轮廓点序列转成具有深度信息的三维点序列，这样在生成三维模型时能准确将目标与背景分离，为操作人员提供更准确的圈选功能。如图4所示(红色线条和透明红色模型)，可将所需工具圈选出来。具体流程如下：

(1) 采集专家端输入点序列作为侧面轮廓，然后连接这些点，得到的多边形是最终生成的三维多边形表面的侧面轮廓；

(2) 利用Constrained Delaunay Triangulation (CDT)算法，找到多边形的内部骨骼；

(3) 通过设定阈值将不重要的末端骨架支剪除掉；

(4) 根据每个骨架点与其相邻的轮廓点的平均距离，在轴方向上抬起该骨架点以调整其三维点坐标，同时在对称的另一边做类似操作；

(5) 通过将相邻抬高的边缘缝合在一起来构造合适的多边形网格。

2.3.3 插拔导引指令

根据对实际指导装配工作的观察，插拔操作和旋转操作最为常见。为有效减少专家端的屏幕操作，这2类动作设为预制动作。专家只需在屏幕上画出二维手势，对应的三维模型会在相应的空间位置显示出来。本文在$Q[12]手势识别算法的基础上进行了改进，将其从二维空间拓展到三维空间并赋予其动作属性，其基本原理是将待选手势与数据库中每个模板手势进行比较来实现最近邻分类。

对于插拔导引，采用图5箭头手势来定义，箭头的起点即为插拔开始或指向的位置，箭头朝向为插拔用力的方向。在用户端进行三维箭头布设时，同样要借助HoloLens头盔的空间感知能力，获取碰撞点所在平面的法向量，使箭头模型的轴与该平面的法向量平行，即给出箭头的三维空间位姿。

图5 插拔导引手势((a)专家端手绘箭头； (b)用户端手绘箭头)

2.3.4 旋转导引指令

对于旋转导引手势(图6)，因为旋转轴的不确定性，所以本文设定先画出相应直线以确定旋转轴心，再画出旋转手势，旋转手势与轴心的夹角始终为90°。旋转手势同时需要确定顺时针或逆时针方向，以指引操作人员做拧紧或松开操作，该判断通过式(3)的相邻2条边向量叉积和的正负性来确定，这样最终三维预制体动画过程按该方向做相应旋转。

图6 旋转导引手势((a)专家端手绘结果； (b)用户端手绘效果)

2.3.5 手势删除指令

当手势数量达到一定程度时，查看物体就会变的十分困难，存在遮挡视线的问题，因此本文增加了相应的手势删除指令(图7)。通过删除手势与其他手势的空间距离来判断当前要删除的手势，即

其中，G为已绘制手势集合；p为删除手势的中心坐标；pi为手势集合中第i个手势的中心坐标，根据删除手势中心坐标和其他手势中心坐标的距离，找到与删除手势距离最小的手势，并在用户端中销毁该手势。为了避免操作失误，一次只删除一个已存在手势。

3 实验与分析

为了验证本系统的有效性，本文设计了2类实验，包括打印机使用和汽车简单维护。

打印机使用包括拆卸打印机墨盒和更换打印机纸张，由远程端专家分别指导5位操作者进行操作，最后从系统易用性、标识直观性、佩戴舒适性3个方面来评判本系统。具体实验过程为：

(1) 将打印机墨盒外壳打开；

(2) 取下打印机墨盒；

(3) 将纸盒从打印机中拉出；

(4) 放入新换的打印纸；

(5) 推入纸盒。

图8(a)通过红色箭头指示拆卸墨盒前须将外壳按图中手势打开；图8(b)为外壳打开后的侧视图；图8(c)红色箭头所指为墨盒的卡槽位置，须将墨盒卡槽捏合后拉出，图8(d)为墨盒取出后的侧视图。

图8 拆卸打印机墨盒((a)旋转指引；(b)操作后的结果； (c)插拔指引；(d)操作后的结果)

墨盒拆卸后，图9为更换打印纸的步骤，图9(a)通过红色箭头指示须将纸盒按手势方向抽出，图9(b)、(c)为抽出纸盒后的主视图和侧视图，图9(d)将方框所示打印纸放入打印机纸盒中。

图9 更换打印纸((a)纸盒抽出；(b)主视图；(c)侧视图； (d)放入打印纸)

本文选择了5位从未接触过该款打印机的用户充当操作者，1位经常使用该款打印机的用户充当专家，专家分别对这5名操作者进行实验指导。实验结束后，用户分别对系统易用性、标识直观性、佩戴舒适性3个方面进行打分(0~10)，并记录使用本文方法的所有操作完成时间和使用说明书进行操作完成时间作为对比参照实验组，见表2。

表2 用户操作统计表

通过表2可知，用户对直观性评分最高，其次是易用性，最低评分为舒适性。另本文方法比传统方法的耗时减少了约20%左右。说明本文方法可提高效率及操作直观性。

另外，本文还设计了室外场景下的汽车简单维护的远程协助指导实验，远程端专家在实验室桌面计算机前指导室外佩戴HoloLens头盔的用户开展引擎盖打开、加注玻璃水和防冻液3个操作。图10给出了打开引擎盖时，用户观察到的红色动画箭头导引。图11给出了加注防冻液时不同视角下旋转导引，由于该信息具有空间锚点信息，因此不会随视角变化而偏离最初选定的对象。

图10 打开引擎盖

图11 不同视角下的旋转导引

4 结束语

借助HoloLens头盔的空间感知能力，本文设计了一个支持远程专家指导模式的协同式装配维修系统。根据操作场景需求，共设计了5类手势指令，包含物体标注、目标圈选、插拔导引、旋转导引和删除手势。专家端通过在无线网络传输过来的视频图像上给出相应的二维手绘操作引导指令，通过手势识别和MR技术给操作人员提供具有空间锚点功能的三维动态引导，充分解放了操作人员的双手，能有效提高操作效率和操作直观性。

未来将在本文工作基础上增加更丰富的语音交互部分，通过混合式指令可能会进一步提供用户操作效率。

[1] FUSSELL S R, KRAUT R E, SIEGEL J. Coordination of communication: effects of shared visual context on collaborative work[C]//2000 ACM Conference on Computer Supported Cooperative Work (CSCW). New York: ACM Press, 2000: 21-30.

[2] KRAUT R E, FUSSELL S R, SIEGEL J. Visual information as a conversational resource in collaborative physical tasks[J]. Human-Computer Interaction, 2003, 18(1-2): 13-49.

[3] OU J Z, CHEN X L, FUSSELL S R, et al. DOVE: drawing over video environment[C]//The 11th ACM International Conference on Multimedia. New York: ACM Press, 2003: 100-101.

[4] KIRK D, RODDEN T, FRASER D S. Turn it this way: grounding collaborative action with remote gestures[C]//2007 ACM SIGCHI Conference on Human Factors in Computing Systems(CHI). New York: ACM Press, 2007: 1039-1048.

[5] WANG P, ZHANG S S, BAI X L, et al. 2.5DHANDS: a gesture-based MR remote collaborative platform[J]. The International Journal of Advanced Manufacturing Technology, 2019, 102(5-8): 1339-1353.

[6] GUREVICH P, LANIR J, COHEN B. Design and implementation of TeleAdvisor: a projection-based augmented reality system for remote collaboration[J]. Computer Supported Cooperative Work (CSCW), 2015, 24(6): 527-562.

[7] HUANG W D, ALEM L. HandsinAir: a wearable system for remote collaboration on physical tasks[C]//2013 ACM Conference on Computer Supported Cooperative Work (CSCW). New York: ACM Press, 2013: 153-156.

[8] KIM S, BILLINGHURST M, LEE G. The effect of collaboration styles and view independence on video-mediated remote collaboration[J]. Computer Supported Cooperative Work (CSCW), 2018, 27(3-6): 569-607.

[9] GAO L, BAI H D, LEE G, et al. An oriented point-cloud view for MR remote collaboration[C]//2016 ACM Conference on SIGGRAPH ASIA Mobile Graphics and Interactive Applications. New York: ACM Press, 2016: 1-4.

[10] Microsoft. Mixed Reality documentation[EB/OL]. [2020-05- 08]. https://docs.microsoft.com/en-us/windows/mixed-reality/.

[11] IGARASHI T, MATSUOKA S, TANAKA H. Teddy: a sketching interface for 3D freeform design[C]//1999 ACM Conference on SIGGRAPH. New York: ACM Press, 1999: 409-416.

[12] VATAVU R D, ANTHONY L, WOBBROCK J O. $Q: a super-quick, articulation-invariant stroke-gesture recognizer for low-resource devices[C]//The 20th International Conference on Human-Computer Interaction with Mobile Devices and Services. New York: ACM Press, 2018: 1-12.

Mixed reality based remote collaborative assembly guidance

LIU You-quan1, WANG Yuan-chao1, XU Kun1, LIU Zheng-xiong2, HUANG Pan-feng2

(1. School of Information Engineering, Chang’an University, Xi’an Shaanxi 710064, China; 2. School of Astronautics, Northwestern Polytechnical University, Xi’an Shaanxi 710072, China)

A remote collaborative assembly and maintenance system was proposed based on mixed reality technology. HoloLens’s spatial perception capability of the depth camera and RGB camera was employed to map the interaction from the 2D gestures on the expert side to the 3D animation markers on the operator side, where the gestures were recognized using an improved method. These simple and vivid 3D markers were located with spatial anchors to provide the operator with clear directions about the next steps for expert-operator-mode collaborative tasks,freeing the operator’s hands from interacting with the computer by gestures. The experiments verify the feasibility of such user-friendly guide interfaces for remote collaboration of assembly and maintenance tasks.

remote collaboration; mixed reality; human-computer interaction; assembly and maintenance; HoloLens

TP 391.41

10.11996/JG.j.2095-302X.2021020216

A

2095-302X(2021)02-0216-06

2020-08-08；

8 August，2020；

2020-08-30

30 August，2020

航天预研项目(030101)

Advance Research Program of Space (030101)

柳有权(1976-)，男，湖北秭归人，教授，博士。主要研究方向为虚拟现实技术、计算机图形学。E-mail：youquan@chd.edu.cn

LIU You-quan (1976-), male, professor, Ph.D. His main research interests cover virtual reality technology and computer graphics. E-mail：youquan@chd.edu.cn