胡雨珠 黄泰怡 谢能 王磊 樊碧君 姜宽 王楠楠

【摘要】在研究Leap motion侦测数据生成运动信息的基础上，以赫哲族为例建设民族聚落，运用Leap Motion与漫游系统进行体感式交互，提高赫哲族文化的辨识度。通过前期数据的采集及总结，完成了对赫哲族建筑/文化体验等模型的构建；通过制作漫游、游戏程序等操作进行交互试验，增强用户临场感，增强赫哲族文化国际性及人与人之间传播能力；提出了对贴图、LOD、DOF、碰撞等技术的优化新方案，改善交互体验，实现了对民族文化的信息数据化、虚拟现实化、体感交互化式的保护。

【關键词】Leap motion；交互设计；虚拟现实；数字化；民族聚落

【中图分类号】TP391.4 【文献标识码】A

引言

作为跨界民族的赫哲族历史悠久，慢慢褪去了表演的华服，淡出我们的世界。时至今日，越来越少的人穿着鱼皮衣，鱼皮技艺几近失传，赫哲语成为我国濒危语言之一，服饰几乎同汉族一般无二，更别说其习俗、信仰……由此可见赫哲文化所处境遇之严峻。本研究借助数字化效力对其进行高效、及时的抢救，主要包括绘图数字化、建模数字化、虚拟现实数字化、信息系统数字化。Leap Motion体积轻便小巧，成本低廉、性能稳定，寿命长，精确定位手部动作，不易受周围环境磁场的影响，可移植性强本研究计划通过采用Leap Motion，以人机交互融入数字化漫游的方式达到操作者与虚拟环境实现沉浸式交互，增加体感体验的效果。首先建立赫哲族聚落漫游系统，然后融合leap Motion交互体验，通过Leap motion获取的侦测数据创建Leap motion右手笛卡尔坐标系，刻画手部坐标，模拟手部行为运动，进而完成狩猎文化、捕鱼文化、鱼皮衣文化等一系列交互行为。

一、赫哲族模型的创建

（一）建模模块规划

本研究采用3DMax对赫哲族建筑物进行三维建模，主要分为建筑模型、工艺品模型、交通工具模型、生活模型，最后组成赫哲系列三维场景。整体流程包括无人机扫描以及现场拍摄采集建筑信息、导入Scene软件生成的点云数据形成建筑轮廓，导入3DMax软件绘制三维模型，3DMax纹理贴图处理、模型输出。流程如图1。

（二）原数据采集

建筑布局数据：向有关部门提取图纸资料，包括大比例地形图文件、规划布局等，利用Auto CAD进行校正。

建筑形态数据：利用无人机遥感测绘技术获取聚落外部形态数据，以图片信息、文字信息以及遗留模型信息为数据源，获取内部形态数据。

纹理数据：纹理属精细模型外在的直观表现，所有数据均来自现状照片。

（三）模型的建立

依据遥感影像和图形文字，打造赫哲族聚落系统，操作简单，还原真实度、模型精度高，拥有完美的细节呈现，在建模过程中文件的兼容及传输方面具有较大优势，分项过程如下。

（1）外观设计：根据心理学第一印象效应现象反映，本研究注重外观设计，对涉及的实际场景进行划分并设计功能区块，结合文化旅游方案设计建筑物与景观、特有工艺品等之间的空间布局，力求在观者的头脑中形成美好的聚落形象并占据主导地位。

（2）小模型制作：模型是整个场景中不可或缺的组成部分，本研究计划需要模型包括建筑、工艺品、交通工具、生活用品。利用无人机形成的外观图，运用3dMax命令面板及属性勾勒模型基本轮廓。

（3）纹理贴图：给所建三维模型中加入纹理贴图属性，运用Photoshop对材质贴图绘制纹理并设置透明度、锐化边缘等参数，生成图像纹理文件，将材质球赋予模型完成纹理贴图，使模型富有材质感。

（四）漫游模块实现

Unity3D支持以可视化编程为手段完成各种开发工作，可导入3Dmax模型，支持C#、C++、Java Script等语言，具备Leap Motion控制器的完美接口。因此，本研究使用Unity3D游戏引擎作为漫游系统开发平台。

依据所采集的当地人文、地质等各种实际数据情况，从Goody Gis中提取“.DWG”格式的CAD三维等高线，在Photoshop中依据等高线的不同高差，对区域内进行不同灰度的填充，然后加以模糊滤镜使过渡效果更加自然，导出“.RAW”格式的图片。将处理好的灰度图直接导进Unity3D，运用自带的Terrain地形编辑器，创建地形后，完成植被树木的种植、水资源加载、添加碎石、枯木等素材，进一步完善场景仿真；设置天空盒子，光照系统、粒子系统等，添加第一人称摄像机，完成赫哲族虚拟漫游地形的构建。

二、赫哲族聚落交互设计与实现

本系统里Leap Motion会把用户从传统的输入设备转变成自然和谐的手势输入，利用手势识别完成狩猎、捕鱼等交互，在形式上和空间上都提供给用户多种交互体验，得到全新的感官感受，增强交互过程中的参与感和投入感。手势控制过程如图2-1：

（一）系统界面

以初始界面为媒介向用户传递情感，是界面设计的魅力所在。利用Photoshop处理图片素材，以自带框架结构诠释赫哲族民族元素的界面，通过按钮对用户进行心里暗示和引入指导，以便用户了解和使用本系统。

（二）建筑虚拟场景

利用建模技术、Unity强大的虚拟交互能力，还原建筑及建筑周边的环境形态、赫哲文化生活、工作场景、衣着服饰、使用器具、风俗习惯等，形成与建筑息息相关的文化圈，以直观的表现，丰富互动趣味性，解决抽象思维与建筑实体之间的接触问题，辅以移动终端为信息传达的媒介，为赫哲族非物质文化遗产的传承与发扬提供有力途径，提高公众对赫哲族文化遗产的关注度，并从被动的了解转化为主动的探索。虚拟场景效果如图2-2：

（三）狩猎交互设计

赫哲族作为东北少数的狩猎民族之一，狩猎是过去赫哲人的一项主要经济来源。狩猎活动一般以集体为单位进行，大多将鹿和各种细毛兽作为猎取对象，主要采取弓箭射杀，陷阱围猎等方法。

在创建鹿、鱼、弓箭等静态模型基础上，进行关键帧动画设置。通过调整动画时间，改变部分结构的位移、角度等参数，自动或手动设置关键帧，由软件自动生成其他帧的模型状态，最终生成弓箭连贯动画。不同于弓箭模型动画的制作方法，动物动画首先要对动物的静态三维模型制作并绑定骨骼，调整权重完成蒙皮；然后依次设置骨骼的动作形态作为关键帧，生成鹿连贯动画。需注意的是，设定动物模型的动作形态必须符合其生理与运动特征，为此，本研究分别为其设立了站立、饮食、死亡、奔跑等动作帧，使动画更加完整逼真。

将3Dmax中鹿、鱼、弓箭等3D模型以FBX连带动画格式导出，加载到Unity场景文件中，摆放至合适的位置，调整大小，利用Animation组件设置鹿初始动画，将Wrap Mode属性设定为Loop模式，完成鹿的动作循环，添加第一人称并绑定弓箭，以便弓箭对角色自动跟随，添加脚本代码并完成碰撞器的设置。使用PlayMaker插件中iTween组件I Tween Move To 动作，设定Path路径通道，在场景中添加诸多Cube，取消Mesh Renderer属性，作为不可移动的位置点，最终将众多不可移动点串连成路径；创建空物体，添加Box Collider碰撞器，勾选Is Trigger属性，激活触发器，利用PlayMaker插件中Trigger Event事件、Play Animation动作完成碰撞触发、动作切换等功能的实现。

程序运行，控制人物逐步靠近野鹿，在弓箭最大射击范围内拉动弓箭、射击，若击中目标，目标倒下，其余目标根据iTweenPath 路径进行逃离，逃离过程触发陷阱碰撞，失落陷阱。至此，赫哲族狩猎过程虚拟化展示得以实现。

（四）捕鱼交互设计

虚拟现实技术为表现物体其本来的重量、触觉等非视觉感受提供了技术手段的支持，能根据研究数据、文献记载和实物测量，模拟展示已经濒临灭绝的非物质文化遗产。

Leap Motion通过双高清摄像头将拍摄的立体红外图像转换成基本单位-帧数值，将采集到的手掌、手指的位置和其他信息保存在一帧（Frame）当中，并分配唯一ID号码作为标记，获取的每一帧数据，自动将各关键点坐标从手指局部坐标系转换成右手笛卡尔坐标系。依照每帧和前帧检测到的数据，连接相邻数据，生成手部运动信息，获取3组x，y，z轴的数据，再转换成Unity单位，成为可识别的向量，实现手势模型输入。

Unity虚拟现实平台模拟赫哲族非物质文化活动，集合Leap Motion的手势体感交互完成渔猎活动，再现渔猎技艺。依据前期的Terrain生成的河流走势，添加Daylight Water，调整相关属性，完成天空盒效果反射、倒影等效果，加入3dmax完成的桦皮船、淡水鱼模型，添加第二个第一人称胶囊，场景布置完成；再进行Leap Motion与Unity3D 体感开发与集成，当Leap Motion接入电脑的USB后，打开Leap Motion SDK程序，启动控制器，查看设备连接状况，图标显示绿色即为正常，可进行下一步开发应用，在Unity中找到Leap Motion文件下Prefabs，将Hand Controller预制体添加到场景中。作为手势控制器，Leap Motion提供了很多手部模型，在文件HandModelsHuman下找到仿真度较高的左右手模型，将PepperLightFullLeftHand和PepperLightFullRightHand拖到场景中（这是不带物理属性的），此时仍需把带有物理属性的手放到场景中去，在HandModels Physical文件夹把里面的RigidRoundHandLeft和RigidRoundHandRight都拖到场景中，然后将模型拖至HandController控制器Hand Controller脚本上，完成左右手模型的绑定，添加相应的脚本代码，手势运动程序得以实现，操作手部动作控制鱼叉运动，形成捕鱼动作，在鱼叉叉头上设置碰撞器，叉头与鱼碰撞一起，鱼叉与鱼结合，实现手势捕鱼过程，如图2-3.

如何实现与物体的交互是一大难点，手势输入的手部模型与其他物体无法直接发生碰撞，经过测试发现，物体与手势触发，Rigidbody与Collider两种物理属性缺一不可，还需挂上Grabbable Object脚本完成抓取的程序设定.Collider有Box Collider、Capsule Collider等属性，不同物体采用不同的碰撞器，碰撞的效果也不一样，比如给鱼Box Collider属性时，手势与鱼碰撞时容易被手势弹飞，当给Capsule Collider属性时，调整胶囊碰撞器的轴向，使胶囊体刚好跟鱼本身重合，当手势与之碰撞时，就能有效解决碰撞的问题。鱼叉同样方法处理，给场景添加HandControllerSandBox，限定物体运动区域。

（五）碎片虚拟化拼接

通過Leap Motion获取的数据，进行手部行为的模拟运动，创建右手笛卡尔坐标系，分别刻画手部以及碎片坐标，运行Leap Motion插件时，系统以帧为单位反馈感应，给以用户流畅体验，每一帧中包含很多参数，其中包括tipPosieion将指尖位置与碎片位置形成对应关系，方便快捷精准捕捉，赋予碎片代码属性，手部捕捉碎片通过平移、旋转、空间对接完成。

三、优化设计

（一）动态加载优化

采用AssetBundle 动态加载机制，将Unity3D中文件、资源导成特定文件格式（.unity3D），用户进入漫游时，优先加载角色周边场景环境，其他文件在需要时自动加载到场景中，减少内存消耗。

（二）运行速率优化

采用LOD技术实现在不同层次、不同视角条件下，采用不同精细程度的模型代表同一物体，大量减少绘制的顶点数目，对漫游场景进行优化，提高场景运行速率。

（三）渲染效率优化

采用遮挡剔除技术，降低Batches，对不在摄像机视野范围内的模型不渲染，加快渲染效率，调整相机属性Field of View、Cilpping Planes值实现。

（四）网格材质合并

未经处理的模型具有很多相同Shader的材质球，从而产生了大量的Batches，占用CPU的运算时间，加大内存占用量，当模型量大时，会造成程序卡顿，因此需要把具有相同Shader的材质球合并，采用Mesh Baker插件，以减少Batches的产生。

四、结语

在赫哲族文化濒于自然消失的背景下，本研究介绍了赫哲族文化数字化保护技术，针对数字化保护方法，采用信息化、数据化、虚拟化、交互化结合方式，分别对这四种方式的关键技术进行详细介绍；同时，根据族文化特性提出了虚拟系统融合Leap motion战略，制作相应渔文化脚本代码，打破传统方式，实现人机交互，增强用户临场感，增强赫哲族文化国际性及人与人之间传播能力。这种途径在数字化时代背景下利用体感交互、增强现实、虚拟现实更具真实感且有效的保护赫哲族文化。

参考文献：

[1]颜明霞.非物质文化遗产保护与旅游开发的互动发展模式研究[J].创新，2014（3）：61-64

[2]李春晓.基于Unity 3D的中国古代农耕虚拟场景智能展示平台[J].农业工程学报，2017：308-314.

[3]袁田琛.基于Leap Motion 和Unity3D的体感游戏开发与集成[J].电脑知识与技术，2015（13）：201-204.

作者简介：胡雨珠（1997-），女，汉族，吉林省四平市，本科生，研究方向为工程管理bim应用；黄泰怡（1996-），女，布依族，云南省德宏州，本科生，研究方向为工程管理bim应用；谢能（1995-），男，汉族，广西南宁市，本科生，研究方向为工程管理bim应用；王磊（1994-），男，汉族，內蒙古赤峰，大连民族大学计算机科学与工程学院硕士研究生，主要从事主要从事计算机视觉与大数据技术研究；王楠楠（1980-），女，讲师，研究方向为图形图像处理技术。