姚陆吉 章立

摘 要：针对传统中国建筑史教学建筑结构繁杂、局限于二维平面化教学、不易于学生理解等问题，提出构建一种基于混合现实技术的中国建筑史教学系统的实现方法。选取宁波保国寺大殿木构体系作为研究案例，采用混合现实设备微软HoloLens作为案例的教学平台。首先，基于收集的数据，在3ds Max中对保国寺大殿木构体系进行三维仿真建模，建立建筑模型库;然后，在unity3D中构建虚拟教学系统的三维空间操作界面，利用C#脚本，实现环境理解和多种人机交互等关键技术，构建以建筑结构识别和文化认知为核心功能的HoloLens教学系统。结果表明，该系统具备良好三维可视化的视觉效果和自然高效的人机交互方式，能有效提高知识的传递效率和学生的学习主动性。

关键词：混合现实;交互特征;三维空间界面;教学系统

中图分类号：TP391.9

文献标志码：A

Design and implementation of Chinese architecture history teaching system based on mixed reality technology

YAO Luji， ZHANG Li*

School of Digital Media， Jiangnan University， Wuxi Jiangsu 214122， China

Abstract：

The teaching of Chinese architecture history has building structures too complex， is limited to 2D planar teaching and is not easy for students to master and apply， therefore an implementation method of Chinese architecture history teaching system based on mixed reality technology was proposed. The wooden structure system of Baoguo Temple in Ningbo was taken as an example， and the mixed reality device Microsoft HoloLens was used as the teaching platform. Firstly， 3ds Max was applied to the 3D simulation modeling of the wooden structure system of Baoguo Temple based on the collected data， and a building model library was built. Then， the 3D human-computer interface of the virtual teaching system was constructed in unity3D， the key technologies were used including environment understanding and human-computer interaction based on C# scripts， and a Chinese architectural history teaching system using HoloLens was implemented with core functions of building structure recognition and cultural cognition. The results show that the system has good 3D visual effects and natural effective human-computer interaction， which can improve the efficiency of knowledge transfer and the initiative of students.

Key words：

mixed reality; interactive feature; three-dimensional space interface; teaching system

0 引言

近年来，虚拟现实（Virtual Reality， VR）和增强现实（Augument Reality， AR）日趋成熟，并已经较多地应用于当代信息化教学中，而混合现实（Mixed Reality， MR）技术的出现是随着2015年微软的混合现实设备HoloLens的发布而逐渐进入应用领域的。混合现实技术目前更多地应用于航空航天[1]、船舶制造[2]等行业的科研领域，在建筑教学领域的成熟应用还相对较少。在传统的中国建筑史教学中，往往以教师授课、学生听讲为主，辅之以教材文字、图片和相关视频等，中国木构建筑的构造往往比较繁杂，学生对于建筑的体量关系、结构设计方法和比例规则、空间形式和空间组合以及材质纹理等建筑信息[3]，只有理性认识，缺乏感性认知;同时，由于时间的不可逆性，每一个历史建筑都有其独特的性格特征，建筑现象背后的艺术思想、社会观念和历史文化，都赋予历史建筑非常重要的意义，针对这部分内容的教学，很难通过单一的文字和图片来讲述[4]。因此，当代人对中国古代建筑研究的匮乏，对建筑文化缺乏真正的理解，是建筑理论薄弱的重要原因。结合MR的教学模式提供了一种全方位的、立体的、多角度的建筑解读，通过将详细的文字、影像资料、视频和三维模型、语音解说等信息对古建筑进行详尽的詮释，使枯燥、晦涩难懂的建筑史知识变得清晰、生动而更易掌握，弥补了传统平面化建筑历史教学的单一性，解决了学生无法亲身到现场观摩体验的局限性;通过构建丰富的交互方式和交互反馈，达成多感官沉浸的观察方式，使学生在与周围环境自然交互的过程中充分发挥其主观能动性和自主性，建立知识与交互之间的链接，培养学生对历史建筑的认知和理解能力，了解古代建筑的性格特征和艺术内涵，增强学生在空间和时间层面上对建筑的理解;营造虚实结合的视觉效果场景，让学生灵活使用肢体动作和各种虚拟道具，以此模拟实际技能的操作，提高学生的思考能力和实践能力，同时也为学生提供主动探索和互动交流的机会[5]。

混合现实技术是虚拟现实的进一步发展，结合了虚拟现实和增强现实的优势[6]，通过摄像头、传感器和定位器实时获取真实世界的物理信息，利用位置跟踪软件和空间地图技术，将真实世界的物理环境与计算机生成的虚拟场景信息相叠加，呈现给用户虚实融合的画面;同时，具备对环境的感知能力和理解能力，而真实环境中的物理定律仍然对计算机生成的虚拟世界起作用。混合现实通过真实物理世界、增强世界和虚拟世界的深度融合，以及对人类自然行为和动作的理解，构建一个与人类感官相匹配的、虚实结合的、多通道反馈的具身交互空间[7]，是人类、计算机和与环境互动的一个发展趋势。

随着互联网技术的发展和相关技术研究的深入，越来越多的混合现实设备相继发布，如Magic leap、微软HoloLens，以及惠普、戴尔、三星和宏碁推出的Windows MR头戴显示设备等。同时，对于与混合现实相关的仿真技术研究也是当前的一个热点，各种虚拟仿真系统不断被开发利用。这些探索和发展都为新的教学模式提供了技术和设备条件。在教学中引入混合现实技术是互联网技术和教育相结合必然的发展趋势，是对主流教学形式的一种丰富和补充。

本文在全面分析混合现实技术交互特征的基础上，根据当代信息化教学的需求，应用最新的MR技术并结合建模技术、三维动画及网络通信等技术，设计并实现一款面向中国建筑史教学的混合现实教学系统。本次开发采用了混合现实设备微软HoloLens作为案例的教学平台。

第9期

姚陆吉等：基于混合现实技术的中国建筑史教学系统设计与实现

计算机应用 第39卷

1 混合现实技术及在教学系统中的应用特征

1.1 HoloLens原理和功能介绍

混合现实是一组技术组合，不仅提供了新的输入方法，还提供了新的虚拟影像的呈现方式，并且将这些方式相结合，提供了新的创新方式和发展方向。混合现实技术对于物理环境空间三维构建主要是通过输入设备来实现的。摄像头是最重要的输入设备，大量的位置跟踪和对环境的识别和理解都是通过摄像头获取的。摄像头作为采集信息的基本设备，核心技术是对深度信息的获取，而对于深度信息的感知是人类获得立体视觉的前提，也是构建三维物理环境空间的基础。微软HoloLens在使用四个环境感知相机的基础上，另配有一个基于TOF原理的深度摄像头，通过不同角度获取的深度信息，实现对物理空间的信息感知和实时的三维虚拟模型构建。

研究证明，人的信息获取主要来源于视觉，人眼是获取外界信息的最主要的感知通道。通过不同的深度层将计算机生成的数字化信息呈现给用户，可以模拟人眼所能看到的真实世界效果，让用户感受虚实融合场景动态变化的景深。因此，混合现实影像的输出平台对于用户的视觉体验非常重要。HoloLens是一款视频透视型HMD设备，采用视频透视技术，根据头部的传感器提供用户的位置和姿态信息，以确保实时渲染设备镜片上的用户视点所对应的场景;根据摄像头采集用户所处真实世界的信息并数字化，通过计算机算法实时渲染画面，生成全息影像并呈现给用户虚实融合的视觉画面。

由于HoloLens设备不受线缆和听筒的控制，且无需手柄等外接设备，学生可以在虚实结合的场景中随意走动，通过头部的旋转控制视点位置，使用自然的交互方式与周围信息进行互动，全息影像会及时获取学生的位置、姿态、发出的指令以及所处环境信息的变化，并作出相应的改变。

1.2 混合现实系统的交互方式特征

混合现实场景由于空间维度的不同，导致交互逻辑的不同。混合现实场景交互信息的热点是分布在物理空间场景中的，由此其信息的组织方式与传统的基于屏幕的二维空间的信息组织和交互方式有着很大差异。基于混合现实的交互方式使用户可以用手势、语音等自然的交流方式，与物理空间的虚拟对象进行交互，在保持人对物理世界感知和交互的基础上，将人的感知和交互延伸到虚拟世界中，并且符合人类的行为逻辑。结合微软HoloLens设备的混合现实系统交互方式具有如下特征：

1）交互过程中主体位置和物理世界三维结构信息的实时获取。HoloLens通过摄像头实时获取真实世界的三维物理结构，以及用户的物理位置和姿态信息，并将该物理信息映射到计算机生成的虚拟空间中，得到一个虚拟世界位置坐标和姿态信息，并根据物理空间的状态变化实时更新。基于计算机图形技术和可视化技术产生的虚拟对象，以及对真实世界物理信息的实时感知，在真实环境中相对应的位置生成虚拟物体的三维模型，并通过传感技术将虚拟对象与真实环境相叠加，以此构建虚实融合的空间作为用户自然交互的基础。

2）符合人类行为逻辑的交互指令。由于人类自然知觉感知通道的多样性，用户可以通过多种自然交互方式将指令传递给HoloLens：包括凝视、手势、肢体动作以及语音识别等。凝视是交互的基础，通过设计一个简单的光标跟随视线中心，让用户感知自身视线方向和位置;手势交互即用户用手直接操纵虚拟对象，与虚实融合的空间信息进行高效交互;语音识别即为实时获取用户语音指令，并给予相应的反馈[8]。同时设计一些交互引导，辅助交互过程，比如设计虚拟道具，即利用虚拟模型作为交互隐喻模拟与现实层相关的物体，通过改变虚拟道具的状态，从而改变虚拟层某种数字模型的属性;通过设计语音引导，利用声音提供给用户交互线索，引导用户在空间中获取相关信息。不同的交互方式指令之间相互补充，让交互更加自然高效，以此在真实世界、虚拟世界和用户之間构建一个多通道交互反馈的信息回路，以增强用户体验的真实感。

3）交互过程中的遮挡感知。虚实物体之间的遮挡关系指虚拟物体和真实物体之间的遮挡，以及虚拟物体和虚拟物体之间的遮挡。HoloLens对于物理空间中物体的几何形态感知是建立在深度信息的基础上的，而物体的深度关系会根据用户视点和物体自身位置的变化而发生改变，从而产生更加复杂的遮挡关系[9]。在可视空间中，每一个虚拟物体是否被准确地放置在交互场景中，以及具有不同深度信息的物体是否具备正确的遮挡关系，将直接影响可视空间的真实性和用户交互操作的自然性。

基于图片、文字和视频等收集和整理的数据库资料，综合考虑建筑领域现有的斗拱构件模型，对北宋保国寺大殿的整个构件体系进行建模[16]。大殿的大木结构构件包括了斗类构件和拱类构件，在3ds Max软件中进行三维建模，模型构建时既要保证模型尺寸的精确，也要注意面数的精简，将绘制的纹理赋予给相对应的模型，并以两种模型比例分类保存：

1）与真实建筑尺寸比例1∶1的仿真模型：原比例的模型构建便于学生根据虚拟模型与物理环境中真实物体的对比，感知其体量关系，以代替无法进行实地考察的建筑实景;

2）与真实建筑尺寸比例1∶10的沙盘模型：沙盘模型的构建便于学生多角度（如俯视）剖析保国寺大殿木构体系的全貌。

最后，对模型的优化和整合后，将三维模型、贴图和动画等虚拟信息分类打包成FBX / OBJ文件，在Unity引擎中对模型资源和三维动画进行绘制和编排。

3.3 交互式教学模式应用设计

将底层驱动和相关的系统开发软件构建的教学应用程序发布到HoloLens上后，在HoloLens上打开应用程序，HoloLens通过自身传感器捕获物理世界三维结构信息、学生主体位置和姿态信息以及学生的交互指令（凝视、手势识别和语音），将实时创建的虚实融合场景投影到设备上的全息透视镜。如图3为HoloLens教学创设系统的结构[17]。

根据建筑史教学内容和功能的需求，设计了两种虚实融合的交互式教学模式应用，即引导式构件认知模式和开放式情境任务模式，两种模式的交互流程如图4所示。

1）引导式构件认知模式：学生在三维可视空间中的任意位置放置保国寺大殿的沙盘模型，自行切换观察的视角，多角度剖析建筑外观;通过凝视、语音识别和手势的交互方式，选择想要了解的構件模型，通过移动、缩放和旋转等方式进一步观察，从中探索建筑结构上的逻辑;构件在交互的过程中会显示出详细名称和说明文字，构件和构件的搭配方式、交接处理方式以及对斗纹信息规律的解析;学生在观察的过程中，可以结合使用菜单工具栏中的虚拟道具：放大镜用于局部放大结构的部分区域，标尺用于测量结构的尺寸，虚拟互联网用于信息的实时查询。

2）开放式情境任务模式：系统根据专业知识模拟真实情境，设计动态的叙事情节发展路线以及与教学内容相对应的任务，让学生在情境中了解和学习木构建筑的相关知识。教学中一些比较抽象的概念，例如建筑结构工艺的教学，可设计相应的虚拟构件组装环节，以便于学生切身感受建筑的结构和做法;通过设计名称与构件的组合匹配，让学生加深对构件信息的记忆;结合相关视频和语音介绍，引导学生了解木构建筑的建造过程，近距离感受古建筑的历史演变;同时，人是需要故事去引导记忆、学习的，混合现实的情境叙事设计可以构建体验式学习的交互空间，生动地呈现某个故事的起源、过程和结果。通过设计虚拟角色与情景对话，让学生了解某个时代的社会活动，以及从中折射出的民俗、心理结构、礼制、艺术思想和历史文化。这既是情境化的故事演绎，也是历史文化的一种视觉化展示方式。

针对上述两种教学应用模式，进行系统文件的开发。

3.4 系统文件开发

为了实现混合现实技术的应用，Visual Studio和Windows 10 SDK为Microsoft HoloLens和Windows混合现实沉浸式（VR）耳机构建应用程序所需的工具。本文在Windows 10 64位计算机环境下，采用Unity2018.1.0开发引擎和Visual Studio 2017全功能集成开发平台作为交互原型开发环境，开发一款基于HoloLens的建筑史教学交互系统。

针对在HoloLens平台上的混合现实技术的应用开发，Microsoft官方网站上提供了相关软件开发的安装包。在Unity3D中打开控制平台，由于相机用于跟踪用户头部位置和画面的实时渲染，需要对Unity3D主摄像头进行设置更改，使其与HoloLens设备相匹配。在调整完相关参数适配和基础设置完成后，利用C#编写空间扫描数据处理及人机交互方式等控制程序。针对系统开发过程中的环境理解和人机交互的关键技术分析如下。

3.4.1 环境理解

若要将全息图合理地放置在真实世界中，需要具备对周围环境的充分理解，即正确识别地板、天花板、墙壁和桌椅等三维物理空间信息。本系统需要在Unity3D中使用空间映射API，以此实现对环境的充分认知、虚拟物体的放置以及真实物体与虚拟物体之间的遮挡关系。首先，需要在Unity中启用spatialPerception功能，针对需要空间映射数据的空间区域初始化一个SurfaceObserver对象，并为每个SurfaceObserver对象指定它们需要获取数据的具体空间范围大小和形状，例如对于天花板、地面和墙面的识别方法：地面即为用户头部位置下方的最大水平区域，天花板即为用户头部位置上方的最大水平区域，墙面即为用户视线范围内最大垂直区域，也可以用于识别球体、桌椅等。系统需要在用户对空间搜索逐渐完善的过程中，实时更新并迭代数据。最后，将扫描得到的空间网格数据转换成平面，作为具体虚拟对象生成的基础空间，也是真实物体与虚拟物体之间产生正确遮挡关系的关键所在。

在应用设计上需要提供给用户良好的空间识别体验。结合语音或者视觉上的操作引导，提示用户需要扫描的范围、所站的位置（比如需要靠近或者后退等）和视线的方向，以此获得较高的环境扫描质量;同时，将扫描过的区域可视化，通过绘制不同的空间映射网格的扫描特效材质，提供给用户视觉上的反馈，用于指示用户某块具体区域是否完成扫描。如图5为可视空间的扫描信息，出现可视线框即为完成扫描。

3.4.2 人机交互技术

结合HoloLens自身交互特征，本系统主要的交互方式有三种：凝视、手势识别和语音控制。用户头戴HoloLens设备时，设备中心会发出一条向前的射线，射线的方向即为用户的视线方向，且射线可以与范围内的目标物体发生碰撞。在Hololens中相机的位置与用户的位置是同步的，因此需要对Unity中的相机作出对应的调整。在本次应用设计中，当凝视射线在可交互对象上时光标会变亮，离开时光标变暗，以此告知用户当前视线位置，以及凝视的物体是否可交互;HoloLens提供的API可以设计不同的手势，包括单击、双击、长按、拖拽等。使用GestureRecognizer可以创建不同的手势手势类型，定义不同手势的触发事件;语音识别的脚本编辑主要采用KeywordRecognizer或GrammarRecognize指定需要识别的词汇，并在识别指定的词汇后，采用OnPhraseRecognized触发相对应的事件。例如，在本系统中设置了用语音控制拍照记录的功能。Hololens设备具备Web摄像头，可通过在Unity3D调用Web Camera API实现拍照功能。当用户发出交互命令“PHOTO”时，系统会开启相机模式并等待用户的命令，当用户调整好视角并发出交互命令“TAKE”时，相机会将用户视线范围的内容以图片的方式记录并保存。

在用户与全息图交互的过程中，当重要事件或对象超出用户当前可视空间范围，需要结合箭头、光迹、虚拟角色引导、指针以及空间声音等引导设计，来提示用户查看重要内容。

3.5 调试及发布

在unity3D中进行主程序设计时，通过打开Window-XR-Holographic Emulation，连接HoloLens，即可在HoloLens设备中获取Unity 3D中的画面，实时预览演示系统的实际效果。最终程序完成后，将unity3D中的数据处理程序导入VS2017，构建和部署UWP应用程序。通过有线USB或远程控制将应用加载到HoloLens上，并在设备上进行调试，实现混合现实的最终效果。

HoloLens通过传感器对环境进行扫描和识别，获取真实世界的相关物理信息和主体位置信息后，出现系统主界面，选择“构件认知”，学生可以自行放置保国寺大殿的沙盘模型;在学习的过程中，学生可以自由提取、拆分其想要观察的构件内部细节，以与真实构件1∶1原比例放置。以保国寺大殿的外檐铺作的横拱拱型为例，该铺作由泥道拱、扶壁瓜子拱和扶壁慢拱等构件组合而成，学生可以通过其三维虚拟模型与周围环境真实物体之间的对比，主观感受其体量关系;结合使用测绘工具，测量其拱长;通过拆分和组装斗拱构件，了解各个构件的名称，理解构件和构件之间的搭配方式，教学界面如图6所示。

Hololens可将学习者的可视场景和交互状况投射到计算机屏幕上，处在同一个学习空间中的老师和其他同学可以实时观看，有利于互相的交流和协作。學生在课堂中的学习交互过程的视频也可以保存到计算机上，以便于课后的查看。

4 结语

在每个教学环节结束后，根据学生对课堂内容的反馈，教师在课堂上的记录以及学生学习状况的测试结果，对传统教学模式和混合现实教学模式进行综合对比分析，如表1所示。

研究发现，混合现实的学习模式将学习从传统的二维屏幕和书本扩展到整个现实世界的教学可视空间，加深了学生对于木构建筑体量关系和结构特征的理解，使理论学习变得更富于多样性和实践性，通过其丰富的动态交互特性带给学生更多的学习乐趣，有效提高学生学习的主动性和自主学习能力。这种教学方式是在已有建筑史教学体系基础上的一种新思路，为教育理念与科技和现代信息技术的结合提供了新的方法。随着技术的完善和研究的深入，混合现实技术在教学领域应用的广度和深度必将进一步拓展。

参考文献

[1]李林瞳，王有春，谢晔，等.适用宇航智能交互场景的混合现实技术研究[J].计算机测量与控制， 2017，25（12）：255-258.（LI L T， WANG Y C， XIE Y， et al. A study of mixed reality applied to aerospace intelligent interaction [J]. Computer Measurement and Control， 2017， 25（12）： 255-258.）

[2]衡军.增强现实技术在船舶行业的应用[J].舰船科学技术，2014，36（12）：103-106.（HENG J. Research on application of augumented reality technology in ship industry [J]. Ship Science and Technology， 2014， 36（12）： 103-106.）

[3]廖屿荻，张兴国，杜源.从传统建筑到营造传统——重庆大学中国古典建筑史模型实践课程体系深化研究[J].高等建筑教育，2017，26（6）： 99-104.（LIAO Y D， ZHANG X G， DU Y. From traditional architecture to inheritance of building tradition：reflecting on the optimization teaching of Chinese classical architecture under the background of the new normal [J]. Journal of Architectural Education in Institutions of Higher Learning， 2017， 26（6）： 99-104.）

[4]周坚.外国建筑史课程教学改革研究[J].高等建筑教育，2014，23（2）：63-65.（ZHOU J. Teaching reform of foreign architectural history course [J]. Journal of Architectural Education in Institutions of Higher Learning， 2014， 23（2）： 63-65.）

[5]李小平，张琳，赵丰年，等.虚拟现实/增强现实下混合形态教学设计研究[J].电化教育研究， 2017， 38（7）： 20-25.（LI X P，ZHANG L，ZHAO F N，et al.Research on AR/VR blended style instructional design [J]. E-Education Research，2017， 38（7）： 20-25.）

[6]Milgram P， Kishino F. A taxonomy of mixed reality visual displays[J]. IEICE Transactions on Information and Systems， 1994， 77（12）： 1321-1329.

MILGRAM P， KISHINO F. A taxonomy of mixed reality visual displays [J]. IEICE Transactions on Information and Systems， 1994， E77-D（12）： 1321-1329.

[7]黄红涛，孟红娟，左明章，等.混合现实环境中具身交互如何促进科学概念理解 [J]. 现代远程教育研究，2018（6）： 28-36.（HUANG H T， MENG H J， ZUO M Z， et al. How embodied ineraction facliltates the understanding of scientific concepts in mixed reality environment [J]. Modern Distance Education Research， 2018（6）： 28-36.）

[8]陈宝权，秦学英.混合现实中的虚实融合与人机智能交融[J].中国科学：信息科学，2016， 46（12）： 1737-1747.（CHEN B Q，QIN X Y.Composition of virtual-real worlds and intelligence integration of human-computer in mixed reality[J].Scientia Sinica（Informationis），2016， 46（12）： 1737-1747.）

[9]黄进，韩冬奇，陈毅能，等.混合现实中的人机交互综述[J].计算机辅助设计与图形学学报，2016，28（6）：869-880.（HUANG J， HAN D Q， CHEN Y N， et al. A survey on human-computer interaction in mixed reality [J]. Journal of Computer-Aided Design and Computer Graphics， 2016， 28（6）： 869-880.）

[10]黄鸣奋.艺术与混合现实[J].东南大学学报（哲学社会科学版）， 2008，10（6）：74-78.（HUANG M F. Art and mixed reality [J]. Journal of Southeast University （Philosophy and Social Science）， 2008， 10（6）： 74-78.）

[11]纪连恩，张凤军，付永刚，等.虚拟环境下基于语义的三维交互技术[J].软件学报，2006，17（7）：1535-1543.（JI L E， ZHANG F J， FU Y G， et al. 3D interaction techniques based on semantics in virtual environments [J]. Journal of Software， 2006，17（7）：1535-1543.）

[12]梁思成.中国建筑史[M].北京：三联书店，2005：107-207.（LIANG S C. A History of Chinese Architecture [M]. Beijing： SDX Joint Publishing， 2005： 107-207.）

[13]潘谷西，何建中.《营造法式》解读[M].南京：东南大学出版社，2005：21-165.（PAN G X， HE J Z. Interpretation of Rules of Architecture [M]. Nanjing： Southeast University Press， 2005： 21-165.）

[14]淳庆，孟哲，贾肖虎，等.典型江南传统木构建筑的构件重要性分析方法[J].华侨大学学报（自然科学版），2019，40（1）：64-71.（CHUN Q， MENG Z， JIA X H， et al. Evaluation methods of component importance of typical traditional timber buildings in yangtze river regions [J]. Journal of Huaqiao University （Natural Science）， 2019， 40（1）： 64-71.）

[15]張十庆.宁波保国寺大殿：勘测分析与基础研究[M].南京：东南大学出版社，2012：5-128.（ZHANG S Q. Ningbo Baoguo Temple Hall： Survey Analysis and Basic Research [M]. Nanjing： Southeast University Press， 2012： 5-128.）

[16]王丹婷，蒋友燏.古建筑三维虚拟建模与虚实交互软件实现[J].计算机应用， 2017，37（S2）：186-189.（WANG D T， JIANG Y Y. 3D-virtual modeling for historic architecture and realization of virtual interactive software [J]. Journal of Computer Applications， 2017， 37（S2）： 186-189.）

[17]廖宏建.应用Kinect构建英语课堂虚拟教学情境研究[J]. 现代教育技术，2014，24（3）：64-70.（LIAO H J. Research on construting virtual context in English classroom teaching by Kinect [J]. Modern Educational Technology， 2014， 24（3）： 64-70.）

This work is partially supported by the Ministry of Education Humanities and Social Sciences Research Program （Z2018117009907）.

YAO Luji， born in 1994， M. S. candidate. Her research interests include mixed reality， human-computer interaction.

ZHANG Li， born in 1971， M. S.， associate professor. His research interests include virtual reality， human-computer interaction.