论融合虚拟现实的可视化交互教辅工具的设计与实现

2023-08-25仲于姗

艺术科技 2023年17期

摘要：针对传统教学辅助工具沉浸感薄弱和知识传输方式单一的问题，文章以一款诗词教辅工具为例，探索基于虚拟现实技术（VR）的可视化教学辅助工具的设计与开发，以弥补传统教学辅助工具的不足。文章以虚拟现实技术OpenXR为背景，结合虚拟现实应用的设计开发方法，重点研究虚拟现实教辅工具的设计与开发方案，并分析虚拟现实教辅工具的优势和劣势。开发方案主要包括内容策划模块、素材制作模块、交互设计模块、程序开发模块和内容管理模块。内容策划模块主要进行题材选择和脚本策划。素材制作模块负责设计和制作三维模型、特效、音效等素材。由掌握虚拟现实技术的编程人员设计开发交互设计模块和程序开发模块。本项目还融入了语音识别技术，实现教辅工具的教、学、训、考功能。内容管理模块主要负责教辅工具的后期维护。基于五个模块的设计与实施，文章总结一套可行的虚拟现实教辅工具设计与开发方案，研究者可以按照此方案设计开发融入高新数字化技术的教学辅助工具。同时，通过分析具体的虚拟现实诗词教辅工具案例，得出融入虚拟现实技术的教辅工具在体验感、交互性和教学内容组织上具有明显优势。模块化的设计使具有沉浸感、构想性和交互性的虚拟现实技术可以快速融入教辅工具的设计与开发，解决传统教辅工具缺乏沉浸感、交互感和内容形式单一的问题。

关键词：虚拟现实；语音识别；可视化；教辅工具

中图分类号：TP311 文献标识码：A 文章编号：1004-9436（2023）17-00-03

0 引言

传统教学辅助工具是指现实世界中具体的、实体的物品，如教科书、练习册、黑板、白板等，学生和教师可以通过触摸、翻阅、书写等方式与这些工具直接互动。这类教辅工具通常以线性方式组织和呈现教学内容，学生在教师的指导下学习和理解知识，逐步积累和应用知识。随着科技的发展，虚拟现实技术、人工智能技术、大数据技术为教育提供了更多的可能性［1］。这些技术能提供更多交互性、个性化学习的机会，并通过实时互动和智能化技术为学生提供更加便捷和丰富的沉浸式学习体验［2］。

本课题依据虚拟现实技术OpenXR标准，以一款基于虚拟现实技术、语音识别技术和游戏开发技术的古诗词教辅工具为例，分析虚拟现实教辅工具的设计与开发方案，旨在探索虚拟现实数字化教辅工具的设计与开发路径。

1 设计与实现

当前，虚拟现实教辅工具的设计与开发通常遵循设计、开发、调试、使用、反馈、迭代的线性流程模式。但实际上，某些环节是并行发生的，因此线性生产流程逐渐被模块化的生产模式取代［3］。为提升融合虚拟现实交互教辅工具的开发效率，促进开发团队高效分工合作，本项目采用模块化的设计与实现模式，主要包括以下五个模块。

1.1 内容策划模块

内容策划模块是指教材出版社、课程组和文化传媒组织合作完成的一系列任务，包括市场定位、题材选择、版权获取和内容脚本策划等。

本项目旨在通过新型的人机互动方式，帮助学生更好地理解和记忆古诗词。用户既可以通过诵读古诗词触发语音识别技术变换沉浸式虚拟场景，又可以通过“游戏闯关”的方式，默写古诗词，考核古诗词的掌握情况，在立体形象的沉浸式場景中呈现原本抽象的知识，实现“教—学—训—考”一体化。

关于人教版语文课本中的古诗《渔歌子》，根据古诗词的教学要求，项目在传统的赏析、诵读、练习、默写四个部分进行了大胆设计和创新。在赏析部分：将歌曲《渔歌子》作为背景音乐，根据古诗描述的场景，使用三维建模技术和动画技术创建三维古诗场景和动画，利用虚拟现实技术使学生身处三维诗词场景中，学生能够更加直接地体会诗句描绘的场景。在诵读部分：采用人工智能语音识别技术，识别用户朗读的诗句，触发镜头变换相应的古诗场景，鼓励学生诵读、记忆诗句。在练习部分：采用益智类游戏帮助学生记忆古诗中的生字。在默写部分：考查学生默写古诗全文的情况，通过输入古诗句等形式，评估学生的默写情况。

1.2 素材制作模块

素材制作模块主要包括三维模型和场景、动画、特效、音效、视频等一系列元素的制作。

三维场景的制作：应用Unity游戏引擎中的地形组件，完成山脉、草地、树木、河流的地形编辑。应用3Dmax建模软件完成白鹭、鱼、蓑翁的建模、贴图、烘焙等操作，将模型以Fbx格式导出，导入Unity游戏引擎，如图1所示。

三维动画的制作：项目中的动画分为两类，一类是场景中摄像机运动轨迹动画，每句古诗对应场景中的一个画面，采用Unity中的Timeline插件完成摄像机的轨迹动画。另一类是角色动画，通过3Dmax建模软件对白鹭和鱼进行关键帧动画的制作，完成白鹭飞翔和鱼游动的动画制作。

粒子特效的制作：场景中的粒子特效主要包括花瓣粒子特效、雨滴粒子特效、体积雾粒子特效。使用Unity中的粒子特效系统，导入花瓣和雨滴的纹理素材，调整粒子系统组件的参数完成特效制作。

1.3 交互设计模块

项目的交互设计模块主要分为界面交互设计、语音交互设计和虚拟现实交互设计。

界面交互设计：在项目界面中设计可点击触发的交互按钮，用户通过点击首页界面上的按钮触发场景的跳转功能，进入不同教学环节。也可以点击按钮返回首页，调整背景音乐音量，以及退出项目等。首页交互界面设计如图2所示。

语音交互设计：在诵读模块，用户诵读一句古诗，程序通过语音识别，完成古诗句匹配，如果诗句诵读正确则跳转相应场景画面，否则不触发画面的转换，实现效果如图3所示。

虚拟现实交互设计：虚拟现实将学习者从传统的二维界面拉入了三维的虚拟空间，因此，虚拟现实教辅工具与其他教辅工具的人机交互方式存在显著差异。主要分为：头部转动交互方式、眼睛“凝视”交互方式、手势交互方式、手柄等外设交互方式、空间定位、肢体交互方式等［4］。在本项目中，用户佩戴VR头盔，实现场景的360度赏析，融入虚拟世界，如图4所示。在本项目中，因为要控制摄像头的运动轨迹，所以并未设计虚拟现实中用户的瞬移功能。

1.4 程序开发模块

程序开发模块包括编程开发、功能实现、封装集成。Unity游戏引擎拥有方便灵活的编辑器、友好的开发环境、丰富的工具套件和良好的跨平台特性［5］。项目主要是基于Unity游戏引擎，使用UI组件、碰撞检测组件、刚体组件、粒子特效组件、动画组件，时间线组件采用C#逻辑编程，完成了UI交互、碰撞检测、物理效果、粒子效果、动画触发、摄像机按轨迹移动等基本功能。

SteamVR插件是Valve公司提供给Unity开发者的开发工具，虚拟现实功能主要是通过在Unity中加入SteamVR插件，通过该插件完成VR应用程序的开发，并运行在HTC Vive硬件设备上。

在Unity中使用Windows语音识别API，将诵读识别后的文字与古诗词匹配，实现实时语音识别，通过C#编程，根据识别结果，控制摄像机的移动轨迹。实现诵读一句古诗，出现相应古诗场景的功能。

1.5 内容管理模块

内容管理模块主要涉及内容管理、测试、运营、售后等方面。虚拟现实诗词教辅工具在本模块重点进行了实际的教学测试，根据测试结果，完善与迭代项目。该项目的主要受众是少年儿童。从操作能力来看，一般小学生可以较为熟练地使用各种电子设备。从内容来看，因为本项目的内容是语文课本中的古诗词，所以小学生可以高效接收教辅工具中的内容，加深古诗词记忆。本项目仅以一首古诗为例，如果要丰富教辅工具的教学内容，就要创建统一的内容管理平台。

2 设计开发中的优势和不足

与传统教辅工具相比，本项目的教辅工具融入虚拟现实、语音识别、数字游戏等技术，丰富了学生的学习互动体验，提升了教学质量。其优势主要体现在以下三个方面。

第一，沉浸式学习：虚拟现实教辅工具将知识的传播方式从二维扁平的单一维度传输转变为多感官、场景式的多维认知通道的传播。通过创造虚拟或仿真情境，让学习者置身其中，以体验的形式学习。

第二，交互式学习：语音识别技术和交互界面技术，帮助学生更好地使用教辅工具，调动感官效能，使学生由被动的知识学习者转变为主动学习的体验者和创造者。

第三，游戏式学习：将电子游戏元素融入教辅工具，使学生在游戏中获得学习的成就感，通过趣味游戏答题“闯关”不断巩固知识，丰富知识传输方式，寓教于乐。

虽然与传统的教学辅助工具相比，融入虚拟现实技术的教学辅助工具在沉浸感、交互性、游戏性上有明显的优势，但也存在一些需要改善的问题。

第一，目前VR可穿戴设备还不够轻便，长时间负载会引起生理不适，容易引发视觉疲劳，不利于学生的身心健康。年龄小的学生难以熟练使用设备，需要教师和家长的帮助。

第二，三维虚拟场景固定，难以充分展现所描述的内容。例如，使用三维建模工具再现古诗词描绘的场景，建模的场景是固定的，无法充分体现古诗词的意象美学。如果能将人工智能技术融入场景塑造，使三维虚拟场景实时根据用户的要求灵活创建，则更有利于展现古诗词的韵味。

第三，缺少统一的素材收集、内容制作、出版发行的教辅工具管理平台。虚拟现实教辅工具的设计與开发的五个模块，分属于不同专业领域，设计开发过程中需要跨专业团队的支持。高效的一体化教辅工具管理平台，有利于制作和发行教辅工具，但目前市面上缺少这类平台。

3 结语

融合虚拟现实技术的可视化交互教辅工具不仅使教师和学生获得了身临其境般的教学体验，还补齐了传统教辅工具缺乏互动、体验感不强的短板，有效拓展了知识的传播途径。然而，目前此类教辅工具在硬件设备、内容制作、平台管理上存在不足，有待进一步完善。

参考文献：