APP下载

虚拟现实技术在中医针灸教学中的应用

2021-04-09广西医科大学陆春雨丁穗娟

电子世界 2021年6期
关键词:经络虚拟现实针灸

广西医科大学 陆春雨 丁穗娟

“虚拟现实+教育”是当前社会热点之一,把虚拟现实技术应用到中医针灸教学中,是医学教育发展的必然趋势。本文主要介绍了虚拟现实技术及其在针灸教学中的应用,并对其优势与不足进行了探讨。

目前,国内中医针灸教学仍然采用纸质化的平面教材为主,再配合一些图片、视频、音频,加上课时较少而教学内容偏多,学生对于经脉循行、腧穴定位等知识的理解往往浮于表面。虚拟现实技术的应用为传统课堂教学带来了可喜的变化,使基础理论教学更加形象、针刺实践操作更具体、课堂教学过程变得更有趣、实践技能的考核变得更客观。

虚拟现实技术(VR)是综合运用计算机图形技术、人机交互技术、多媒体技术、仿真技术、传感器技术、网络技术等多种科技创造出一个虚拟的场景,这个场景可以是过去曾经存在过但现在已经消失不见的,也可以是现实中能看到却不易到达的,还可以是未来可能会出现的或只存在于人们的想象中的。当人们置身于这样一个虚拟世界中,所看到的、所听到的、所触摸到的、甚至所闻到的都近乎真实,让人沉浸其中,获得前所未有的体验。

虚拟现实技术有三个基本特征,通常被称为“3I”,即沉浸感、交互性和构想性。沉浸感是指人机自然交互,如同在现实世界中的交互一样,人体的多种感官(视、听、嗅、味、触等)无法分辨该场景是现实的还是虚拟的,从而让人沉浸其中;交互性是指参与者能通过手柄或手势来操纵虚拟场景中的物体,并得到自然的反馈,从而使虚拟场景发生改变;构想性是指参与者在虚拟场景中不断地交互,获得的感性与理性的认知也在不断增加,从而产生构想,萌发出新意。

虚拟现实技术包括三个主要方面:实物虚化、虚物实化以及高性能计算处理。实物虚化是把真实世界映射到数字世界中,虚拟出一个具有真实感的世界,并且能检测用户的操作,获取用户的操作数据。它包括基本模型构建技术(在虚拟世界中重构真实世界中的物体,并保留其物理属性)、空间跟踪技术(通过空间传感器确定用户在虚拟世界中的方向、位置等)、声音跟踪技术(声源不同,声音到达某个地点存在时间、相位等的差别,以此进行跟踪)和视觉跟踪与视点感应技术(光在不同的时刻和位置会在图像投影平面上产生不同的投影,以此可计算对象的位置和方向)。虚物实化是指用户的各种感觉(视、听、触等)接近真实,这是产生沉浸感的关键。比如用户对某个虚拟物体施加了作用力,要能清晰地感受到反作用力的大小、方向等。高性能计算处理是指为实现实物虚化和虚物实化,需要进行数据转换和数据预处理。包括图形图像实时渲染;声音合成和空间化;数据标准化、转换、压缩、生成数据库;各种模式识别,如语音识别、手势识别、人脸识别等;自组织神经网络、遗传算法;分布式计算、高速无线网络技术等。

1 虚拟现实技术在针灸教学中的应用

南方医科大学的蔡晓雯等结合长期的教学经验,对虚拟现实技术应用到针灸教学中提出了一些设想,分为初级学习型VR、综合提高型VR、游戏型VR、执业医师考试模拟、继续教育等五个方面。初级学习型VR涵盖基本知识点,重在初级操作和交互,培养学生的发散思维,弥补传统教学的不足。综合提高型VR基于临床实际病例,创建仿真医疗情境,培养学生的临床思维,帮助学生完成书本学习到临床实习的过渡,缓解见习前的紧张,减轻见习教学的压力。游戏型VR则主要用于学生在碎片时间巩固需要大量记忆的知识(经络循行、腧穴定位、功效主治等),用游戏任务的方式轻松完成,寓教于乐,事半功倍。执业医师考试中有实践技能的考核,可以用VR进行模拟,考生可以反复训练,甚至为个人量身定制训练方案,节省场地、人力、费用。学生在毕业后走上医务工作岗位,可以通过VR技术继续深造,了解学科最新进展,身临其境地远程观摩专家会诊、针灸过程等,有助于提高业务水平。

第二军医大学的罗虹等开发的《腕踝针虚拟教学系统》是把Poser中的人体三维模型导入到3ds Max中进行加工,再导入到Virtools里,用BB行为模块和VSL脚本制作交互,最后通过Dreamweaver集成并发布。该系统应用于本科教学后,超过百分之八十的学生认为它更有利于知识传达;超过百分之七十的学生认为它有助于提高教学效果和效率,更适合辅助教学,能提高自己的信息技术和探究能力;将近百分之七十的学生认为它的优势首先在于直观性,其次是交互性还有趣味性。

天津中医药大学的张砚等设计开发的虚拟针灸取穴实训系统使用3ds Max建模(人体、经络、穴位等),然后导入到VRMLPad中,使用Java编程,添加穴位文字显示、语音名称提示等交互功能,最后发布为一个可执行文件,能在浏览器中运行。学习者通过鼠标操作人体,可以从任意角度进行观察,反复进行认穴、取穴练习,为今后的针灸实训打好基础。

上海同济大学的姜雨晨等建立的虚拟针刺力反馈系统人机互动操作平台,用VOXEL-MAN虚拟人体开发平台开发出针灸学三维浏览器,运用图形与图像处理技术和力反馈技术进行人体组织建模。通过显示器,操作者能看到毫针扎进虚拟的皮肤和肌肉时,皮肤和肌肉发生形变的整个过程,实现针刺视觉再现。同时,通过Falcon力反馈设备,操作者能感受到反作用力,而且毫针扎进皮肤、穿过皮下组织、到达肌肉,这期间能明显感到力的变化,随层次递进,实现了针刺的触觉再现,体验相当真实。

山东中医药大学的朱琳等设计了基于Leap Motion体感控制器的三维经络辅助教学系统。先用3ds Max建立仿真的3D人体模型,再采集穴位位置(用OpenGL的定位函数将二维坐标转换为三维坐标)和穴位信息(用户输入后存储到My SQL数据库中,通过交互操作触发,读取相应信息)。Leap Motion体感控制器通过采集使用者的手势在空间的运动数据,操作三维对象。使用者通过手势可以旋转人体模型,从各个角度察看经络;选中某条经络时,其循行路线信息就会展示出来;选中某个穴位时,该穴位的详细信息就会出现在系统界面上。这样教师就可以直观、精确地呈现经络内容,清晰生动地展示、讲解人体穴位。

天津大学的崔晨晖设计了一套基于Oculus头盔和Leap Motion设备虚拟中医针灸训练系统。为解决手势识别不够精确,使用机器学习分类训练的算法,把准确率高的模型筛选出来,再应用到虚拟场景中。通过沉浸式的虚拟场景和新颖的交互方式,增强了学生的主动学习性,从而提高针灸训练的效果。

安徽中医药大学的高红磊等设计了一套虚拟针灸教学软件。用3ds Max制作人体三维模型,用Unity3D建立虚拟场景。使用者佩戴HTC VIVE的头盔,可以自由观察虚拟的3D人体。通过HTC VIVE的手柄发出射线,当射线击中某个穴位时,UI界面即可显示该穴位的相关信息,如名称、位置及主治病症等(这些信息使用JSON语言存储管理,通过穴位ID进行查找,然后传递给UI)。

华中师范大学的张文元等开发了针灸铜人虚拟交互展示系统。该系统以湖北省博物馆珍藏的腧穴针灸铜人为对象,用手持式三维激光扫描仪进行非接触式扫描,获得三维点云数据。再使用专业软件进行配准和去噪等处理,保存为Obj格式文件,导入到3ds Max中。然后用高清相机从不同角度对针灸铜人实物进行拍照,获得高清图片,导入PS进行处理,再导入到3ds Max中进行贴图烘焙操作。针灸铜人的穴位、经络以及常见病症等知识采用XML存储,用DOM解析可获得这些信息。针灸铜人的3D模型还需进行简化以便在网页和移动终端浏览,这里采用了基于改进的QEM算法的层次细节模型LOD技术,减少了3万多个三角面,大大提高了渲染的效率。最后利用Unity引擎制作虚拟交互,编译后可发布到浏览器、安卓和苹果系统等不同应用平台进行展示,实现了传统中医知识(穴位、经络、常见病症等)的三维可视化和虚拟交互查询。

广州中医药大学的陈玲等把裸眼3D虚拟现实技术应用到针灸临床特色技术实验教学中。采用超高清UHD裸眼3D数码显微镜、超高清立体摄像机、指向背光超高清裸眼3D显示设备,对针灸名师的针灸操作进行拍摄,获得高分辨率、高清晰度和强立体感的影像,把关键的步骤、具体操作手法、皮肤的细微变化等实时呈现,同时,进针深度等细节还会通过软件实时显示出来。学生无需佩戴VR眼镜或头盔,即可观看高清晰3D影像,既避免了视觉疲劳和眩晕,又增加了教学的趣味性、愉悦性、沉浸感和体验感。

2 小结

虚拟现实技术应用于中医针灸教学的优势明显:缓解教学资源紧缺、避免实验风险、节约时间和成本、形象生动和接近真实的操作体验大大促进学生对知识点的理解和掌握、更容易提高学生操作的熟练度等等。同时,也应关注其不足之处:硬件设备还需进一步完善,VR头盔太重、久戴不适、分辨率不够高、易眩晕、价格昂贵、保养维护管理成本高等都不利于大量采购和推广;力反馈技术还不够成熟;三维模型制作、平台开发,费时费力,需要打造专业教学团队相互配合;还需与临床实践更加紧密结合;多人虚拟现实还有待进一步发展。

猜你喜欢

经络虚拟现实针灸
Las nueve agujas de Fuxi Cómo surgieron estos implementos para practicar la acupuntura
关于经络是一种细胞外基质通道的假说
4个表现自测经络是否畅通
Efficacy of acupuncture on treating obesity and adipose-incurred illnesses
中医针灸的发展与传承
REALITY BITES
风口上的虚拟现实
虚拟现实技术向科幻小说借灵感
经络考证
中医针灸治疗腰椎间盘突出症44例