APP下载

基于虚拟现实技术的方舱医院训练系统设计与实现

2022-11-29李远辙谢康宁王文军颜泽栋罗二平

空军军医大学学报 2022年7期
关键词:方舱医院系统

李远辙,谢康宁,王文军,颜泽栋,罗二平,汤 池

(空军军医大学:1军事生物医学工程学系,2教研保障中心,陕西 西安 710032)

方舱医院是拥有先进医疗设备、优良作业环境和配套救治条件的现代化机动医疗系统,具有机动性好、环境适应性强、展开部署快速等优点,受到世界各国的高度重视[1-2]。近年来,我军新型方舱医院加速发展,并相继在汶川、玉树、武汉等应急医学救援任务中发挥了重要的作用[3-7]。然而,方舱医院作为一种典型的大型医疗卫生装备,由于其价格高昂、体积庞大和操作训练不便等特点,对从业技术人员提出了更高的要求,操作不熟练或失误,将严重降低展收效率,进而制约救治任务实施[8]。

目前,世界各国军队正在掀起以模拟化为标志的训练革命,其目的就是充分运用以计算机为核心的现代虚拟现实(virtual reality,VR)技术,实现军事训练的跃升,以最大的效费比实现战斗力的有机生成[9-10]。VR是20世纪发展起来的一项全新的实用技术,综合计算机图形技术、多媒体技术、人机交互技术、网络技术、仿真技术等多种技术为一体,其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感[11-12]。目前,VR技术已广泛应用于教育、军事、工业、医疗、艺术等领域,特别是在虚拟培训方面表现尤为突出。由于VR技术的沉浸性和交互性,学生能够在虚拟学习环境中扮演一个角色,全身心地投入学习,对技能性教学有着无比强大的推动作用[13],尤其适合针对体积大、价格贵、风险高、成本高的项目进行模拟训练[14]。运用VR技术进行大型装备模拟训练,是一种效费比高、最大限度贴近实际的训练方式。

本研究针对方舱医院这种大型卫生装备缺乏实践教学手段的难题,基于VR技术开发方舱医院训练系统,利用现代的虚拟教学手段完成现实中难以达到的实践教学效果。通过系统功能设计和技术开发,能够沉浸式地还原方舱医院实景效果,开展方舱医院的结构布局、展收操作等训练,既可应用于军事医学工程人才的院校教育,又可用于方舱医疗队的部队训练实践,从而提高我军大型卫生装备设备的完好率和可靠性,有效提升部队战伤救治训练水平,具有重要的实际意义和应用价值。

1 系统设计

1.1 系统总体设计

系统总体采用C/S架构设计,硬件部分主要由主服务器、网络单元、VR客户端构成。其中,主服务器主要对学员信息进行管理,收集汇总学员在VR端的学习、考核等数据。VR客户端由VR头显、手柄和图形计算机组成,系统通过网络单元可实现多个VR客户端接入。软件部分由服务器平台软件及VR客户端软件组成。服务器平台软件采用MySQL数据库设计,采用Pycharm编程对训练数据进行管理。VR客户端软件采用三维建模、动态采集、光线追踪以及VR等系列技术设计,选择蓝图与C++的混合软件开发,Unreal Engine 4引擎自带蓝图脚本语言并支持C++编写,使用Maya和ZBrush进行环境建模[15]。

1.2 系统功能设计

基于方舱医院展收训练的需求分析,进行训练系统功能模块设计(图1)。

图1 方舱医院训练系统功能模块设计图

按照教学功能,主要设计分为三大模块。①示范教学模块:采用语音讲解和示范操作演示形式,按训练科目分类演示方舱医院各环节的展收操作,学员无需干预和操作;②模拟训练模块:采用文字和标识引导方式,引导学员按训练科目独立完成方舱医院各环节的展收操作,操作错误会有提示;③考核评估模块:无语音文字提示和标识引导,学员独立完成方舱医院各训练科目的展收操作,系统和考官依据考核标准进行操作打分。

按照训练科目,主要设计分为四大功能单元。①结构布局:采用沙盘推演和积木搭建方式,使学员能够对方舱医院中各功能方舱联接顺序和位置布局进行总体训练。该单元涵盖12个功能方舱,学员需将方舱模型依据正确顺序搭建至相应位置;②舱室装卸:沉浸式模拟真实功能方舱从自装卸车辆上的卸载操作与位置布局过程。该单元涵盖12个功能方舱,学员使用模拟平板电脑依据方舱展开顺序选择车辆并调整车辆至合适位置,模拟方舱卸载全过程;③连接展开:模拟舱室卸载后,依次进行电站、水站、气站三个保障方舱与功能方舱的联接方式训练,以及主功能方舱双侧扩展和功能方舱之间通道连接的展收操作全过程;④舱内展收:舱室装卸、展开联接完成后,进入方舱医院内部,进行功能方舱内部主要医疗设备展收训练。主要设计分为急救方舱、手术方舱和X射线方舱三个主功能舱室,舱内展收训练设备包括手术床、器械台、无影灯、高频电刀、监护仪、X射线机等。

2 系统开发关键技术

2.1 3D虚拟场景设计与实现

2.1.1 3D模型的制作 利用数字采集模型设备数据,实地实装进行高精数据采集,采集建模包括12类医疗方舱、自装卸车辆、卫生帐篷,以及舱内手术床、呼吸机、监护仪、高频电刀、除颤器、X射线机等重要医疗设备。将取得的数据通过程序脚本工具,以栅格化的数据格式进行空间转换,形成3D高度映射模型。为进一步加强真实性,可以配合同等坐标的高精度照片作为shader的texture生成初级的3D模型。此3D数据属于粗模,尚不具备空间坐标,仪器及位置真实度较低,仅能应用于一般性质的虚拟医疗设备。

2.1.2 设备及材质的加入 针对粗模加入模型细节、坐标等信息,加强真实感和现场感。通过采集真实场景信息,使用3D Studio Max或者Maya等软件,对取得的真实数据进行仿真,包括仪器内部和场景可破坏属性(仪器故障外观)等特殊训练要求。关于仪器设备部分,可在Maya中设计仿真场景中相应环境所特有的物件。

2.1.3 物理特性模拟和最终渲染 在仪器设备模型和场景物件基础上,对场景的交互属性进行设置,对场景加入physX物理属性,从而产生引力和风力等力场,使虚拟场景中的诸物体和现实中的场景有一致性。调整lighting及shading,以带细节法线方式、高分辨率逐像素灯光方式对场景进行prelighting照明,调整LOD以提高渲染效率,形成最终VR虚拟场景。

2.2 VR系统人机交互界面设计与实现

2.2.1 开发引擎与硬件接口设计 使用Unreal引擎内置C++语言脚本,对硬件API接口部分重定义,使多个硬件设备在同一Unreal场景中使用时达到同步,以符合VR虚拟训练的要求,达到在Unreal引擎中的实时互动以及定义互动具体内容。本系统基于Unreal Engine 4引擎软件开发,该引擎对光线追踪技术相应地有着很好的适配,贴近真实世界的保真度,更符合本训练系统严肃主题所需要的渲染风格。同时,该引擎契合光线追踪技术需求,系统强大,扩展性更丰富。

2.2.2 装备实训科目设置 依据功能设计中方舱医院展收训练科目要求,设计人机交互内容及形式,以及在手柄和万向跑步机上的按键和功能的设置,以符合训练要求。此部分包括设计虚拟手柄的具体功能设置(含按钮及Gesture控制)、跑步机速度(与虚拟空间同步),以及在虚拟空间中存在但现实中不存在的物体的交互方案等技术问题。

2.2.3 多人交互网络互联 对于多学员参与的训练模式,通过局域网TCP/IP协议进行多个不同的节点之间的互联设计,进行数据的交换,实现同一场景内多个参训学员之间的互动,包括真实人物之间的互动、真实人物与虚拟物体的互动、真实人物借助虚拟物体关联互动、以及进一步的互动方式的设计。

2.3 VR系统后台数据库建立

2.3.1 后台故障机数据库建立 此部分数据库包括数据框架以及外在视觉表现部分,在VR训练中故障机模型是由后台数据库自动生成。通过教师专用控制端在数据库中选择故障类型、机器种类和型号、损坏程度等,由Ragdoll系统调配数据,生成检测3D模型。也可以由系统随机生成,由教师判断训练操作是否合理,并最终发布到系统。

2.3.2 考核标准数据库和数据平台建立 建立基本的装备使用数据,以及通过3D Scan配合手工建模方式将真实装备3D模型导入到系统中,由后台控制其基本属性,由3D模型构成VR中的视觉部分。数据平台包括后台架构、服务器及客户端,以区分教师端和学员端。由教师在其专用端通过选择场景、任务和特定条件等,生成考核任务,由学员在VR端进行训练,教师进行考核结果评判打分,最终由系统生成考核报告。

3 系统实现与建设效能

方舱医院VR训练系统由空军军医大学与联勤保障部队第九八八医院联合攻关研制完成。为实现沉浸式训练过程中的真实感,该系统通过实景测量方舱医院全部装备,针对每个部件细节实施单独建模,建模类型达千余种,实时处理多边形达5亿面,视场角度达110°。系统包括四大训练单元和急救舱、手术舱、X射线舱、检验舱等12个舱室,百余套装备训练科目,画面品质达AAA级标准,能够真实还原90%以上装备细节。关键部位进行了交互式设计,可沉浸式实景重现野战方舱医院的功能和结构(图2)。

A:系统全景;B:功能界面;C:结构布局;D:舱室装卸;E:内部通道;F:急救方舱。

目前,该训练系统已在空军军医大学部分本科生、研究生和任职培训等《军队卫生装备》相关课程和训练任务中投入使用,2021年入选全军“为战抓教”教育训练成果展(实物参展)。在教学实训中,学员逐一上手开展实训,青年学员对于这种新颖的教学手段表现出浓厚的兴趣。课堂反馈和课后问卷调查结果表明,学员均表示对VR形式教学兴趣浓厚,认为VR教学能够显著提升大型装备的学习效果。在利用VR进行教学的优势方面的多选题中,学员普遍选择身临其境、互动性好、能够培养自己的创新精神和意识、能够引起自己的好奇心和提高学习兴趣等。

本训练系统基于VR技术开发,可开展与方舱医院相关的多任务装备和勤务训练,贴近部队训练实际,不受大型实装和训练场地限制,便于全天候开展实训教学,从而有效提升实战化和标准化教学水平,提高学员的岗位胜任能力。同时,作为虚拟训练系统未来有望上线,通过高效利用现代数字化、网络化和信息化等线上教学方式,可面向军队从业人员实现全员学习、开放学习、自主学习、终身学习的在岗继续教育活动,丰富军事职业教育平台资源。

猜你喜欢

方舱医院系统
Smartflower POP 一体式光伏系统
WJ-700无人机系统
品“助读系统”之妙
方舱日记
情满方舱
情满方舱
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
萌萌兔医院
一种整体式垂直扩展方舱结构设计
认一认