谭 珂，潘新华，高 原

中国人民解放军总医院教育技术中心，北京 100853

医学虚拟仿真教学环境的构建

谭 珂，潘新华，高 原

中国人民解放军总医院教育技术中心，北京 100853

分析了医学虚拟仿真教学环境的特点，设计了一套医学虚拟仿真教学环境的架构，并对其环境架构和系统功能模块架构进行了讨论，同时结合临床教学，介绍了两个具体的应用实例。应用结果表明，该仿真教学环境具有安全无风险、高效率、学习体验真实、应用前景广阔等优点。

医学虚拟仿真;教学环境;沉浸感;架构

学习作为一个体验式的过程，需要通过学习者的亲身体验来完成学习过程中的各种实践活动，并将获得的经验转化为他们的内部知识［1］。通过体验式学习可以调动学习者学习主动性，发挥其主体地位。为提升学习过程的体验，获得理想的学习效果，虚拟仿真教学环境应运而生。这里所说的虚拟仿真教学环境是指:利用三维图形生成技术、多传感交互技术以及高分辨显示技术，生成逼真的三维虚拟环境［2］，学习者通过特殊的头盔、数据手套、力反馈器等传感设备，或利用空间定位器、三维鼠标等人机交互设备，沉浸于虚拟空间内，成为虚拟环境的一员，采用实时交互的自然方式［3］，通过视觉、听觉、触觉甚至嗅觉等感知和操作虚拟世界中的各种学习对象，从而获得身临其境的学习体验和感受。

医学虚拟仿真教学环境是虚拟仿真技术和医学教学训练的高级、复杂结合，是信息化教学的高级应用［4］。随着信息技术的飞速发展和软硬件性价比的大幅提高，医学虚拟仿真技术正逐渐从科研院所、实验室走向实际教学应用。该文讨论了医学虚拟仿真教学环境的特点，提出了该仿真教学环境的系统性架构，并针对具体的实例进行了分析和介绍，通过临床教学实际应用，获得了较好的教学效果。

1 医学虚拟仿真教学环境的特点

医学虚拟仿真技术构建的数字化虚拟仿真教学环境是针对医学数据建立的一体化环境，并通过专用的交互设备，实现对仿真人体器官在仿真手术器械作用下的各种变化的模拟和对学习操作人员的各种感官反馈的模拟，以获得身临其境的学习体验。所构建的医学虚拟仿真教学环境可广泛应用于医学解剖教学、手术操作技能训练、手术方案设计［5］、手术规划教学和术后效果评估等方面。与其他领域虚拟仿真教学环境相比，其主要技术特征是:

1.1 建模来源于医学影像数据

作为医学虚拟仿真教学环境，其几何模型的构建来源于真实的人体医学影像数据。CT、MRI、PET、超声甚至人体冰冻切片数据，具有数据量大、个体化差异大、来源丰富等特点。例如:我国第一套数字化可视人体数据集全身共计有3 640个断面，每个断面的图像分辨率为6 291 456(3 072×2 048)像素，整个数据集为131.04 GB。

1.2 逼真度要求高

衡量一个虚拟仿真环境的好坏，重要的一点就是逼真度。高逼真度的环境可为学习者提供身临其境的沉浸感，需要在视、触、听觉等感知通道提供真实感的体验。例如:利用人眼的视觉残留效应，对虚拟场景的绘制刷新率一般不低于20帧/秒，这样学习者看到的场景影像才是连续、不闪烁的。另外，对于环境中的各种几何模型(如人体组织、手术器械)的纹理，可采用真实环境下实际拍摄的图像进行处理。

1.3 人体几何模型要求准确

医学教育的目的是培养合格的医务工作者，是为人提供疾病诊治服务的。在仿真教学的过程中，各种学习和操作的对象均为人体组织器官的几何模型，如构建的各种脏器、神经、血管等模型。所以，在对人体进行几何建模时，在考虑个体差异的同时，需要精细、准确地表现人体的解剖结构。

1.4 体现人体的生物物理特性

与其他领域的仿真不同，医学虚拟仿真教学训练时，人体模型多体现为软组织的生物物理特性。例如:在探钩的按压下脏器会发生弹性形变;使用手术刀切割会发生组织的撕裂和流血;以及仿真治疗的过程中，人体的血压、脉搏等生理参数会实时发生变化。这些生物物理特性的仿真是目前学术界研究的热点和难点。

1.5 触觉反馈的精确性和实时性

由于交互对象为人体模型，所以需建立复杂的模拟弹性力学模型［6］。在虚拟仿真教学环境中，让学习者用他的手或身体的其他能动部分去操作虚拟物体，并在操作的同时能够感觉到虚拟物体的反作用。这种触觉和力学反馈是一个复杂的、与视听觉等其他刺激有关的过程，通常外科医生用手术刀进行精密手术时，他需要一个至少三自由度的力量感知装置，当手术刀自由运动时，操作者并没有负担的感觉，且可以感觉到手术刀在不同皮肤上操作产生的摩擦阻力和弹力的高频力量成分。所以，要求触觉模型的精确，且触觉刷新率不低于500 Hz。

2 医学虚拟仿真教学环境的架构

2.1 环境架构

医学虚拟仿真教学环境的重要特征是把学习者作为环境的核心，把学习者与三维虚拟空间和世界的多感知实时交互作为环境存在的必要条件。其环境架构主要包括视觉、触觉与力学、听觉、空间定位系统和开发实现与运行环境五大部分，其相互关系如图1所示。

图1 环境架构图

2.1.1 视觉系统 由于虚拟仿真环境主要表现为三维虚拟空间，依据人体感知信息途径的权重，视觉通道感知是最基本、最重要的。对于开放式操作(如直视下肝切除手术)的仿真还需要对生成好的三维场景进行立体显示，通过专业显示器、显示头盔(如V8)、立体眼镜(如3D Vision)、三维投影仪或沉浸感强的CAVE系统等硬件设备进行展现。

2.1.2 触觉和力学系统 触觉通道解决学习者手上实时感知操作的弹力和摩擦力等体验，常见的有笔式力反馈器、支持触觉的数据手套以及针对具体应用专门设计的反馈设备，如PhanTom、Delta、5DT手套等反馈设备。由于医学仿真操作时一般采用的是双手，故教学环境应支持左右手双通道的反馈计算。

2.1.3 听觉系统 听觉通道实时提供声音反馈，如器械操作声等。听觉系统通常至少支持双声道的立体声。在考虑学习者视觉、触觉、听觉等方面相互作用关系的同时，还要求几个通道的反馈应保持同步、无延时。

2.1.4 空间定位系统 为依据学习者进行人机交互时的动作、位置和姿态使虚拟仿真环境显示出相应的虚拟场景，需要空间定位系统能够实时地检测出数据回路中人肢体的位置和指向［7］，该系统从学习者端获取数据，包括头部、手指、器械手柄等。目前主要有基于机电、电磁及光学的不同技术方式，如NDI、Fastrack 等设备。

2.1.5 开发实现与运行环境 虚拟仿真的实质是在多维信息空间内创建一个更适应于学习者体验的信息处理环境，所处理的数据包括:虚拟几何模型、触觉信息、位置信息等。对这种处理过程最本质的抽象就是把各种处理的客体都归纳为一种统一规范的“对象”，这种“面向对象”的方法也就成为开发实现虚拟仿真教学环境的基本方法。现有的虚拟仿真开发实现系统，几乎无一例外地遵循“面向对象”的原理，底层的开发工具通常是采用VC++语言、OpenGL图形库等，常用的商业化、集成化虚拟仿真环境开发软件有:WTK、Vegas、Virtools、OpenGVS 等。

虚拟仿真环境是以图形工作站为核心进行数学计算和系统运行的。随着计算机技术的发展，从早期的SGI的Onyx高端工作站集群到Wildcat系列，再到Nvidia的Quadro系列等通用工作站，其硬件成本大幅下降，从动辄上百万的投入降低到了十万以内，其核心性能指标是每秒多边形的处理数量、像素填充率、GPU性能、边缘抗混迭能力、图像纹理深度等。

2.2 系统功能模块架构

在医学虚拟仿真教学环境架构的基础上，需要设计整个系统功能模块架构，通过各模块实现数据信息传递和各软件算法。我们设计的功能模块架构主要由视觉场景绘制、触觉力反馈计算与生成、听觉计算与生成、交互控制与空间定位、碰撞检测、形变和切割计算、特效计算以及教学评判等模块组成(如图2所示)。

图2 系统功能模块架构

2.2.1 视觉场景绘制 虚拟视觉场景是由人体组织器官几何模型、手术器械模型以及操作场景模型组成。其中，人体组织器官模型核心［8］是通过对医学图像进行配准、分割、三维重建完成的。常用的医学三维重建软件有3D Doctor、Mimics、TGS等，完成的各种模型存储在模型库中，根据场景需要进行调度，并从纹理库提取相应的纹理数据，通过模型绘制、纹理绘制和特效绘制完成虚拟视觉场景的绘制，最后经视觉显示系统反馈给操作者。

2.2.2 触觉力反馈计算与生成 触觉力反馈计算模块主要计算交互过程中的虚拟弹力和摩擦力。弹力是虚拟器械作用在组织模型表面让学习者感知的反作用力，摩擦力是对组织模型表面摩擦和触觉纹理的模拟。这些力学计算结果经合并叠加后传递给交互控制模块，再由力反馈设备输出，常见的计算模型有弹簧-阻尼器模型等。

2.2.3 听觉计算与生成 听觉计算与生成模块用来计算和生成虚拟场景的立体声。它针对每一个触发事件调用声音库中的数据，从而完成和实现听觉信息的生成，再传递到听觉系统进行输出展现。常用的声音包括:器械操作声、麻醉机等设备声、病人的反馈声等。

2.2.4 交互控制与空间定位 交互控制模块主要完成对操作者动作姿态的获取和空间定位，对定位精度和实时性的要求较高。作为人机交互接口的重要部分，还需要对学习者的双手操作进程进行调度，并对计算完的力学数据进行反馈输出。同时，定位信息也将传递到碰撞检测计算模块，为其提供计算依据。

2.2.5 形变与切割计算 形变和切割计算模块是依据物理模型属性，计算人体模型在虚拟器械的作用下发生的弹性形变、切割等拓扑改变，并把结果传递到视觉场景绘制模块中。该模块需要满足计算的实时性、健壮性和精确性，常用的计算模型有:弹簧振子模型、有限元模型和混合计算模型。

2.2.6 碰撞检测计算 碰撞检测是形变和力反馈计算的基础，同时也是软组织切割模拟的先决条件［7，9］。主要包括虚拟手术器械与人体组织模型之间的碰撞检测及几种虚拟器械之间的碰撞检测。其算法的稳定性和精确性将会对后续处理乃至整个虚拟仿真环境的性能产生巨大影响，常用的算法有:空间分解法和层次包围盒方法等。

2.2.7 特效计算 为满足虚拟环境的真实性，其特殊的视觉特效计算是必不可少的，特效模块主要用来计算虚拟场景中组织器官的纹理高光、血液流动和扩散、气泡、烟雾等视觉特效。常采用透明通道绘制、流体力学模型、粒子系统模型等方法计算实现。

2.2.8 教学评判 为满足教学实际需要，虚拟环境应具有良好的扩展性，设计教学回馈功能，用于检查和回顾演练虚拟操作的过程。还应包含教学评判，用于对学习者操作演练过程进行综合评判，评判规则和内容可预先设定或从外部专家数据库中导入。

3 应用实例

3.1 虚拟膝关节镜手术仿真训练系统

依托国家自然科学基金和科技部863计划课题，针对膝关节镜手术的临床教学需求，应用医学虚拟仿真教学环境架构，我们开发完成了一套虚拟膝关节镜手术仿真训练系统［9］。包含一台Quadro FX 3400小型图形工作站、两台PhanTom Desktop力反馈交互设备、一个液晶显示器、一对立体声音箱、一套仿真器械接口。虚拟仿真程序在Visual C++6.0环境下开发，图形显示使用OpenGL类库，触觉仿真进程采用GHOST SDK接口开发。由于是仿真腔镜下的手术场景，采用了平面方式向用户显示虚拟场景和软件用户界面，两台力反馈设备提供左右手的操作力学通道并与图形工作站相连。交互设备的端点设计了仿真器械接口由用户操纵，用来模拟膝关节镜以及其他手术器械，它们将用户操作的位置和姿态信息传送给工作站，并且将工作站对操作进行仿真计算得到的力反馈给用户。这些触觉信息结合工作站的显示器提供的视觉、听觉信息使得用户产生一种正在进行真实手术的沉浸感(如图3所示)。该系统在国家执业医师协会培训基地用于培训关节镜医师，取得了良好的教学效果。

图3 应用“虚拟膝关节镜手术仿真训练系统”培训执业医师

3.2 肝脏手术虚拟仿真教学系统

图4 “肝脏手术虚拟仿真教学系统”环境结构

依托总部训练模拟器材研发项目，我们初步开发完成了一套肝脏手术虚拟仿真教学系统，包含:一台DELL T7500图形工作站(配置Quadro FX 3700图形卡)、两台PhanTom Omni力反馈交互设备、一个120 Hz的液晶显示器、一套3D Vision立体显示系统、一对立体音箱(如图4所示)。由于肝脏手术不同于腔镜手术，是开放式操作，学习者需观看直视下立体影像，且肝脏解剖结构复杂，要求仿真训练时显示的虚拟场景立体感强、亮度高、实时性好，因此我们采用了基于OpenGL和3D Vision SDK的立体显示方案［10］，并基于OpenHaptic软件环境开发实现触觉仿真，其中空间定位系统集成于力反馈设备手柄中。通过该虚拟仿真教学环境，能较好地展现出肝组织以及肝内管道之间的空间毗邻关系，有效地提高了虚拟场景的沉浸感。

4 结论与展望

依据医学教学的需求，我们设计了医学虚拟仿真教学环境，并针对临床实际手术训练，开发完成了仿真应用系统，通过逼真、实时的视觉、触觉和立体声听觉反馈，构建了以学习者为核心的、模型准确、集成效率高、稳定可靠的数字化虚拟环境，为学习者提供了身临其境的感知体验。通过在临床手术仿真、操作技能培训、模拟演练和解剖教学等方面进行教学应用，结果表明:医学虚拟仿真教学环境具有教学训练过程安全无风险、高效率、学习体验真实、教学过程可调控以及知识库多样性等优点，对促进医学教育与训练模式的改革，提高训练效率和质量有着重要意义，在医学教育领域具有广阔的应用前景。

［1］杨嘉玲.基于体验式学习的虚拟教学环境构建［J］.广州广播电视大学学报，2011，11(3):10-14

［2］周全义，赵龙.面向应急系统的城市虚拟环境构建方法研究［J］.计算机与现代化，2011，15(5):168-171

［3］段新昱，朱杰杰，姜品.多媒体虚拟教学环境中的实时交互方法［J］.系统仿真学报，2004，16(9):1992-1998

［4］Bao CB，Wang BL.A Open Source Based General Framework for Virtual Surgery Simulation［C］.2008 International Conference on BioMedical Engineering and Informatics，2008:575-579

［5］Fuchs J，Warmann SW，Sieverding L.Impact of virtual imaging procedures on treatment strategies in children with hepatic vascular malformations［J］.J Pedia Gastroenterol and Nutr，2010，50(1):67-73

［6］Sieber A，Valdastri P，Houston K.A novel haptic platform for real time bilateral biomanipulation with a MEMS sensor for triaxial force feedback［J］.Sens and Actuat A 142，2008:19-27

［7］高明向，符丁，陈定方.虚拟环境及其行为建模技术研究［J］.湖北工业大学学报，2008，23(2):13-15

［8］黄颖，许梅萍，陈洁，等.斜视与眼球运动仿真教学软件的研发［J］.中国医学教育技术，2011，25(1):33-35

［9］谭珂，郭光友，潘新华.一种膝关节镜手术仿真系统［J］.系统仿真学报，2007，19(20):4649-4653

［10］谭珂，潘新华，蔡守旺，等.三维立体显示技术在肝脏手术仿真训练系统中的应用［J］.中国医学教育技术，2011，25(5):522-525

Construction of the medical virtual simulation training environment

Tan Ke，Pan Xinhua，Gao Yuan
Educational Technology Center，the Chinese PLA General Hospital，Beijing 100853，China

This paper analyzes the characteristics of the medical virtual simulation training environment and designs a framework of the training environment.Then it discusses the framework of the environment and system function modules，and introduces two application cases by relating to clinical teaching.Educational application shows that this simulation training environment enhances the advantages of risk-free security，great efficiency，genuine learning experience and wide application prospect.

medical virtual simulation;training environment;sense of immersion;framework

G434

A

1004-5287(2012)05-0535-04

2012-05-23

谭珂(1973-)，男(蒙古族)，长沙人，高级工程师，硕士，主要研究方向:医学虚拟现实、计算机网络、多媒体技术。