徐少平 李春泉 江顺亮 罗 洁

1(南昌大学信息工程学院，南昌 330031)

2(南昌大学机电工程学院，南昌 330031)

3(南昌大学传染病附属医院，南昌 330002)

引言

如图1所示，虚拟手术仿真系统是一种专门用来模拟在手术过程中可能遇到各种情况的虚拟现实应用系统［1－4］，主要在视觉和触觉等感官上为受训医生提供手术中各种场景真实的再现，可以使医生沉浸于虚拟场景内，体验并学习如何应对临床手术中各种复杂的情况，降低未来真正手术中可能遇到的风险，大大节约了医生培训费用和提高了培训效率，对促进医疗水平的提高有着非常重要的意义［4］。典型的虚拟手术仿真系统包括人体软组织模型、碰撞检测、视觉反馈、力觉(触觉)反馈和评价系统等组成模块［5］。其中，软组织模型是整个虚拟手术仿真系统中的核心模块，这是因为视觉和力反馈模块都依赖软组织模型提供的计算数据，而这些数据正是保证仿真系统沉浸感和训练效果的基础。软组织模型直接决定了虚拟手术仿真系统中视觉反馈和触觉反馈的精度、速度和仿真效果［4］。因此，对软组织在手术器械作用下的响应行为进行准确的实时模拟是虚拟手术系统成功应用的关键［1］。

图1 法国INRIA研究小组开发的腹腔镜肝脏手术仿真系统［4］Fig.1 Laparoscopic liver surgery simulation system developed by INRIA research team［4］

软组织建模是计算机科学工程、机械电子工程、材料科学工程等学科在医学领域交叉应用研究的前沿课题［5］。虽然从提出至今得到了国内外众多研究者的关注并取得了一系列进展，但至今还尚未建立一套成熟的理论与方法，很多基本问题还有待于进一步研究解决。国际学术期刊 PBMB［6］2010年专门组织专刊发表了关于软组织建模各个研究方向上的最新学术论文(其中主要包括无网格与新型建模技术、软组织实时建模、非线性有限元模型、GPU并行计算、弹簧质点和有限差分方法、快速碰撞检测和多器官仿真、模型验证技术、速度与精度矛盾问题等方向)，论文收录了来自于包括法国 INRIA研究小组［4］、瑞士 ETH 计算机图形学实验室［7］、美国CIMIT (CenterforIntegration ofMedicine and Innovative Technology)研究中心等在内的在该领域国际知名研究机构的研究成果;国际顶尖会议ISBMS［8］每年都有专门的 Workshop讨论软组织建模问题;此外，IEEE协会近几年来举办的 ICRA(IEEE InternationalConference on Roboticsand Automation)、IEEE VR (IEEE VirtualReality Conference)、HAVE(IEEE International Workshop on Haptic Audio Visual Environments and Games)等国际会议也都发表了许多与软组织建模及其在虚拟手术仿真系统中应用的学术论文。这些都充分表明软组织建模是当前虚拟手术仿真系统研究的热点和难点问题。

在虚拟手术仿真中，软组织模型需要对手术中的触诊、挤压、拉伸、扭曲、切开、扩张和切除等典型操作类型进行建模，可以根据软组织拓扑结构是否改变而分为两大类型。为方便起见，本笔者将描述不发生拓扑结构改变的软组织模型称为形变模型(Deformable Model)［9］，而将能够描述拓扑结构改变的软组织模型简称为切割模型(Cutting Model)［4］。外科手术过程中一个必不可少的步骤就是对诸如皮肤、肌肉以及内脏器官等软组织的切割操作，因此模拟软组织切割是虚拟手术中核心任务［10］。具备支持实时交互能力的软组织切割模型对于虚拟手术仿真系统具有至关重要的意义［11－12］。实时交互能力是衡量软组织切割模型最为关键的性能指标，直接决定了切割模型的仿真效果［9］。切割模型的仿真效果包括触觉逼真度、视觉逼真度和实时性三个方面。触觉和视觉逼真度和模型与软组织各种材料性质描述能力密切相关，描述能力越强，则逼真度越好;而实时性则与模型视觉和触觉刷新率(每秒完成计算的次数)相关，要达到令人满意的仿真效果在视觉上要提供不低于25 Hz刷新率，触觉上不低于500 Hz的刷新率。

1 软组织切割模型及国内外发展现状

大多数文献中提出的软组织切割模型一般多在经典形变模型基础上改进而来，常采用基于网格(Mesh-based)的方法建立。基于网格的切割模型，一般在仿真前将软组织对象所占据的三维空间剖分为由有限元(多采用四面体)集合所形成的网格，把切割过程建模为手术刀具与软组织几何模型之间的网格切割计算(即手术刀具切割面与网格之间的切割计算-四面体剖分)。在仿真切割时，首先，实时根据切割面将原始网格进行切割剖分;然后，通过设置外力和约束边界条件，根据连续介质理论构建描述系统切割过程的PDE(Partial Differential Equations)方程;最后，求解的结果数据用于描述软组织切割的视觉效果和反馈力。基于网格的切割模型认为在切割过程中的某一时刻软组织的拓扑结构是不改变的，因此网格切割计算完成后，就可以利用经典的FEM有限元等模型计算形变过程(运动方程)和计算作用在手术刀上的反馈力。一般说来，采用有限元模型可以充分保证计算的精度，模型的描述能力比较强，但这是以牺牲计算时间为代价的。目前网格切割的算法主要包括直接丢弃法［13］、网格细分法［14］、自适应法［15］和混合方法［16］等，这些算法的主要缺陷有:

1)网格切割计算代价高。为了保证在整个切割过程中维护网格中的有限元(element)一致性(主要便于建立PDE方程求解生物力学方程)，不可避免地在拓扑结构一致性维护及刚度矩阵更新上耗费大量的计算时间。而且，经过多次切割后网格中有限元的质量(mesh quality)必将下降，严重影响系统的稳定性。为了提高切割后网格中有限元质量，则需要对网格重新优化，现有的重新网格优化算法会耗费大量的计算时间，最终将导致模型的实时性下降［17］。近年来虚拟切割法［18］通过将形函数(shape function)定义在一个非连续域上，实现网格中有限元在逻辑上的分割。虚拟切割法并不在几何意义上切割有限元，不会产生新的有限元，在网格切割上的计算代价有所减少。尽管如此，求解PDE方程还是需要耗费大量的计算时间，这种方法未从根本上明显改善切割模型的计算效率。

2)切割模型对软组织材料描述能力不强，导致触觉反馈效果不佳。由于基于网格的切割模型大量的计算时间被网格切割计算所占据，在触觉反馈方面被迫常常将软组织简化为线弹性材料，对软组织其它非线性材料性质(如各向异性、粘弹性、不可压缩性等)进行了相当大的简化或忽略处理，导致模型在触觉力反馈各种效果方面大打折扣，影响了训练效果。其实，软组织是一种非常复杂的弹性复合材料。即使不发生拓扑结构改变的情况下，仿真它的形变已经具有相当难度，更不用说对切割过程所引入的一系列的复杂生物力学现象的仿真。

2 无网格切割模型发展现状

基于无网格法［19－22］的切割模型将软组织所占据的空间看成是由质点(点云 point clouds)充满的对象，这些质点之间没有明确的连接关系(拓扑关系)，切割过程实际上就是质点分离运动的结果。无网格的计算框架基于离散的质点之上，它仅仅要求质点在整个问题域分布就可以了，软组织所占据的空间上任意一点的物理量由形函数和这个点周围质点的物理量插值逼近。由于质点之间没有明显的连接关系，不存在基于网格切割模型中存在的网格切割和重新优化的问题，在这方面几乎没有任何计算代价。因此，基于无网格的软组织切割模型具有巨大的优势，使得研究者可以将研究精力全部投入到生物力学方程的求解上，成为当前众多研究者关注的热点问题，是软组织建模领域前沿研究课题，故成为PBMB专刊［6］中的一个重要的论文召集专题，并被列为前沿方向。

无网格模型按照建模思想可以分为基于几何驱动和基于物理驱动两大类。像松散耦合粒子系统(loosely coupled particle systems)［9］、填充球模型(sphere-filled organ model)［23］、基于形状匹配法(meshless deformations based on shape matching)［7］和基于点动画(point-based animations)［24］等无网格模型均是从几何角度出发定义质点所受内力的，没有考虑形变体在形变过程中的生物力学的机理，属于非物理模型。它的特点是计算效率高，但缺乏生成真实的力反馈数据能力，这在虚拟手术仿真系统中是不可接受的［9］，而遵循形变对象的客观物理运动规律才能够生成更加逼真合理的切割和动态形变效果。对于复杂的切割过程，更容易对形变对象进行合理的控制。因此，研究者们已经开始关注如何建立基于物理驱动的无网格模型，这方面代表性的工作有:

1)Lennard-Jones势能法［9］。这是一种较早在无网格系统中定义任意二个质点相互作用力的方法。Lennard-Jones势能函数法特点是在质点距离大于一定范围时产生拉力，而质点之间小于一定范围时产生排斥力，该方法实际上可以看作是弹簧质点系统更加一般化的推广，因此实时性比较好。但它没有提供对于空间任意一点形变的描述能力，对具有各种特殊材料性质的软组织在材料描述能力方面明显不足，导致它的视觉和触觉逼真度比较差。

2)离散机械力学法(discrete mechanics)［25］。Jansson等按照机械力学的观点，根据二个质点的位置关系提出了一种比 Lennard-Jones势能法描述能力更强的计算模型。可以用来仿真对象运动、碰撞和形变过程。在计算节点数为500左右时候，它能够达到实时运行。另外，由于缺乏描述塑性、粘弹性等材料性质的能力，并且仿真效果尚缺乏实验验证，该模型的触觉和视觉逼真度一般。

3)光滑粒子流(smoothed particle hydrodynamics，SPH)［26］。根据描述对象的状态方程(速度、能量、压力等)，SPH方法中质点的内力可以很容易得到。SPH的方法主要优点是:系统满足质量守恒，易于编程实现，但是计算量比较大，较难满足实时性。虽然它可以仿真软组织发生大形变情况，但是目前它描述仿真软组织粘弹性、各向异性、不可压缩性等材料性质的能力还存在局限性。另外，稳定性是SPH方法最大的问题，则该模型的触觉和视觉逼真度有待提高。

4)PCMFS方法［27］。这是一种在无网格计算框架下，利用连续介质理论描述软组织形变的方法，本质上可以看成是一种连续介质和基于质点的离散系统的混合模型。PCMFS方法采用优化策略后，在计算节点数在300～500之间时，可以达到实时运行。在逼真度方面，该模型可以描述软组织线性和非线性材料性质，对于大形变和拓扑结构改变的情况也可以仿真，因此视觉和触觉逼真度比较好。

5)Muller法［7，24］。Muller 等人在无网格的计算框架下，提出了一种基于连续介质机械力学的仿真弹性、塑料和融化对象的方法。形变体内部质点的内力由应变能函数密度来导出。与SPH相比，它具有一阶的准确性。在计算节点数为4300左右时，可实现实时运行。在逼真度方面，在应变能函数中仅仅考虑了线弹性材料特性，对软组织其它材料性质描述能力不足，有待提高。

3 无网格切割模型当前的瓶颈问题

综上所述，利用无网格计算框架对软组织切割过程建模相对于基于网格模型来说具有很大优势，为了能够对切割过程进行逼真的仿真，基于物理的无网格模型(physically-based meshless model)已经成为许多领域问题中建模方法的首选。然而，从目前公开发表的文献来看，现有各类无网格模型在实时交互能力方面都还存在很多不足，严重阻碍了这种计算模型在软组织切割仿真中的应用［7，17，24，27］。具体来说包括以下三个方面。

3.1 无网格切割模型的触觉逼真度需要进一步提高

1)材料描述能力方面。提高切割模型触觉逼真度，实际上就是增强模型对软组织各种特殊材料性质的描述能力。尽管上述的各类基于物理驱动的无网格方法［7，27］均按照某种物理原理建模，但是在描述软组织各种复杂材料特性方面的能力上还非常有限。人体软组织多种多样，其结构与功能亦非常复杂，不同软组织之间的生物力学特性相距甚远。软组织是一种具有线性、非线性(非线性应力和应变关系)、不可压缩性(与体积变化相关)、各向异性(应力和应变关系表现出与方向相关性)和粘弹性(应力和应变关系表现出与时间相关性)等复杂性质的特殊复合弹性材料。一旦软组织在手术刀具切割作用下发生拓扑结构的改变，将会涉及到更为复杂的生物力学现象。现有的无网格切割模型在这个方面还做得很不够，缺乏对切割过程中生物力学现象的描述能力，需要深入研究。

2)切割模型未考虑手术刀具的几何、位移、运动速度和角度等参数对反馈力的影响。目前不管是基于网格还是无网格的切割模型通常将手术刀具简化为线段，以线段在空间上扫过的面作为切割面。这实际上都忽略了刀具本身几何参数对切割效果的影响。其实，手术刀的几何参数直接决定了锋利程度和切割效果，不能简化。除此之外，手术刀位移量(切割深度)、运动速度、切割角度对于反馈力的大小亦具有显著影响。例如，软组织被切割时候，较深的切割深度对刀具反馈力要大一些。软组织对运动速度快的手术刀的阻力比速度慢的时候要小。现有切割模型将上述参数进行了简化处理，导致力反馈方面的描述能力受限，影响了反馈效果，因此现有模型在这些方面需要改进。

3)切割模型缺乏软组织切割实验数据验证［28］。用户在虚拟手术仿真系统中，理想的状况下感觉切割软组织时候的反馈力大小应与真实切割软组织的力大小相同。因此，为了进一步增强模型力反馈效果。建立切割模型时，应为切割模型设计具有明确物理意义的参数。建立模型后，应基于真实的软组织切割实验数据校准切割模型中的各个参数。这方面的研究工作，在各种无网格切割模型研究文献中都尚未看到。

3.2 无网格切割模型的视觉渲染质量和速度需要进一步提高

在无网格模型下，软组织所占据的空间由质点充满。软组织所谓的“表面”实际上是隐式定义(implicit surface definition)的［29－30］。如按照传统的渲染方法，要想得到能被当前流行图形渲染引擎支持的三角网格表面模型，必须将隐式定义“表面”转化为显式三角网格表示，这将涉及到非常复杂的从点云数据中提取网格数据算法，计算非常耗时，不可能实现实时的渲染［31］。Steinemann等在其切割模型中提出了一种表面网格跟踪渲染算法，实际上是点云和网格混合渲染的一种折衷的做法，在节点数为3200时可以达到25帧/s的视觉刷新率［17］。随着节点数增加，渲染速度降低比较快，因此在渲染速度方面还有待进一步提高。为全面解决这个问题，必须完全摆脱当前三角网格表面网格渲染技术，研究针对于无网格大型点云条件下相适应的全新的基于点的渲染算法(point-based rendering algorithm)非常必要。基于点的渲染算法由于渲染对象只有点，避免了基于网格模型中存在的复杂网格切割计算和隐式“表面”转换问题，可以很自然地实现切口累进切割、交叉、融合等复杂的切割情况，渲染效率高。相对于经典的基于三角网格的渲染算法来说，基于点的渲染算法是计算机图形学中前沿的渲染技术，现在还在不断完善中，但是采用点云纹理映射技术和基于图像和点混合渲染技术(见下节)对其进行改进，将能获得比现有渲染技术更好的视觉反馈效果。

3.3 无网格切割模型的计算效率需要提高

实时交互能力中逼真度(触觉和视觉)和实时性之间实际上是一对伴随软组织切割模型研究过程中的矛盾体。一方面，为了提供模型的逼真度，必然需要耗费一定的计算代价，从而降低模型的实时性;另一方面，为了提高模型的实时性，必然需要对模型进行某种程度的简化计算，从而降低模型的逼真度。因此，必须对现有无网格模型的计算算法进行深入研究，尽量提高计算效率，这样才能争取相对更多的计算时间用于切割模型逼真度提高方面。

4 未来可能的发展方向

软组织的切割过程涉及的生物物理力学过程内在机理非常复杂，人们仍然没有完全理解，是一种复杂的生物力学现象。从微观的角度研究切割过程对虚拟手术系统来说，即不太现实也没有必要。基于过去的研究积累，笔者认为应该着力将连续介质理论引入到无网格的计算框架下，针对软组织切割过程的形变(视觉)和力反馈(触觉)二个宏观角度解决切割建模问题，并同时提高模型的计算效率，具体有以下三方面。

1)在触觉反馈方面。将切割过程视为一种特殊能量转换，以点云条件下应变张量(Strain Tensor)表示和计算为突破口将连续介质理论引入到无网格计算框架下，提高模型对软组织特殊材料性质描述能力;为了保证模型的准确性，可基于软组织切割实验数据，研究手术刀几何、切割深度、运动速度、切割角度等参数因素对切割过程内力计算的影响。

2)在视觉反馈方面。采用基于点的渲染方法完成视觉渲染，根据无网格模型大型点云数据的特点，可以采用点云纹理映射技术和基于图像和点混合渲染技术以进一步提高在视觉渲染上的质量和效率。具体来说:通过点云参数化技术建立质点的参数空间与伤口图像纹理空间的映射关系，将获得逼真的伤口切口流血的视觉渲染效果;可以将软组织大部分形变量不大的区域预先渲染并用图像存储起来。当实时渲染时，只对形变变化比较大的部分用基于点的渲染算法进行渲染，并与预先存储的图像进行拼接和融合获得最终的渲染图像，这将极大提高渲染效率。

3)在计算效率方面。无网格点云条件下质点内力计算彼此独立，只与周围一定范围内的质点相关，在空间上是可分的，具有明显的局部性。因此，现有的计算算法经过针对性的修改，就可以利用普通PC机上图形处理单元(GPU)上的并行硬件线程实现并行计算，将进一步提高切割模型的计算效率。

5 总结

现有大多数文献提出切割模型一般多以经典形变模型基础上改进而来，采用基于网格的方法建立模型，把切割过程建模为手术刀具与软组织几何模型结点间的逻辑运算。由于网格切割计算非常复杂耗时，基于网格的切割模型存在着诸如计算代价高、稳定性差和交互性差等一系列的问题。然而，无网格的切割模型却能在理论方法上避免这些问题，成为软组织建模的热点前沿研究课题。本文重点概述了基于无网格模型的发展现状，对存在的问题进行了分析与总结，并就未来的发展方向进行展望。

［1］Xu Shaoping，Liu Xiaoping，Zhang Hua，et al.A nonlinear viscoelastic tensor-mass visual model for surgery simulation［J］.IEEE Transactions on Instrumentation ＆ Measurement，2011，60(1):14－20.

［2］Meier U，Lopez O，Monserrat C，et al.Real-time deformable models for surgery simulation:a survey［J］.Computer Methods and Programs in Biomedicine，2005，77(3):183 －197.

［3］Ashley H，Adam W，Roman JG.A meshless total lagrangian explicitdynamics algorithm for surgicalsimulation［J］.International JournalforNumericalMethodsin Biomedical Engineering，2010，26(8):977 －998.

［4］Courtecuisse H，Jung H，Allard J，et al.GPU-based real-time soft tissue deformation with cutting and haptic feedback［J］.Progress in Biophysics and Molecular Biology，2010，103(2):159－168.

［5］徐少平，刘小平，张华，等.虚拟手术中软组织实时形变模型的研究进展［J］.生物医学工程学杂志，2010，27(2):435－439.

［6］PBMB.Progress in Biophysics and Molecular Biology Special Issue on Soft Tissue Modelling［EB/OL］.http://www.nitrc.org/forum/forum.php?forum_id=1253，2009 －12 －8/2011 －9－10.

［7］Müller M，Heidelberger B，Teschner M，et al. Meshless deformations based on shape matching［J］.ACM Trans Graph，2005，24(3):471 －478.

［8］ISBMS.International Symposium on Biomedical Simulation［EB/OL］.http://www.isbms.org/，2010 －1 －23/2011 －9 －10.

［9］Nealen A，Müller M，Keiser R，et al. Physicallybased deformable models in computer graphics［J］.Comput.Graph.Forum 2006，25(4):809 －836.

［10］Chanthasopeephan T，Desai JP，Lau ACW.Modeling soft-tissue deformation prior to cutting for surgical simulation:finite element analysis and study of cutting parameters［J］.IEEE Transactions On Biomedical Engineering，2007，54(3):349 －359.

［11］宋卫国，原魁.用于触觉建模的生物组织切割特征多参量采集［J］.系统仿真学报，2006，18(1):204－206.

［12］George M，Karam WB，Ajami Z，et al.Mesh cutting during real-time physicalsimulation［J］.Computer-Aided Design.2011，43(7):809 －819.

［13］Cotin S，Delingtte H，Ayache N.A hybrid elastic model allowing real-time cutting，deformations and force-feedback for surgery training simulation［J］.Visual Computer，2000，16(8):437－452.

［14］贾世宇，潘振宽.虚拟手术中基于最少单元分裂的切割仿真技术［J］.系统仿真学报，2008，20(6):1487－1492.

［15］王钰，于素平.针对面模型的顶点移动切割算法研究［J］.系统仿真技术，2008，4(2):117－126.

［16］Steinemann D.Hybrid cutting of deformable solids［C］//IEEE Conference on Virtual Reality(VR 06).Zurich:IEEE CS Press，2006:35－ 42.

［17］SteinemannD，OtaduyMA，GrossM. Splittingmeshless deforming objects with explicit surface tracking［J］.Graphical Models，2009:71(6)209 －220.

［18］Jerábková L，Kuhlen T.Stable cutting of deformable objects in virtual environments using XFEM［J］.IEEE Computer Graphics and Applications，2009，29(2):61 － 71.

［19］Doblare M，Cueto E，Calvo B，et al.On the employ of meshless methods in biomechanics［J］.Comput Methods Appl Mech Engrg，2005，194(6):801 －821.

［20］Pauly M，Keiser R，Adams B.Meshless animation of fracturing solids［J］.ACM Transactions on Graphics，2005，24(3):957 －964.

［21］Alex H，Burkhard W. Improved Meshless Deformation Techniques for Plausible Interactive Soft Object Simulations［C］//Proceedings of the 2nd International Conference on ComputerGraphics Theory and Applications.Barcelona:Springer-Verlag，2007:88－101.

［22］Ashley H，Adam W，Karol M.Subject-specific biomechanical simulation of brain indentation using a meshless method［C］//Proceedings of 10th International Conference on Medical Image Computing and Computer-Assisted Intervention.Brisbane:Springer-Verlag，2007:541－548.

［23］Suzuki S，Suzuki N，Hattori A，et al.Sphere-filled organ model for virtual surgery system［J］.IEEE Transactions on Medical Imaging，2004，23(6):714 －722.

［24］Muller M，Keiser R，Nealen A，et al.Point-based animation of elastic，plastic，and melting objects［C］//ACM Siggraph/Eurographics Symposium on Computer Animation.Aire-la-Ville:Eurographics Association，2004:141－151.

［25］Jansson J，Vergeest JSM.A discrete mechanics model for deformable bodies［J］. Computer-AidedDesign，2002，34(12):913－928.

［26］Hieber SE，Koumoutsakos P.A lagrangian particle method for the simulation of linear and nonlinear elastic models of soft tissue［J］.Journal of Computational Physics，2008，227(21):9195 －9215.

［27］Lim Y，Suvranu D.Real time simulation of nonlinear tissue response in virtual surgery using the point collocation-based method of finite spheres［J］.Comput Methods Appl Mech.Engrg，2007，196(31):3011 － 3024.

［28］Nava A，Mazza E，Furrer M，et al.In vivo mechanical characterization of human liver［J］.Medical Image Analysis，2008，12(4):203 －216.

［29］Sainz M，Pajarola R.Point-based rendering techniques［J］.Computers ＆ Graphics，2004，28(6):869-879.

［30］Peternell M.Developable surface fitting to point clouds［J］.Computer Aided Geometric Design，2004，21(8):785-803.

［31］LinHong-We，TaiChiew-Lan，WangGuo-Jin. A mesh reconstruction algorithm driven by an intrinsic property of a point cloud［J］.Computer-Aided Design，2004，36(1):1 － 9.