孙 正， 韩少勤

（华北电力大学电子与通信工程系，河北 保定 071003）

基于冠脉造影和血管内超声图像融合的虚拟血管镜系统

孙 正， 韩少勤

（华北电力大学电子与通信工程系，河北 保定 071003）

以X射线冠状动脉造影和血管内超声图像作为数据源，建立交互式冠状动脉虚拟血管镜系统。首先，根据两种成像手段互补的特点，融合两种图像数据，重建三维血管模型。然后，运用虚拟现实造型语言，对三维血管模型实现内镜漫游模式的可视化。系统可用于对冠心病的可视化诊治、冠状动脉粥样硬化病变的发展和对介入治疗效果评价的研究，以及对医务人员的培训中。

冠状动脉；虚拟血管镜；X射线冠状动脉造影；血管内超声；图像融合；虚拟现实造型语言

X 射线冠状动脉造影(coronary artery angiography, CAG)和血管内超声(intravascular ultrasound, IVUS)是目前临床广泛采用的诊治冠心病的介入影像手段，两者具有互补的特点。CAG显示血管腔被造影剂充填后的投影影像，自出现以来，一直被作为冠心病诊治的“金标准”[1]，但其不足在于对管腔的实际形态无法分清，对病变位于腔内或壁内无法区别，无法了解斑块的组织结构特性等[2]。IVUS具有独特的能在活体中观察管壁、管腔及斑块形态性质，甚至管壁功能状态的特点[3]。但其局限性主要在于[4]：部分严重狭窄的管腔或支架术后，超声导管不能通过狭窄部位或支架；提供的是管腔截面图像，无法直接确定截面的轴向位置和空间方向。此外，冠脉介入成像技术还包括冠状动脉血管镜，它是利用光纤技术的一种微小内窥镜成像技术。但该技术在临床上并未得到广泛接受，原因包括[5]：只能提供管腔表面的形态学资料，不能观察到管壁内的病变深部结构；在检查过程中为了使视野清晰需要暂时堵塞血流，可能导致心肌缺血的发生，因而其在冠脉系统的应用价值主要在于研究和教学。目前无创性的新型医学成像设备，如磁共振冠脉造影(magnetic resonance coronary angiography，MRCA)和多层螺旋 CT冠脉成像(multi-slice spiral computed tomography，MSCT)等，也已逐步应用于临床，可以直接得到冠脉的三维数据。但是，用CT值区分富含脂质斑块和纤维斑块并不准确，且由于MSCT空间分辨率不足，对于易损斑块的薄纤维帽或脂质池亦不能加以识别[6]。对于MRCA来说，由于冠脉血管本身较细、扭曲和结构较复杂，且有心脏搏动和呼吸的影响，冠脉周围脂肪组织和心肌组织等信号可影响其显像结果，因此，目前MRCA对诊断冠脉狭窄的存在及其严重程度还存在技术上的局限[7]。同时，其检查过程中有噪音的影响，一些金属植入物（如人工金属瓣、心脏起搏器等）的安全性也受到关注。综上所述，由于成像原理所造成的不足和技术上的局限，使得无创性检查到目前为止不能完全取代介入性影像检查方法[7]。

虚拟内窥镜技术是利用医学影像作为原始数据，综合利用数字图像处理、计算机图形学、虚拟现实等技术，重建三维图像，形成虚拟人体组织；然后把视点置入重建出的器官空腔内，借助导航或漫游技术以及伪彩技术逼真地模拟腔道内镜检查[8]。目前，虚拟内窥镜技术在心脏及冠状动脉上的应用主要采用由MSCT或MRCA采集到的容积数据作为数据源，因此，可以采用基于CT和MR数据的通用虚拟内窥镜系统，只需输入分割后的冠脉血管切片图像数据即可[9]。由于心脏的剧烈运动以及心脏及周围血管的复杂结构，因此，对图像的分辨率要求很高。

综上所述，利用CAG和IVUS互补的特点，将两类图像数据进行融合，三维重建血管，不仅可充分发挥两种成像手段的优势，而且还可克服彼此的不足，获得对冠脉及其病变的全面了解。作者在之前的工作中，实现了一对近似正交的CAG图像序列中血管腔中轴线的三维重建和运动跟踪[10]，并通过将由CAG图像获得的血管腔和超声导管的三维几何形态信息与由IVUS图像获得的管腔横截面结构信息相融合，完成了血管的三维重建[11]。但其结果仅是三维血管模型的外观，观察者无法对管腔的内部形态和斑块的形态结构有充分的了解。在此基础上，运用虚拟现实造型语言(virtual reality modeling language, VRML)构建虚拟场景，实现对三维血管模型的交互式、内镜漫游模式的可视化，建立冠状动脉虚拟血管镜系统，使得观察者不仅可观察到三维血管模型的外观和内部形态，在管腔内的漫游过程中可随时打开在该处采集的超声图像进行综合分析，而且还可结合对血管模型的定量测量结果（包括形态参数和血流动力学参数），对血管及其病变进行综合评价。

1 方 法

如图1所示，构建的冠状动脉虚拟血管镜系统主要包括生成三维数据（即由图像数据三维重建血管）、VRML编程（包括拟合管腔表面、计算漫游路径、伪彩编码等）、生成VRML场景（即实现内镜漫游模式的管腔内虚拟内窥）和开发用户图形接口等4个模块。

图1 冠状动脉虚拟血管镜系统框图

1.1 血管的三维重建

如图2所示，CAG和IVUS图像中血管的三维重建包括3个步骤：（1）从CAG图像中三维重建出超声导管的回撤路径和血管腔中轴线；（2）按照采集顺序，沿三维导管路径顺序排列各帧 IVUS图像（包括确定轴向位置和空间方向）；（3）拟合血管腔内外表面。

图2 基于CAG和IVUS图像融合的血管三维重建流程

1.1.1 重建导管回撤路径和管腔轴线

本文采用基于snake模型的半自动方法[10]完成CAG图像中导管回撤路径和管腔轴线的三维重建。表示导管路径或管腔轴线的snake曲线在内外约束力的共同作用下直接在三维空间中变形，通过求解能量函数的最小化问题，直接获得导管路径或管腔轴线的三维坐标，结果是用B样条曲线表示三维曲线。

1.1.2 确定各帧IVUS图像的轴向位置

如图 3所示，根据采集图像时记录的相邻IVUS帧之间的切面间距，确定三维导管路径上各帧图像的采集点。然后，计算导管路径曲线上各采集点处的单位切矢量。最后，使各帧图像平面垂直于其采集点处的单位切矢，并且图像中心与采集点重合，将其等间隔地排列于导管路径上。

1.1.3 确定各帧IVUS图像的空间方向

在完成各帧超声图像的分割，提取出血管壁的内外膜轮廓之后，通过分析各帧图像导管中心与管腔轮廓重心之间的偏移，以从造影中重建出的椭圆轮廓中心为基准，采用最优化方法，确定各帧图像的绝对方位角[11]。

图3 IVUS图像沿导管路径的轴向排列

1.1.4 虚拟场景下血管腔的表面拟合

在血管分支或曲率较大处，将IVUS图像垂直映射到导管路径上时会出现表面相交的情形。在对管腔表面进行拟合之前，先解决相邻横截面相交的问题，即根据矢量间夹角判断是否相交，将两个相邻轮廓上相交的对应顶点融合为一个顶点。如图 4所示，s(t)是三维导管路径，a1和a2为相邻两帧IVUS图像的中心（即导管中心），v11和v12是a1处管腔轮廓的采样点，v21和v22是a2处管腔轮廓的采样点。两条轮廓线在v11和v21相交，设融合后顶点为 v。当矢量 v11v21与 a1a2之间的夹角γ∈[π/2, π]时，说明两个横截面相交，需要进行顶点融合。融合顶点v需满足到骨架点a1和a2的距离相等，并且到点v11和v21的距离平方和最小。

表面绘制方法分为两类：直接体绘制和面绘制[12]。直接体绘制数据量特别巨大，不利于血管腔内漫游过程中的实时显示。而面绘制可快速灵活地进行视点转换且成像清晰，同时考虑到研究的对象是血管壁轮廓，只需表面数据，这样忽略大量表面下的体数据可节省运算时间，所以本文采用面绘制法中的三角面片拼接法进行虚拟场景中的血管腔表面拟合。如图5所示，设两个相邻管腔横截面上轮廓线的点列分别为{M0,M1,…, Mm-1}和{N0,N1,…, Nn-1}（均按逆时针方向排列）。线段Mi-1Mi与相邻横截面轮廓上的一点相连，就构成一个三角面片。实现相邻轮廓间的三维表面重构就是要构成一系列相互连接的三角面片。由于从IVUS图像中提取出的血管壁轮廓已经简化成一系列离散轮廓点，且每组轮廓点具有确定的点数，因而三角面片拼接法可以有利的结合VRML中的IndexedfaceSet节点直接对血管表面进行三角划分。

图4 横截面相交的判别和顶点融合示意图

图5 三角面片拼接血管表面

1.2 三维血管模型的内镜漫游模式可视化

在生成漫游路径的基础上，本文对三维血管模型实现内镜漫游模式的交互式可视化，并实现虚拟场景中IVUS灰度图像数据和血管量化参数（形态参数及血流动力学参数）的显示。

1.2.1 获取漫游路径

漫游路径是在虚拟内窥镜模式下，观察者的替身在三维血管腔内移动观察时走过的轨迹，是目标血管腔内的视点序列。本文采用§1.1.1中重建出的三维血管腔轴线作为漫游路径，即构成视点序列。

其单位矢量即为待求视点Pi处的方向

初始方向-ze=[0 0 -1]与-zi的向量积即为Pi处的旋转轴

即 ri垂直于-ze与-zi所决定的平面。初始方向-ze绕旋转轴ri旋转φi角

1.2.2 实现自动漫游

漫游路径由一系列视点构成，但是从一个视点直接跳至下一个视点会导致动画的不连续，自动漫游的实现就是对视点进行线性插值的过程。

利用VRML提供的TouchSensor、TimeSensor和PositionInterpolator插值器[13]共同完成视点动画。在一定的时间段内，利用PositionInterpolator设定多个关键帧，控制改变的输出值，最后，再用ROUTE语句将感知器、插值器和要控制的视点连成一条通路即可，流程如图7所示。

图 6 视点和确定视点方向示意图

图7 自动漫游的实现流程

1.2.3 在虚拟场景中显示IVUS图像数据

为了方便综合分析，在血管腔内的漫游过程中，操作者可随时打开在当前视点处采集的IVUS图像。对在虚拟场景中插入的IVUS灰度图像采用半透明的显示方式，即一帧图像中各像素的透明度值不是同一个常数，而是取决于像素在图像中的位置和其灰度值。IVUS图像中除了血管壁和斑块以外，其它结构在虚拟内镜场景中都应该是不可见的。因此，利用对IVUS图像的分割结果，将表示管腔和血管壁外膜以外回声信号的像素设置为全透明，允许漫游路径无阻挡地穿越这些区域。而对于管壁和斑块这些感兴趣的区域，其透明度值取决于像素的灰度值：亮回声信号表示可能存在的斑块，将其透明度值设置为较低的数值；暗区表示其它血管分支的管腔或者没有产生回声的其它结构，将其透明度值设为较高的数值。

1.2.4 虚拟场景中血管量化参数的可视化表达

利用重建出的三维血管模型，可对具有临床参考价值的血管形态参数（包括血管段长度、管腔容积、横截面积、曲率和挠率、斑块厚度和体积等）和血流动力学参数（主要指由血流引入的血管壁剪应力(wall shear stress，WSS)分布）进行定量测量[14]。为了方便观察者直观清晰地了解这些量化参数，对血管及其病变进行综合评价，本文分别通过建立静态曲线图和伪彩色编码实现虚拟场景中形态参数和血流动力学参数可视化。

1.3 设计用户图形接口

简明清晰、方便灵活并且操控性强的操作界面是虚拟内窥镜系统的重要组成部分。在VRML环境中设计开发了冠状动脉虚拟血管镜系统的用户控制面板，主要功能包括：（1）用户能够在不遮挡目标场景的前提下随时开启和关闭控制面板；（2）虚拟观察者沿漫游路径前进时，在某个视点处，用户可在不同的显示模式之间进行切换，例如：显示在该点获取的IVUS图像；或者仅显示该点处血管腔表面（可同时开启或关闭半透明的IVUS图像）；或者显示完成了伪彩色编码管腔表面等。同时，用户可以随时进入或退出虚拟内镜观察模式，显示三维血管段的整体外观，或者长轴纵切面图像；（3）可任意调整漫游速度和方向，虚拟观察者可在管腔内的任意位置停留。

2 实验结果和分析

本文采用临床采集的在体(in vivo)CAG和IVUS图像序列进行了实验。CAG图像采用Philips Integris CV全数字单面X射线血管造影机临床采集得到。IVUS图像序列采用 Jomed Endosonic超声成像仪采集，探头为2.9F Jomed单轨机械探头，频率为30MHz。在回撤导管的过程中，探头导管以1800转/分作360°旋转时以30帧/秒的帧率连续获得血管横轴实时切面图像。

图8为在三维场景中将IVUS图像序列映射到导管路径上相应位置处的实验结果。图9为从3个不同视角观察到的三维血管模型的外观，其中沿血管轴向排列的IVUS图像采用半透明显示方式。对于三维血管模型上的每个体元，将WSS的测量值作为该体元的注释值，然后，采用伪彩色编码的方法，建立颜色查找表，通过对节点进行顶点着色，直观表示每个体元的注释值。图10是从3个不同视角观察到的、完成顶点着色后的三维血管模型。图 11是伪彩色编码前后的内镜漫游模式下的场景截图，不同颜色标明了血管壁剪应力的大小。图12是血管段中心线上各点处的曲率和挠率曲线，其中横坐标为血管段长度，纵坐标为曲率值或挠率值。

图8 沿三维导管路径顺序排列各帧IVUS图像

图9 IVUS图像沿三维血管模型排列的半透明显示效果

图10 从3个不同视角观察到的完成顶点着色的血管段

图11 血管腔内漫游场景截图

本文设计的用户控制面板分为两种模式：内窥镜观察模式和虚拟漫游模式。如图13(a)所示，在内窥镜观察模式下，用户可以选择观察三维血管模型的外观、血管形态参数和血流动力学参数测量结果，还可以进入自动漫游和手动漫游状态，对血管腔进行内镜漫游模式的观察。在虚拟漫游模式下，如图 13(b)所示，观察者可以随时开启和关闭控制面板、调取所在视点处的 IVUS图像、调整漫游速度和位置、退出观察血管模型外观等。

图13 两种模式下的主控面板

3 结 论

X射线冠状动脉造影和血管内超声是目前临床广泛采用的两种诊治冠心病的介入成像手段，两者的优势与不足互补。虽然目前无创性的新型医学成像设备也已逐步应用于临床，可以直接得到冠状动脉的三维数据，但是由于其成像原理所造成的不足和技术上的局限，使其到目前为止不能完全取代介入性影像检查方法。以X射线冠状动脉造影和血管内超声图像作为数据源，建立了冠状动脉虚拟血管镜系统。通过将由近似正交的造影图像获得的管腔和超声导管三维几何形态信息与由血管内超声获得管腔横截面形态数据相融合，得到血管的三维模型，准确反映冠脉血管（包含可能存在的斑块）的形态结构。运用VRML交互地描述三维血管模型，构建虚拟场景，实现内镜漫游模式的交互式可视化。系统功能丰富，用户可观察三维血管模型外观和内部形态，可以任意选择希望观察血管部位和漫游速度，在管腔内的漫游过程中还可随时打开在该处采集的IVUS图像进行综合分析，而且还可结合对血管模型的定量测量结果对血管及其病变进行综合评价。系统可作为对冠心病的可视化诊治、对介入治疗效果评价以及对医务人员培训的辅助手段。

[1] 李占全, 金元哲. 冠状动脉造影与临床（第2版）[M].沈阳: 辽宁科学技术出版社, 2007.

[2] Harrison A, Adluru G, Wilson B, et al. Self-gated cardiac magnetic resonance perfusion imaging compared with X-ray angiography: a pilot study [J]. Journal of Cardiovascular Magnetic Resonance, 2012, 14(Suppl. 1): O39.

[3] Schoenhagen P著, 胡大一等译. 轻松掌握血管内超声[M]. 人民军医出版社. 2009.

[4] 侯江涛. 血管内超声技术目前的发展方向. 9th Annual Scientific Congress of China Interventional Therapeutics 2011(CIT2011)[C]//Beijing, China, 16-19, 2011.

[5] Suh W M, Seto, A H, Margey R J P, et al. Intravascular detection of the vulnerable plaque [J]. Circulation: Cardiovascular Imaging, 2011, (4):169-178.

[6] 杨 岷. 第四部分 心脏 CT部分[J]. 放射学实践, 2007, 22(5): 437-438.

[7] Hamdan A, Asbach P, Wellnhofer E, et al. A prospective study for comparison of MR and CT imaging for detection of coronary artery stenosis [J]. Journal of JACC Cardiovascular Imaging, 2011, 4(1): 50-61.

[8] 彭延军. 虚拟内窥镜关键技术研究[D]. 杭州: 浙江大学, 2003.

[9] van Ooijen P M A, de Jonge G, Oudkerk M. Coronary fly-through or virtual angioscopy using dual-source MDCT data [J]. European Journal of Radiology, 2007, 17(11): 2852-2859.

[10] Sun Zheng, Tian Meiying, Sun Jian. Sequential reconstruction of vessel skeletons from X-ray coronary angiographic sequences [J]. Computerized Medical Imaging and Graphics, 2010, 34(5): 333-345.

[11] 孙 正. 应用血管内超声与 X射线造影图像融合的血管三维重建[J]. 工程图学学报, 2010, 31(1): 116-123.

[12] 薛海虹, 陈滨津, 孙 锟, 等. 三维超声仿真心腔内窥镜系统面绘制与体绘制显示评价[J]. 山东医药, 2009, 27(49): 13-15.

[13] 黄文丽. VRML语言入门与应用[M]. 中国铁道出版社, 2003.

[14] 郭晓帅. 基于血管内超声和 X射线血管造影的冠状动脉定量测量方法和研究[D]. 华北电力大学, 2010.

Virtual Angioscope System Based on Fusion of Coronary Angiography and Intravascular Ultrasound Images

Sun Zheng, Han Shaoqin
( Department of Electronic and Communication Engineering, North China Electric Power University, Baoding Hebei 071003, China )

An interactive virtual angioscope system for coronary arteries based on X-ray coronary angiograms and intravascular ultrasound images is constructed. First, the vessel including lumen and possible plaques is three-dimensionally reconstructed through fusion of both types of image data. Then, visualization of the 3D vessel model is implemented in the manner of endoscopic fly-through with virtual reality modeling language. Such a virtual coronary angioscope system can be used in the diagnosis of coronary artery diseases, in the study on the development of atherosclerosis, in the evaluation of interventional treatment and in the training of medical personnel.

coronary artery; virtual angioscope; X-ray coronary angiography; intravascular ultrasound; image fusion; virtual reality modeling language

TN 911.73

A

2095-302X (2013)05-0103-07

2012-09-01；定稿日期：2012-10-30

国家自然科学基金资助项目（30500129，60973087，61372042）；中央高校基本科研业务费专项资金资助（10ZG05）

孙 正（1977-），女，河北保定人，教授，博士，主要研究方向为医学图像处理。E-mail：anping@mail.hust.edu.cn