纪玲玉,高永彬,蔡清萍,卫子然,廖 薇

(1.上海工程技术大学电子电气工程学院，上海 201620;2.上海长征医院军医普通外科，上海 200003)

1 引言

腹部动脉血管分割对腹部恶性肿瘤患者的术前规划有着重要的意义。例如，胃癌和肝癌是我国最常见的肿瘤，发病率和死亡率较高。胃癌的诊断在很大程度上取决于淋巴结转移，然而，淋巴结的位置与腹主动脉血管密切相关。根据胃癌国际标准分期系统TNM(T分期指肿瘤侵犯的深度，N分期指淋巴结转移的个数，M分期指肿瘤是否出现远处转移)的N分期，医学上7～9组淋巴结位于动脉血管附近，主要分布于胃左动脉、肝总动脉和脾动脉。精准的血管分割有助于判断受累淋巴结与动脉血管结构间的解剖关系，以及是否有侵犯等情况。此外，在肝动脉解剖及变异的解剖学研究中，准确的动脉血管分割能使医生更容易观察到各种变异类型，为临床肝肿瘤切除、肝移植及介入治疗提供了重要参考。

近年来，针对腹部血管分割的研究方法主要是传统方法，利用深度学习研究的甚少。例如，高跃[1]利用三维区域生长法提取粗血管，然后采用连通域索引面积的计数来提取细血管。董建园等[2]利用水平集的方法进行腹部血管分割。孙浩[3]采用对称区域生长法与局部二值拟合LBF(Local Binary Fitting)模型相结合提高腹部血管三维分割的精度。然而，传统方法过多地依赖于先验知识，特征设计具有局限性，很难提高分割精度。随着卷积神经网络在语义分割方面的广泛应用，目前深度学习方法已被逐渐应用到医学图像分割领域。最常用的卷积网络主要有全卷积神经网络FCN(Fully Convolutional Networks)[4]、U型网络U-Net[5]和V型网络V-Net[6]等。基于卷积神经网络的血管分割算法具有非常优秀的图像特征提取性能，在血管图像分割中取得了重要的突破，分割精度和性能也超过了传统方法的。然而，深度学习训练网络时需要大量的数据集，由于医疗数据非常珍贵，大部分医学训练数据都是小样本。如何使医学小数据也能得到很好的训练效果，文献[5]提出了U-Net网络，该网络是像素级的语义分割网络，对于医学图像等小数据集的图像具有较好的分割性能。U-Net网络在编码器和解码器的特征图之间可能存在语义差距，因此文献[7]在U-Net的跳跃链接处加入了一系列卷积层，以减小编码和解码的特征图之间的语义差距。Multi-ResUNet网络[8]在U-Net网络的跳跃链接处加入了一系列带有残差的卷积层来传递编码器特征，并且将卷积层替换为类似于Inception的模块，有助于从不同目标大小的图像中学习特征信息。随后，Zhou等[9]利用密集型条件随机场模型和滤波器提升微小血管分割精度，较好地解决了微血管分割不足的问题，但仍存在部分微血管断裂现象。Orlando等[10]将密集型CRF(Conditional Random Field)模型与CNN相结合应用于血管分割，提升了微血管分割精度，但存在病灶误分割的现象。为了更好地关注目标区域和抑制无关区域，注意力机制[11]被提出并应用在医学图像分割中，该模块能够生成一个门控信号，用来控制不同空间位置特征的重要性。Zhang等[12]在M-Net[13]的基础上将注意力机制与导向滤波器进行结合，以提高网络的分割性能。为了捕获图像上信息的时序性，文献[14,15]利用带有长短时记忆的图像序列算法分割医学图像，该算法将医学图像的时序信息结合到分割任务中，提升了目标分割性能。但是这些方法都忽略了全局上下文信息。在很多工作中，融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高，包含更多位置、细节信息，但是由于经过了卷积操作，其语义性更弱，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。如何将两者高效融合，取其长处，弃之糟泊，是改善分割模型的关键。文献[16]利用全局上下文注意模块将低层和高层特征连接起来，产生更具代表性的特征；同时利用挤压激励金字塔池模块增加感受野的大小和多尺度特征融合的能力。文献[17]利用级联式的空洞卷积和空间金字塔池来捕获更大的感受野，提取高层特征信息。

在医学图像领域中，CT图像相比于分割普通2D图像存在许多难点。相邻器官在CT影像上的空间界限很难确认，各组织间黏连的情况复杂。而且经过造影剂进行增强的血管和骨骼灰度值相近，很难区分。本文提出一种提升动脉血管分割精度的联合网络架构。首先采用带有卷积注意模块CBAM(Convolutional Block Attention Module)[18]的预训练resnet34[19]代替U-Net前4层编码部分。与之前的resnet34相比，该方法在2层卷积层中加入卷积注意模块CBAM，以加快网络的收敛和更好地提取卷积层之间的特征信息。此外，本文提出了新的多尺度特征融合MFF(Multi-scale Feature Fusion)模块，在增加感受野的同时，增加不同感受野中目标权重，以更好地捕获高层特征信息。血管分割中，边缘结构信息的学习是理想分割的关键。利用注意力导向滤波AGF(Attention Guided Filter)作为结构敏感的扩展路径，从已有的特征图中传输结构信息。注意力模块能够进一步排除噪声，减少背景的负面影响，有效地分割出细小分支血管。

2 方法设计

在卷积神经网络中，U-Net[5]是医学图像处理常用的网络架构，但是大量实验证明该网络对物体的分割精度不够高。由于腹部动脉CT图像上的血管特征不明显，分割目标较小，很难分割，本文提出了基于改进U-Net的上腹部CT动脉血管分割方法，以提升动脉小分支血管的分割精度。网络的整体结构如图1所示，包括卷积注意的预编码模块、多尺度特征融合模块(MFF)和注意力导向滤波模块。新融入的模块能够提升动脉血管分割精度，解决分割边界模糊和易断裂等问题。

Figure 1 Overall network architecture图1 整体网络结构图

图1的基础网络是U-Net[5]，编码部分采用带有卷积注意的预训练resnet34模块，Attention guide表示注意力导向滤波，MFF表示多尺度特征融合模块。

2.1 带有卷积注意的预编码模块

随着卷积神经网络的发展，U-Net被广泛应用于医学图像分割。然而，由于医学数据的稀有性，以及网络训练的数据量少，样本数据信息不足，导致网络不易收敛，分割精度不高。迁移学习是一种非常有用的方法，可以在大多数情况下直接提高网络性能，特别是在训练数据有限的情况下。在语义分割领域，使用ImageNet预训练权重初始化编码器显示出很好的分割结果。本文将预训练resnet34模块迁移到U-Net的编码部分，并在resnet34每2个卷积之间加入卷积注意模块(CBAM)[19]，构成卷积注意的预编码模块，如图2所示。卷积注意模块可以更好地关注每个卷积所提取的有效特征，抑制不必要特征。由于卷积运算通过将跨通道和空间信息混合在一起来提取信息特征，CBAM模块就是用来强调这2个维度有意义的特征：通道维度和空间维度。CBMA模块详细公式如式(1)和式(2)所示：

F′=Mc(F)⊗F

(1)

F″=Ms(F′)⊗F′

(2)

其中,F是输入的特征图，F∈RC×H×W,⊗表示逐元素相乘法，Mc∈RC×1×1,Mc表示在通道维度上的注意力提取，Ms∈R1×H×W,Ms表示在空间维度上的注意力提取。

图2所示的resnet34中的卷积注意模块由Res-block块(即图2中虚线框外的部分)和CBAM模块2部分组成，其中CBAM模块主要由通道注意力和空间注意力构成。

Figure 2 Convolution block attention module in resnet34图2 resnet34中的卷积注意模块

2.1.1 卷积注意模块的通道注意力

Mc(F)=σ(MLP(AvgPool(F))+

MLP(MaxPool(F)))=

(3)

Figure 3 Process of channel attention block图3 通道注意力模块流程

2.1.2 卷积注意模块的空间注意力

Ms(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))

(4)

其中σ表示Sigmoid函数。

Figure 4 Procedure of spatial attention module 图4 空间注意力模块流程

2.2 多尺度特征融合模块

卷积神经网络的各层特征对图像分析都有不同的作用。浅层特征是粗糙的全局信息，有助于类别识别。深层特征是高分辨率的细节信息，有助于生成精细的边界。这些特征全部融合能够更好地提升分割的精度。然而，网络层的加深会导致图像的细节信息流失，特别是微血管目标区域小，更容易丢失信息。受文献[17，21]的启发，本文提出了新的多尺度特征融合(MFF)模块。该模块融入网络瓶颈层以捕获高层特征信息，提升微血管的分割精度。通常，一幅分割图像有不同大小的分割目标，大感受野的卷积可以提取更抽象的特征信息，而小感受野的卷积能更好地分割小目标[17]。MFF模块利用不同空洞率(Dilation Rate)的空洞卷积，提取不同大小物体的特征信息，并且在不增加额外参数的同时扩大感受野，并保留多尺度特征和细节信息[22]。该模块将每个带有空洞卷积的分支经过线性变换送入Sigmoid激活函数，然后与输入特征元素相乘。最后，将具有不同大小的特征图的4个输出与原始图像进行融合。卷积核大小为3×3，空洞率r从1到5奇数性地增加，如图5所示。

Figure 5 Multi-scale feature fusion module图5 多尺度特征融合模块

2.3 注意力导向滤波

Figure 6 Attention guided filtering图6 注意力导向滤波

(5)

式(5)的解如下所示：

(6)

(7)

(8)

图7所示是注意力模块，其中，O是滤波特征图，Il是导向特征图I经过裁剪后的特征图。Wg和Wx表示卷积操作。

Figure 7 Attention block图7 注意力模块

2.4 损失函数

在深度学习中，像素分类问题最常见的损失函数是交叉损失函数。然而，针对医学图像的小目标分割如微血管分割等场景，交叉损失函数不是最优选择。骰子系数Dice(Dice coefficient)[25]是一种集合相似度度量函数，通常用于计算2个样本的相似度，被广泛应用在医学图像分割中，对小目标和类别不均衡样本起到很好的分割作用。因此，本文采用Dice和权重衰减函数作为损失函数:

(9)

其中，N是像素数，p(k,i)∈[0,1]和g(k,i)∈{0,1}表示相应的类别k预测的概率和金标准。K是类别数，Lreg是权重衰减函数[26]，用来防止过拟合。

3 实验结果和分析

3.1 实验数据

本文实验采用的CT原图像数据来源于上海市长征医院。一共有21个病例的603幅图像，图像大小是512×512。每一个数据都包含了人体的整个腹部区域，并且都是经过血管造影剂进行增强扫描后成像。本文选择血管的门脉期图像作为数据集，此期每个病人的CT包括40～50幅切片，对每个病人选取了有效的30幅切片。为了便于实验，本文将原CT图像转换成二维图像。本文使用16个病人的大约480幅图像作为训练集，训练网络权重。其余5个病人的150幅图像作为测试集，用于评估网络性能。关于本文使用的实验数据分割结果的金标准，是由多个专家对CT原数据图像进行多次人工标记得到的平均结果。标注的血管主要是肝左动脉、胃左动脉和脾动脉的血管，在上腹部CT中，本文只关注此区域血管，便于后续对胃癌淋巴结和肝动脉变异类型的研究。图8所示为不同病人动脉血管在CT图像中的表现。

Figure 8 CT vascular images of different patients图8 不同病人CT图像血管表现

图8a和图8b箭头指向主动脉,图8c和图8d箭头指向主动脉和动脉。

3.2 实验环境

本文在PTtorch平台上使用Python3编程语言来进行实验，训练和测试平台是带有单个NVIDIA GPU(Nvidia_GTX_1080Ti)的Ubuntu 16.04系统。选用Adam优化器[27]对网络中的权重和偏值参数进行优化,batch_size设置为1，epoch设置为300。

3.3 实验评估

本文采用灵敏度Sen(Sensitivity)、交并比IOU(Intersection-Over-Union)和ROC(Receiver Operating Characteristic)曲线下的面积AUC作为网络性能评估指标。灵敏度(Sen)表示正确分类血管像素占真实血管像素的百分比；IOU表示预测结果与金标准的窗口的交叠率。ROC曲线是一种重要衡量血管分割结果综合性能的标准，其横轴表示假阳性率,纵轴表示真阳性率,反映不同阈值下二者的变化趋势，其值越大说明分割方法性能鲁棒性越优异。Sen和IOU的计算分别如式(10)和式(11)所示：

(10)

(11)

其中,TP和FN分别表示真阳性和假阴性；A表示预测结果，B表示金标准(Ground-truth)。

表1显示了不同分割方法的腹部动脉血管分割结果。从表1中可看出，本文所提方法在Sen、AUC和IOU上均有提升。相比于基础网络U-Net[5]，所提方法在Sen、AUC和IOU上分别提升了2.84%,1.41%和1.19%。与网络CE-Net[17]相比,在Sen、AUC和IOU上也分别提升了1.34%,0.66%和1.61%。与网络AG-Net[12]相比，Sen提升了1.31%，AUC提升了1.15%，IOU提升了1.45%。图9所示为不同分割方法的可视化结果。本文选择3个不同病人，分别用a、b、c表示。从图9中可以直观地看出，尽管几种分割方法对于动脉血管均有漏分(是血管的部分没有分割出来)和过多分割(不是血管当作血管分割)的现象，但与其他方法相比，本文所提方法对血管分割更加连续，重叠度更高。

Table 1 Quantitative comparison of the abdominal artery vascular segmentation表1 不同方法的腹部动脉血管分割结果定量比较

Figure 9 Different patients’ arterial segmentation results with different methods 图9 不同方法不同病人动脉血管分割结果对比

为了说明主动脉和动脉血管在分割难度上有差距，本文也选取了180幅只包含主动脉的血管进行实验，用其中的140幅作为训练集，其余40幅用来测试，同时与不同方法进行比较，实验结果如表2所示。所提方法主动脉分割的重叠率IOU达到了93.24%。与基础网络U-Net相比，各项指标均有提升，特别是在Sen和IOU上分别提升了3.81%和2.75%。与网络CE-Net[17]相比，本文所提方法在Sen和IOU上分别提升了2.11%和1.23%。与网络AG-Net[12]相比，Sen提升了1.56%，IOU提升了1.30%。说明本文所提方法在动脉血管和主动脉血管分割上确实有效,进一步说明了主动脉更易分割。图10所示为不同分割方法的主动脉分割结果的可视化结果。

3.4 消融研究

为了说明网络中的各个模块确实起作用，本文在腹部动脉血管上进行了消融研究，消融研究是指在基础网络架构上加入不同新模块所提升的性能比较，实验结果如表3所示。与基础网络相比，加入带有卷积注意的预训练resnet34(简称resnet34.cbam)，在Sen、AUC和IOU上分别提升了1.95%,0.97%和0.31%。融入注意力导向滤波和预训练resnet34.cbam模块，Sen提升了2.34%，AUC提升了1.16%,IOU提升了0.59%。最后引入多尺度特征融合模块，网络性能各项指标都有相应提升。说明网络中加入的每一个新模块对腹部动脉血管都有很好的分割效果。

Table 2 Quantitative comparison of aortic vessel segmentation with different methods 表2 不同方法的腹部主动脉血管分割结果定量比较

Figure 10 Aortic segmentation results with different methods图10 不同方法的主动脉分割结果

Table 3 Ablation studies of different modules on the arterial vessels表3 不同模块在动脉血管数据上的消融研究

4 结束语

本文提出了一种新的卷积网络架构用于腹腔动脉血管分割。首先，由于医学数据较少，本文采用预训练的resnet34.cbam作为网络的编码部分，解决了小样本和样本信息不足的问题，同时加入的CBAM模块能够提升网络的分割性能。其次，为了获取丰富的多尺度特征信息，提出了新的多尺度特征融合模块，在扩大感受野的同时捕获有效信息。最后，由于血管边界结构信息对于血管的精准分割很重要，利用注意力导向滤波作为信息扩展路径，获取血管的边界结构信息。腹部动脉血管分割的实验结果显示，与基础网络架构相比，本文所提方法的Sen、AUC和IOU都有很大的提升，说明所提网络架构能够更好地提升动脉血管的分割精度。

尽管该方法利用深度学习解决了传统方法的耗时耗力问题，对动脉微血管的分割也有了很大的提升。但是，动脉血管分割的重叠率和灵敏度分别只达到81.03%和88.32%，仍旧没有达到100%的分割效果。我们认为主要原因是动脉血管的数据量太少，不能满足训练需求。其次，没有对图像进行预处理，影响了训练效果。后续，我们将针对目前存在的问题做进一步优化，并对分割的血管进行三维重建，判断肝动脉变异的类型，诊断胃癌淋巴结的转移情况。