赵杰， 李絮， 申通

(河北大学电子信息工程学院， 保定 071002)

腹部动脉为许多器官供应血液，血管的位置和结构信息对于诊断和治疗至关重要。血管信息是用于识别器官位置并分析癌症转移诊断中的重要依据，能指导医生识别目标血管以进行手术。外科医生通过夹紧血管来控制手术区域中的血流，如果对血管信息了解不足，或者扭曲血管结构信息，将会在手术过程中对血管造成损伤。许多研究学者利用血管信息已经提出了腹腔镜手术的各种辅助方法，可见血管已成为当今的一个研究热点。腹部血管的分支模式，分支位置和分支长度在患者之间具有较大差异，如果在手术之前获得了患者特定的血管信息，外科医生可以在术前模拟确认血管的位置和结构，提高手术的成功率[1]。这个情报还可以用于术中导航。所以，确定患者腹部血管的位置和结构信息是一个重要话题。

深度学习已广泛应用于医学图像处理领域，例如，大量研究将其应用于医学图像分割并获得了较高的分割精度，与三维体积中的血管相比[2-3]，视网膜图像中的血管位置变化有限[4]，因此，视网膜血管分割相对容易且成效显著，医学图像的自动分析在血管、肝脏、肿瘤等部位的病灶检测、图像配准、分割与分类等方面应用广泛[5-6]。其中，卷积神经网络(convolutional neural network，CNN)[7]和全卷积网络(fully convolutional networks，FCN)[8-10]在视网膜血管分割[11]中应用最为常见。医学上的许多3D血管分割方法已经被提出，包括使用模型拟合，(基于Hessian的方法)增强滤波器[12]和顺序蒙特卡洛跟踪。近期，提出了从3D图像中进行血管分割的方法，例如计算机断层扫描(computer tomography，CT)和磁共振(magnetic resonance，MR)。He等[13]提出了以残差单元为基础的ResNet网络，此网络针对上述问题作出了有效改善。Hu等[14]于2018年提出了SENet网络，此网络可以自动获取每一条路径的目标特征，并由此来增加有用信息和抑制冗余信息。Chen等[15]提出了一种来自大脑MR图像的动脉分割方法，采用了一种基于3D补丁(小图像)的分割方法，使用具有位置输入路径的原始FCN。大脑中动脉的位置和形状与MR图像中的位置有关系，因此，在FCN中增加了一个补丁位置输入路径。FCN有一个类似于3D U-Net[16]的编码器-解码器风格,其结果的灵敏度低，表明产生了许多错误。根据此结果，补丁位置信息对提高分割精度没有用。Nardelli等[17]提出了一种肺动脉和静脉分割的方法，使用CNN来分割血管，然后应用图形切割来细化结果，其分割的困难在于血管和小气道的区别。因此深度学习技术有望改善血管的分割性能。

在医学图像分割中，CT图像的分割相比于普通2D图像来说存在很多问题。在器官分割的空间界限上很难确定血管的具体位置，有些血管附着在其他器官上，再加上骨骼的灰度值和血管的灰度值相近，因此经过血管造影后的CT影像很难区分。因此，现提出一种基于SENet注意力机制和深度残差网络分割算法(Res-SENet)，在网络中加入残差网络可以解决在极深度条件下深度卷积神经网络性能退化的问题；注意力机制下的软阈值化的加入可以增强对有用信息的关注度，剔除无用信息。并改变原有的卷积核数量以及其他优化参数，旨在增加深度学习网络训练阶段的学习效率，提升血管分割的性能。

1 材料与实验环境

1.1 数据材料

实验数据来自公共数据集3Dircadb(https://www.ircad.fr/research/3dircadb/)，此数据库中包含20名病人的血管CT序列图像，其中12名包含腹部动脉血管，共1 738张序列图片，序列切片像素值为512×512，平面像素间距为0.58～0.86 mm，断层间距为1.0～4.0 mm。每一个数据都包含了人的整个腹部，并且都是血管造影剂增强处理后的成像。使用了10个病人的腹部切片作为训练集，一共1 432张，进行数据扩增后达到9 948张，进而训练网络权重，其余2个病人作为测试集进行网络性能的评估。本实验将原始CT图转化为二维图像作为网络的输入。

1.2 实验环境

基于Python3.7编程语言，使用keras编译平台来进行实验，训练和测试的服务器环境是NVIDIA Quadro P6000的GPU系统。利用Adam优化器对神经网络中的数值参数及权重进行调参，epoch设置值为300，Batch size的设置值为8。评估参数利用MATLAB编译软件，对预测出的二值图像进行结果的统计分析。

1.3 实验流程

将所有腹部血管CT数据随机划分为训练集和测试集，且两者不存在交叉。在实验过程中，首先在网络模型训练阶段输入原始数据和标签数据。然后通过旋转、放大缩小等方式对二者进行数据增强和预处理等相关操作，并将处理完的图像输入到基于SENet注意力机制的深度残差网络中。模型通过正向传播得到分割结果，与标签样本进行对比得到输出误差，并通过Loss反传的方式传输到逐层网络中，不断优化网络参数，在此过程会得到一个最优的权重值用于测试阶段的血管分割。最后，在测试阶段将两名受试者的原始数据输入到训练好的网络模型进行逐层处理，得到血管分割的最终结果，具体流程图如图1所示。

图1 本文方法流程图Fig.1 Flow chart of the method in this paper

2 实验方法

2.1 数据预处理

数据格式为Dicom，通过windowing的方法，设置window level和window width来控制图像的亮度和对比度。然后利用均衡化来增加图像的全局对比度。把直方图上每个属性的计数除以所有属性的计数之和，就得到了归一化直方图。实现算法如下。

(1)计算图像f的各个灰度级中像素出现的概率：

(1)

式(1)中：n为图像中所有的像素数；ni为灰度级i出现的次数；L为图像中所有的灰度数；p为图像进行直方图归一化后的概率，如果把c作为对应p的累计概率函数，则定义为

ci=∑p(xj)

(2)

式(2)中：xj实际上是灰度值为j的像素；c为对图像所有像素值的累计归一化直方图，取值范围为[0,1]。

(2)创建一个形式为y=T(x)的变化，原始图像中的每个像素值会生产一个y,这样y的累计概率函数形式就可以在所有值范围内进行线性化，转换公式为

yi=T(xi)=ci

(3)

式(3)中：T(xi)为对灰度为i的像素进行线性化；yi表示灰度为i的像素xi经过线性化后得到的数值。

针对数据量少的问题，本实验采用数据增强的方法扩充数据集，以防止训练过程中出现模型过拟合。实验采用旋转、缩放、镜像翻转等常用的数据增强技术[18]对数据集进行n倍扩增。

2.2 本文Res-SENet算法

2.2.1 残差网络

残差网络提出了一种拟合残差映射的方法，即不直接将卷积结果作为输出，而是采用残差映射的方式来进行计算，称之为“捷径”(shortcut)。当对这一堆积层结构输入为x时，其所学到的特性记为H(x)，期望其能够学到残差为F(x)=H(x)-x，因此，实际上最初的学习特征可以表示为F(x)+x。而当残差为零时，堆积层也只是做到了恒等映射，即在网络特性没有降低的前提下，堆积层能够学习到新的特性，从而具有更良好的特性。残差块的实现如图2所示。

残差网络提出了一个捷径(shortcut)的概念，即跳过一个或多个层，将输入结果直接添加到底层，残差网络计算公式为

H(x)=x+F(x)

(4)

式(4)中：H(x)为底层的映射；x为输入结果；F(x)为网络中的隐藏层输出结果。通过将多个卷积层级联的输出与输入相加的方式对图片进行特征提取，减少了训练参数。在卷积神经网络中，网络层次越深，训练时产生的错误越多，训练时间越长。残差网络的出现在一定程度上解决了在极深度条件下深度卷积神经网络性能退化的问题。

图2 残差网络结构图Fig.2 Structure of residual network

2.2.2 SENet注意力机制下的残差网络模型

Squeeze-and-Excitation Network(SENet)网络是一个经典的注意力机制且广泛被业界专家应用。它能够使用一些小规模的子网络，经过自动学习得出某个权重值，对特征图的所有路径加以权重。SENet还可与残差模型相结合，因为跨层恒等路径的出现，SENet能够更方便进行练习。此外，各个样本的连接权值系数都是严格按照其本身设定的，也就是说，各个样本都可能具有自身特殊的一组连接权值系数。

SENet注意力与残差网络融合的基本模块如图3所示。具体实现上，是用一种Global Average Pooling-FC-ReLU-FC-Sigmoid方法，SENet具有两个全连接层，两者作用是相反的。首先第一层的FC层会降低网络的通道数量，反之在第二层的FC再把通路数量进行增加，权重就会在这个过程中产生且权重数量与通道数相等，其仍然可以为相对应的通道提供权重值。SENet的核心就是使用网络的loss去了解特征权重，从而使高效的特征图权重大，无用或效率较小的特征图权重小来训练建模，获得较好的结果。

本文改进的U-net网络——Res-SENet，比传统U-net网络增加了残差网络(ResNet)，并引入注意力机制，以去除强噪、冗余信息，为的是避免在学习血管特征时产生更多的错误，提升网络性能，并且在原始的网络中增加网络层数并改变卷积核数量，实验结果显示，增加了网络模型分割的准确性。使用一个基于U-Net[19]的FCN来进行腹部动脉分割。该网络结构层的构成如图4所示，左边部分由卷积和最大集合层组成，称为分析路径。它从输入图像中提取特征进行分割。右边部分由卷积层和上卷积层组成，称为合成路径，它从特征中生成输出图像。此模型共涉及20个2D卷积层(Conv2D)、4个最大池化层、4个上采样、2个Dropout层和19个批归一化层(BN)。网络最后一个卷积层大小为1×1，用作二分类，从而将血管和背景区域进行区分。

图3 SENet注意力机制下的残差网络(Res-SE block)Fig.3 Residual networks under SENet attention mechanism

网络中的方框代表特征图的集合；方框下的数字表示特征图或核的数量图4 U-net网络结构Fig.4 U-net network structure

2.2.3 损失函数

深度学习中，医学图像的分割问题一般采用骰子系数(dice coefficient，Dice)作为损失函数,它是一种集合相似度度量函数，一般在比较两个样本的相似度上应用广泛。采用Dice作为损失函数，使得在反向传播过程中根据loss函数值不断更新权重w和偏差，从而将结果达到最优值。具体的损失函数为

(5)

式(5)中：M为类别数；pm,i∈[0,1]和gm,i∈{0,1}分别是对应类别m预测的概率和金标准；N为像素的个数；m和i的初始值均为1。

3 实验及结果分析

3.1 评估指标

通过实验后的预测图与真实图进行对比，采用五项评价指标进行评估：灵敏度(sensitivity，Se)、准确率(accuracy，Acc)、Dice系数(DSC)、体积重叠率VOE以及精确率(precision，Pr)共同进行研究分析。Acc是在像素级别进行衡量的，指分割正确的像素占所有像素比例；Se正确地被分为正样本的数量占所有正样本的比例；Dice系数是一种评估相似度的函数，通常用于计算两个样本的相似度或者重叠度；VOE即体积重叠误差；Pr指的是所有的被归为正样本中，真实的正样本占的比例。以上指标计算公式为

(6)

(7)

(8)

(9)

(10)

计算上述评估指数的基础需要利用真阳性(true positive，TP)、真阴性(true negative，TN)、假阳性(false positive，FP)、假阴性(false negative，FN)4种。在本次实验中，TP即实际标签为正样本，预计结论就是正样本；TN即实际标签为负样本，预测结果也为负样本；FP即实际标签是负样本，但预测结果却是正样本；FN即实际标签是正样本，但预测结果却是负样本。A表示血管预测结果；B表示标准真实血管(ground-truth，GT)。

3.2 结果与分析

在整个训练阶段，网络监督学习共20 h左右，迭代300次，在此过程中，模型学习的准确率和损失值均趋于稳定，准确率高达96%左右，由此可见，此网络对血管特征的学习有效。图5为训练和验证阶段过程模型准确率、损失值的变化曲线。

图5 模型的各项指标变化情况Fig.5 Changes in the indicators of the model

本实验过程中涉及的主要参数有学习速率、批量大小(Batch size)。学习速率的设置会对后期模型训练的好坏有着很大影响。因此本实验在深度残差注意力网络的基础上对批量大小以及初始学习速率进行验证，选择对血管分割效果的最优值。在此过程中，保证其他网络参数不变，自变量是批量大小和初始学习速率，因变量是腹部血管测试集准确率。实验首先按照从大到小的顺序，初始学习速率从0.1开始进行验证，并根据实验的设置初始Batch size为32。

表1为以上两个实验参数对腹部血管分割的测试集准确率。其中加粗字体代表实验的最优结果。由表1可知，当Batch size等于8同时初始学习速率为0.01时，测试集的血管分割准确率可达88.94%，此网络模型训练最佳，对腹部血管的分割效果最准确。

表1 不同批量大小和学习速率对腹部血管分割的影响Table 1 Effect of different batch sizes and learning rates on abdominal vascular segmentation

另外在网络模型训练过程中，网络优化参数的选择也会直接影响最终的分割结果，因此将使用具有单独dropout，单独BN，具有dropout和BN的三种残差模块组成的网络模型进行实验，进一步验证优化参数对网络模型的影响。如表2所示，加粗字体代表实验的最优结果。

由实验数据可以发现，具有dropout和BN两种优化参数的血管分割准确率更高，且其他评估参数也更具优势，只有VOE这一项标准比单独带有BN的网络略低，经过综合考虑，采用两者相结合的方式作为本次实验的优化参数。

腹部血管分为动脉和主动脉，由于动脉血管分支较多，在网络监督学习中，不能精确的捕捉细小分支的血管灰度变化，跟主动脉相比，在分割性能上明显较差。而主动脉血管平整光滑，所以在网络学习中表现出更优的性能，平均分割灵敏度可达96.98%。提出的Res-SENet算法与近几年其他算法AG-Net[20]、CE-Net[21]在3D-IRCADb数据集上进行评估指标结果对比。三种网络下二值图像的分割结果如图6所示，图7为三种网络分割结果的细节对比图，由图6和图7可以看出，三种方法对腹部血管都存在过分割和欠分割的情况，但从整体来说，本文所用的分割方法对血管的学习程度更优，精确度更高。

腹部动脉血管的分割结果在数据上的统计分析如表3所示，加粗字体代表分割结果最优值。本文所用Res-SENet网络的各项评估指标相比于其他网络均有提升，准确率可达90.48%。从表3中可以明显看出，在腹部动脉的分割上，与传CE-Net网络相比，Acc提升了0.53%，在Se、Dice、VOE和Pr上分别提升了0.13%、3.16%、3.06%、0.54%。与AG-Net网络相比，Acc提升了0.12%，Se系数提升了0.47%；Dice提升了0.59%；虽然VOE和Pr比AG-Net略低，但综合来说，本文方法的各项性能更佳，对腹部血管的分割效果更好。而主动脉相较于动脉更加平整，分支较少，其分割结果的数据分析如表4所示，Res-SENet网络的分割准确率可达97.82%，Dice可达95.53%。由动脉和主动脉的分割数据可以得出，在细小血管的分割上还存在很多不足。

图6 三种不同网络对腹部动脉血管的分割效果图Fig.6 The segmentation effect of three different networks on the abdominal arterial vasculature

图7 三种不同网络对腹部血管分割结果的细节对比图Fig.7 Detailed comparison of the results of abdominal vessel segmentation by three different networks

表2 Dropout和BN对血管分割性能的影响Table 2 Effect of dropout and BN on the performance of vessel segmentation

表3 不同网络下腹部动脉血管分割效果的评估对比Table 3 Comparison of the assessment of the effect of segmentation of the lower abdominal arteries in different network

表4 不同网络下腹部主动脉血管分割效果的评估Table 4 Comparison of the evaluation of the effect of abdominal aortic vessel segmentation under different networks

3.3 消融实验

为了进一步确定本文所加各个模块确实对分割精确度的提升有作用，特在腹部动脉血管上进行消融实验，消融实验是指在本文所用基础网络的基础上加入不同模块后，对血管分割性能的比较，实验结果如表5所示。为方便统计，将残差网络、SENet分别用R、S表示。另外，“√”表示U-Net网络中留下的模块，“×”表示消去的模块，表格中加粗字体代表血管分割的最优结果。由表5中数据可以看出，以传统的U-Net网络为基础，单独加入残差模块后，准确率提升了2.48%。Dice系数、VOE、Pr分别提升了1.4%、1.79%、3.41%，Se这一指标降低了0.48%；单独加入SENet注意力机制，Acc提升了0.53%以外，其余4项指标均有所提升，但数值相差不大；将残差网络与SENet进行融合，所得Acc提升了4.69%，Se提升了2.01%，Dice提升了4.18%，VOE和Pr分别提升了5.48%、5.42%。因此可以看出，将两种模块融入U-Net网络中，效果最好，并且每个模块的加入对血管分割的性能均有明显提升。

表5 本文所用模块在动脉数据上的消融研究Table 5 Ablation studies on arterial data for the modules used in this paper

4 讨论

U-net网络带有跳跃连接的编解码结构能够融合不同层级的特征，医学图像本身的固定化结构和小样本性，共同使得U-Net成为医学图像分割领域的最佳模型。加深网络层数可以用更少的参数达到同等水平(或者更强)的表现力。随着网络深度的增加，高层语义的特征被提取出来，但同时也会致使网络的错误率增加，所以引入了残差模块以及注意力机制，提出了本文的血管分割方法Res-SENet。采用实验数据和可视化图像对此方法进行验证，结果表明，与传统U-Net、CE-Net、AG-Net相比，Res-SENet网络在腹部上表现出更好的性能，可以应用于医学图像分割。

AG-Net[20]在血管分割性能上比Res-SENet稍差，这是因为AG-Net能过抑制模型学习与任务无关的部分，同时加重学习与任务有关的特征，但随着训练时间的增加，其准确率会有所下降。而Res-SENet网络在整个训练阶段的稳定性良好，随着迭代次数及网络深度的增加，准确率趋于平稳；CE-Net是使适用于轮廓较明显的分割网络，如肺部、肝脏，对血管的分割效果有待提高；传统U-Net的分割性能是这四种网络中较差的，其余三种都是在此基础上的改进。因为本文方法对细小血管的分割存在不足，下一步可以在本文方法的基础上添加对应的模块，改善现存的分割精度问题，以提高网络学习的实用性。

5 结论

提出了一种改进的U-net网络方法应用于腹部血管分割。首先为了提升网络的学习能力，加深网络层数，模型加深带来了模型参数量的提升，有助于错误率的降低。同时为解决了在极深度条件下深度卷积神经网络性能退化的问题，在网络中加入了残差网络和SENet注意力模块。最后调节网络中的卷积数，达到升维或者降维的作用。本方法实验表明，与基本的网络结构相比，在Acc、Se、Dice、VOE以及Pr上性能均有所提高，准确率可达90.48%，精确率为91.04%。进一步说明了改进后的网络在血管分割性能上更优。后期，将进一步优化腹部血管的分割性能，为腹部肿瘤血管的介入手术提供一个更优的路径。