龚晓庆

(西北大学 信息科学与技术学院, 陕西 西安 710127)

胰腺是人体第二大消化器官,仅次于肝脏,为人体提供内分泌和外分泌功能。据中国癌症网的统计资料显示,目前腹部器官恶性肿瘤的发病率在我国逐年提高,尤其是胰腺器官恶性肿瘤的发病率在迅速增长[1]。CT扫描是腹部器官疾病的常规检查,也是疾病诊断的重要参考手段[2],但由于CT成像技术和成像设备本身的限制,以及病人个体差异等原因的影响,导致腹部CT影像往往表现出噪声、不规则等特征。此外,腹部CT影像的背景复杂、组织边界模糊、分割的器官区域形状变化大等表现都为腹部影像器官分割带来了一定的挑战[3]。

随着计算机性能的提高和深度学习方法的快速发展,卷积神经网络(convolutional neural networks,CNN)已广泛应用于医学影像分割和检测。其中,U-Net网络结构的提出极大地促进了图像分割在医学影像上的广泛应用,并在各类分割任务上取得了优越的性能。例如，在2D图像上进行细胞分割,在X射线和CT影像上进行器官和肿瘤分割等。然而,基于U型结构的深度卷积网络模型应用于医学影像分割时仍然存在一些限制。由于CT扫描中存在对比度差、噪声大、背景复杂等问题,因此，在医学影像分割过程中存在前景对象与不相关的背景对象具有相似性的问题,这种相似特征会被神经网络混淆,从而导致分割边界不准确。除此之外,大多数现有的方法侧重于目标区域的特征提取,忽略了边界信息,而这些边界信息对于获得精确的分割很有帮助。

本文主要针对胰腺分割存在分割边界不准确的问题,基于nnU-Net医学影像分割自适应框架,设计了一种基于边界感知的胰腺器官分割模型。该模型在分割网络中嵌入一种边界感知模块来引导分割网络有效学习目标的边界特征;并且,模型对传统分割网络模块提取的语义特征和边界感知模块提取的边界特征进行特征融合,以获得更精准的胰腺器官分割结果。在NIH胰腺分割公开数据集上验证了本文所提模型的分割准确率。

1 相关工作

腹部CT影像胰腺器官分割的主要目的是在CT影像中对胰腺器官区域与背景区域进行区分,但胰腺器官体积较小、形变较大，且与周围器官组织边界不清晰等特点，为胰腺器官的准确分割带来挑战。与多器官分割算法相同,目前主要的胰腺器官分割算法可分为两大类:传统的胰腺分割算法和基于卷积神经网络的胰腺分割算法。

1.1 传统胰腺分割算法

Tam等人先采用直方图均衡化方法对CT影像的对比度进行加强,之后利用区域生长技术对胰腺器官进行分割,从而提升了胰腺器官的分割效果[4]。Kimoto提出了一种从形状估计到特定图谱的迭代过程,其中，特定图谱是基于估计的胰腺形状构建的,从而提高了胰腺分割的性能[5]。Jain等人提出了一种基于CT影像的胰腺分割半自动方法,该方法首先采用快速行进法(FMM)对胰腺器官进行粗分割,然后采用距离正则化的自适应水平集方法(DRLSM)对粗分割结果进行细化,从而完成了最终的胰腺分割[6]。Karasawa等人提出了一种多图谱分割方案,解决了胰腺器官在不同病人之间位置、大小和形状存在差异的问题,该方法基于胰腺周围的血管结构得到了一种新的胰腺组织图谱选择策略,从而有效提升了胰腺器官的分割结果[7]。由于传统的分割方法对影像和复杂形状的目标分割存在一定局限性,因此，利用传统的胰腺器官分割方法得到的分割效果不佳。

1.2 基于神经网络的胰腺分割算法

基于卷积神经网络的胰腺器官分割方法为胰腺分割领域的研究带来了新的突破。Cai等人提出了一种基于图论决策融合过程的胰腺分割方法[8],该方法使用两种类型的CNN模型进行胰腺检测和边界分割,首先，通过组织检测步骤区分出了具有空间强度背景的胰腺和非胰腺组织,接着，通过边界检测步骤为胰腺分配了语义边界,然后，将两个网络的检测结果进行融合,最后，利用条件随机字段(CRF)框架得到最终的胰腺分割结果。Lu等人为了解决2D分割中上下文学习和分段不一致的问题,提出了一种新的递归神经网络架构,并使用一种新的分段损失函数(Jaccard损失)对网络模型进行了优化,得到了比最新CT和MRI胰腺分割方法更优的结果[9]。Zhao等人在2019年提出了一个基于CNN的全自动胰腺分割框架,将该框架分为两个阶段,第一阶段使用U-Net进行降采样的3D分割训练,第二阶段在上采样中训练了另一个3D U-Net,之后，对两个阶段的分割结果进行融合,从而得到了比其他最新2D和3D胰腺分割方法更准确的效果[10]。

综上可见，基于计算机视觉技术的胰腺分割已有较多的研究成果,但是，这些方法主要集中在器官整体视觉特征的提取方面,忽略了目标边界特征信息的有效提取,而目标边界是器官准确分割的有效特征信息。因此,本文所提模型重点引导分割网络关注目标边界信息的有效提取与利用,以提高胰腺器官分割的准确性。

2 基于边界感知的胰腺分割模型

正常胰腺器官CT影像如图1所示,其中，蓝色区域表示的是胰腺器官。胰腺器官位于肾旁前间隙内部位,体积较小,形态细长,胰头被十二指肠包绕,胰体后侧相邻胆囊、门静脉和下腔静脉。由图1可以看出,胃、肝脏和肠道器官边界相对清晰,容易分辨,但胰腺周围脏器居多,且表现出边界模糊、难以与其他脏器区分的特点,这就使得胰腺分割存在分割边界不准确的问题。

图1 胰腺器官部位示意图Fig.1 Diagram of pancreas organs

本文的主要研究目标是解决胰腺器官分割任务中分割边界不准确的问题。由于卷积神经网络的下采样过程中会丢失部分细节信息, 导致许多现有的分割方法不能很好地解决该问题。为此,我们借鉴混合分割算法的思路,提出基于边界感知的胰腺器官分割模型。并且,模型在多任务学习的模式下,对目标器官的区域语义信息和边界信息同时进行预测,将边界提取任务作为分割任务的辅助任务,使得分割网络在提取特征的过程中更加关注目标边界信息的有效提取,从而产生更精细的分割结果。

基于边界感知的胰腺器官分割网络模型的整体网络架构如图2所示。此分割网络结构共分为3个模块:体素分割模块、边界感知模块和融合模块。其中，体素分割模块为模型的主干网络,其采用标准的卷积神经网络结构来完成语义分割;边界感知模块通过本文设计的边界注意门控卷积层及监督信息使得该模块仅处理与边界有关的信息,从而获取目标信息的形状语义特征;融合模块将体素分割模块的区域语义特征和边界感知模块的边界语义特征进行融合,从而产生精细的分割，尤其是在目标区域的边界周围能预测出更准确的结果。

图2 基于边界感知的胰腺分割网络架构图Fig.2 Structure of pancreatic segmentation network based on edge awareness

2.1 基于边界感知的分割网络模型

本文基于边界感知的胰腺分割网络具体模型如图3所示。

鉴于nnU-Net在各类医疗影像分割任务中都展示出了优越的性能,本文基于nnU-Net结构作为模型体素分割模块的网络结构。将体素分割模块表示为R(I),网络将深度为D;以高度为H,宽度为W的影像I作为输入,在编码器部分通过下采样操作获得高层特征图,之后通过对应的上采样操作恢复尺寸,最终输出大小为C×D×H×W的特征图r,其中，C表示通道数。

图3 基于边界感知的分割网络细节结构图Fig.3 The detail structure of segmentation network based on edge awareness

将边界感知模块表示为B,该模块将图像梯度信息即体素分割模块中编码器部分的第一层卷积的输出作为输入,之后通过边界注意门控卷积层和残差块(res block)操作,最终输出大小为D×H×W的边界特征图b。此外,从输入图像的语义分割标签中获取到图像的二值边界标签,由于语义分割标签为二值图像,二值图像用像素值1表示前景区域,用像素值0表示背景区域,对二值图像边界的提取只需要将语义分割标签的内部像素点的像素值全部设置为0,保留语义分割标签的边界像素点,就可以得到二值边界标签,然后使用二元交叉熵损失函数(binary-cross entropy)来对该模块进行监督训练。

边界注意门控卷积层(AGL)是边界感知模块的核心,它帮助边界感知模块仅处理图像边界相关信息,而不关注图像的其他信息。此外,该门控卷积层将体素分割模块的图像特征连接到边界感知模块,帮助整个分割网络的特征提取。由于主干分割网络的下采样过程是特征提取的过程,同时低级的特征能够保留足够的边界信息,因此，将提取边界特征的网络添加到分割网络下采样的各个阶段。边界感知模块中一共使用4个边界注意门控卷积结构,为了帮助该模块更加关注目标区域的边界相关信息,而忽略其他不相关的信息,在该边界注意门控卷积层引入了注意力机制[11]的思路,同时为了防止梯度消失,在该模块引入了残差学习[12]的思想。具体实现过程如下:用t表示AGL模块的位置下标索引,在边界注意门控卷积结构中,首先，将体素分割模块的特征图rt和边界感知模块的边界特征图bt进行串联合并,再进行1×1×1的卷积操作,之后，进行Sigmoid激活处理,生成D×H×W的注意力图αt,接着将bt作为乘积元素与注意力图αt进行点乘,最后，再进行残差连接，并使用卷积核wt进行通道加权。在每个体素(z,x,y)上,AGL的计算方法如式(1)和式(2)所示，

αt=σ(C1×1×1(rt||bt))，

(1)

(2)

其中,σ表示Sigmoid,||表示串联,⊗表示对应位元素相乘,⨁表示对应元素相加。

此外,本文将融合模块表示为F,该模块将体素分割模块的区域特征r与边界感知模块输出的边界特征图b融合在一起,最终输出精细的语义分割结果。融合模块的具体流程如下:首先，使用Canny边界检测因子来获取输入三维医学影像的梯度信息；之后，将该梯度信息与边界图b进行串联合并,再进行1×1×1的卷积操作,接着进行Sigmoid激活处理,并将得到的特征图与体素分割模块输出的特征图r进行串联合并,再进行1×1×1的卷积操作,最后，经过softmax层输出分割预测概率图。具体来说,对于K个语义类别的分割预测,输出类别分布f=P(y|r,b)=F(r,b),表示每个体素属于K个类别的概率。

2.2 损失函数

在整个训练过程中,模型以端到端的方式共同学习体素分割模块、边界感知模块以及融合模块,同时，在训练过程中共同监督边界影像和分割影像的预测。其中,边界图像为输入图像轮廓的二值化表示,在预测的边界特征图b上使用标准的二元交叉熵损失(BCE)函数,在预测的语义分割特征图r上使用损失函数Lce和自适应权重损失函数Law之和来帮助网络训练。因此,分割网络模型的总损失函数被定义为

Ltotal=αLseg+(1-α)Ledge。

(3)

其中：Lseg表示体素分割模块的损失；Ledge表示边界感知模块的损失；α为损失权重参数。具体的计算方法如式(4)所示，

Ltotal=αLseg+(1-α)Ledge=α(Lce+

Law)+(1-α)Lbce。

(4)

3 实验与分析

3.1 实验环境与设置

为验证本文提出的基于边界感知的胰腺器官分割模型的有效性,在公开的NIH胰腺数据集[13]上进行实验。该数据集中共有82例病人的腹部增强CT影像数据,所有CT影像的分辨率为512×512像素,各病例的切片间距不同,切片厚度在1.5～2.5 mm之间。该数据集中所有病人的CT影像数据以DICOM数据格式进行保存,所有标签数据以nii数据格式进行保存。一位医学专业学生手动地对每一张切片进行胰腺器官标注,并由经验丰富的放射科医师验证和修改,最终获得胰腺器官分割任务所需的标签。本文将82例原始CT数据按一定比例划分为训练集与测试集,其中，随机选取58例数据用于网络模型的训练,剩余的24例数据用于测试。模型学习速率设置为0.01,学习动量设置为0.99,优化器为SGD,采用五折交叉验证训练1 000个epoch。

实验环境为英特尔(R)Xeon(R)CPU E5-2650 v4@2.20 GHz,NVIDIA GeForce GTX 1080Ti 11GB,64Gb运行内存和Ubuntu 16.04 LTS操作系统。采用图像分割评价指标Dice系数和IOU对算法进行评估。

3.2 实验结果与分析

本文将所提模型和现有相关模型在公开的NIH胰腺数据集上进行了对比实验, 以验证提出算法的有效性和优越性。 与本文所提模型进行对比的医学影像分割模型有DeepLabv3+[14]、 3D U-Net、Attention U-Net[15]和传统的nnU-Net网络。胰腺器官分割实验对比结果如表1所示，可以看出，所提模型在24例测试影像上得到的Dice系数为0.879,IOU为0.784；比目前实现胰腺分割效果先进的nnU-Net网络分割结果Dice提升0.016,IOU提升0.025; 相对于基于注意力机制的Attention U-Net网络的分割结果Dice提升0.03,IOU提升0.046;而对于传统的医学影像分割网络3D-UNet的分割结果Dice提升0.041,IOU提升0.063;比目前使用广泛且效果较好的影像分割网络DeepLabv3+的Dice提升0.053,IOU提升0.08。实验结果数据表明本文提出的基于边界感知的胰腺器官分割模型能够有效提升胰腺器官分割效果。

表1 胰腺器官分割结果实验对比表

此外，为进一步展示提出算法在胰腺分割效果上的优越性，在图4中展示了提出模型和现有模型在测试集上分割结果的可视化对比图。图4A为CT影像中胰腺器官分割的真实标签(Ground Truth),图4B为DeepLabv3+模型分割的结果,图4C为3D U-Net模型分割的结果,图4D为Attention U-Net模型分割的结果,图4E为nnU-Net模型分割的结果,图4F为本文提出模型分割的结果。由图4可以看出,传统的分割网络模型分割出的区域均存在分割边界不准确的问题,而本文所提模型的分割结果能更准确地分割出胰腺器官边界,得到更精确的分割结果,也证明了本文所提模型的有效性和优越性。

图4 胰腺器官分割结果对比图Fig.4 Visual comparison of pancreatic segmentation results

4 结语

胰腺器官在腹部CT影像中表现出体积较小和边界模糊等特点,导致现有器官分割模型得到的胰腺分割结果中存在边界不准确的问题。为此,本文提出了一种基于边界感知机制的胰腺器官分割模型。该模型在体素分割网络中嵌入一种边界感知模块来辅助分割网络的训练,以更好地提取边界细节信息。其中,边界感知模块通过边界注意门控卷积层和边界标签使该模块仅处理图像边界的相关信息,而不关注其他无关信息;最后，在融合模块将体素分割网络模块提取的语义特征和边界感知模块提取的边界特征进行融合,很大程度上解决了胰腺器官分割边界不准确的问题。在公开的NIH胰腺数据集上,通过将提出模型与多个现有语义分割模型进行实验对比分析,证明了本文所提模型可以得到更好的胰腺器官分割结果，Dice系数为0.879,IOU为0.784,相对于目前胰腺分割性能优越的nnU-Net模型,分割结果的Dice提升0.016,IOU提升0.025，分割效果优于现有器官分割模型。