张学鹏，王远军

(上海理工大学 医学影像工程研究所，上海 200093)

1 引 言

胰腺是人体重要的消化器官之一，具备内外分泌功能.而胰腺癌是一种致命性极强的恶性肿瘤之一，术后5年生存率不足8%[1].在我国，胰腺癌导致的相关死亡在各类癌症死亡占比不断增加，正因此胰腺癌收到了越来越多的关注和研究.目前CT扫描已经广泛应用于肿瘤的诊断，对CT图像实现胰腺的准确分割可以在胰腺癌诊断，治疗规划和手术辅助等多个领域提供帮助.但胰腺位于人体腹部深处，被十二指肠所包裹，在位置、形状、尺寸上有着高度变异性，而且它在CT图像上与周围的邻近组织紧密相连灰度相近.这些问题都导致了与其他腹部器官的分割效果相比，当前胰腺分割困难且准确率不高的难题.

传统胰腺分割方法大部分是基于多图谱的分割方法，例如Karasawa等人[2]提出了一种基于多图谱的胰腺分割方法，这一方法选择与待分割图像的胰腺周围血管结构相似的标记图像，通过多图谱配准的方式实现胰腺组织的分割；Shen(2016)[3]等人提出的多图谱胰腺分割方法采用最相似的图谱来选择胰腺像素.Tong(2015)[4]等人基于字典学习提出多图谱分割方法以计算胰腺在不同区域中的概率.此外，基于形状模型(Hammon，2013[5])和水平集(Saito，2015[6])的分割方法在胰腺分割中虽然取得了一定的效果，但由于胰腺形状、位置和尺寸的高度变异性，依旧不能取得较高分割精度.

近年来，随着深度学习的迅速发展，深度学习网络模型被应用于胰腺分割领域中，进一步提高分割精度.Zhou(2017)[7]等人设计了两阶段FCN-8s模型，实现了对胰腺由粗到细的分割，且实验结果表明FCN网络能取得较好的胰腺分割精度.Farag[8]等人将CNN作为超像素分类器，提出了一种自下而上的胰腺分割方法.Roth(2018)[9]等人为弥补二维卷积神经网络对三维空间上下文信息利用不足的缺点，采用整体嵌套网络(holistically-nested convolutional networks，HNN)依次对3个方向切片图像进行分割.Zhu(2018)[10]等人引入深度监督机制、结合丰富的空间信息，使用三维卷积神经网络对胰腺进行分割，在加速网络收敛的同时，进一步提高了分割的准确度.Oktay(2018)[11]等人将注意力机制和U-net相结合，提出了attention U-net模型，通过抑制非感兴趣区域中特征的激活来提高网络模型的灵敏度和准确性.Cai(2019)[12]等人通过卷积神经网络CNN初步分割胰腺，然后采用递归神经网络RNN 对CNN输出结果进行平滑处理以细化分割结果.Liu(2020)[13]等人将集成学习应用于胰腺分割网络中，训练了多个基于不同目标函数的卷积网络，利用集成模型将多组输出映射相结合以实现最终的分割.Zhao(2020)[14]等人提出了级联的3D卷积神经网络模型，先采用下采样的图像数据获取粗分割结果，再在原始图像上细化粗分割结果，提高分割精度.

上述研究人员提出的胰腺分割方法已经取得了很大的进步，但与其他腹部器官的分割效果相比胰腺分割准确度还有着很大的提升空间.本文提出一种采用密集多尺度卷积网络的胰腺分割方法，DMC-net网络采用多层图像作为网络输入，结合密集卷积和密集多尺度跳跃连接结构，有效地提取胰腺多尺度特征信息，并在训练过程中采用边界损失函数对目标的边界形状进行约束，提高了胰腺分割的精度，最后利用实验证明了本文方法的有效性.

2 实验方法

2.1 图像预处理与多层输入

目前二维分割网络依然是胰腺分割领域中深度学习分割方法的研究主流，本文提出的DMC-net依然是二维分割网络，不采用三维网络的主要原因是与二维卷积网络相比三维卷积网络参数成本过大，网络训练时间长，同时分割效果并没有明显的改善.但二维卷积网络不能提取到三维空间的上下文信息，将同一病例临近切片作为单独的输入，忽略了像素空间上的联系，会造成分割结果不连续的问题.因此本文将CT序列图像沿轴向处理成二维的图像切片，同时为了提取序列图像空间上下文信息，采用了2.5D的多层图像输入方式，将3层图像作为网络的输入，这样DMC-net网络既能够学习到目标分割图层附近的空间上下文信息，又不过度增加网络的参数量，而DMC-net的输出结果则依然是中心切片层的胰腺分割结果.在结果与讨论第一小节中我们讨论了多层图像输入对于网络性能的改善情况.

此外预处理过程中我们将图像数据裁剪大小为256×256，并使用软组织窗口([-100，240]HU)对图像进行调整灰度数值范围到[0，1]，并对图像通过旋转、缩放、裁剪等方法进行数据增强以提高网络的泛化能力.

2.2 网络架构

本节介绍了我们提出的DMC-net网络架构，图1和图2分别展示了密集卷积模块和密集多尺度卷积连接，最后图3描述了网络的整体框架.

图1 密集卷积模块

图2 密集多尺度连接及各卷积层不同尺寸卷积核对应感受野

图3 DMC-net网络整体架构

2.2.1 密集卷积模块

通常认为更深的网络能够更好地拟合特征信息，为了进一步提高分割的准确度，最直接的方法就是增加网络的深度(卷积层的数量)和宽度(每层卷积核的数目).但提升网络深度带来的性能改善是有限的，过深的网络会使得浅层的特征并不能很好的被深层网络共享，浅层学习能力下降；太宽的网络在每一层会重复学习冗余特征，增加模型参数成本，造成网络训练时间的浪费.为了解决这一问题，研究人员提出了密集卷积网络[15].密集卷积的思想是为了保持网络中最大的信息流通，每个层将前面所有层的输出拼接起来作为输入，自身输出的特征映射也将传递到后续所有层，这样就保证了浅层的特征映射也可以充分地传递到深层网络中，同时每个卷积层只学习必要的特征，网络的宽度也可以得到控制.

为了融合浅层和深层特征信息，本文采用密集卷积模块代替了传统的U-net[16]中连续的常规卷积.U-net在下采样路径和上采样路径各层均采用两个连续的卷积实现对特征的提取和处理，而本文采用的密集卷积模块如图1所示，由3个密集卷积层和一个1×1卷积的过渡卷积层构成.本文实验中将密集卷积的增长率k设置为输入特征图通道数的一半，以保证每个密集卷积模块中的卷积层学习产生足够的特征映射.过渡层压缩最后输出的特征映射，组合多通道的特征信息.过渡层的压缩因子数θ根据密集卷积模块在网络中的位置有所不同，下采样路径上的密集卷积块θ为0.8，而上采样路径为了收缩特征信息，输出的通道数更少，θ设置为0.2.

2.2.2 密集多尺度卷积连接

不同大小的卷积核所能提取的特征信息是不同的，尺寸较大的卷积核对应的感受野较大，可以接收到每个像素周围更大区域的空间信息，而尺寸较小的卷积核可以提供每个像素较小局部邻域的详细信息.在CT序列图像中胰腺的形状和大小会有很大的差异，有的切片中胰腺面积较小形状近乎椭圆，偏向于采用较小的卷积核；而有的切片中胰腺呈长条形面积较大，采用较大的卷积核效果更好.为了平衡这一问题，我们在网络中对来自下采样路径的特征图采用多尺度卷积以进一步获取每个像素的多尺度信息，从而实现更准确的胰腺分割.

本文的DMC-net借鉴了Inception模型[17]和Yang等人提出的DenseASPP结构[18]，采用密集多尺度卷积连接代替了U-net中的长跳跃连接.我们使用了3种不同尺度的卷积核以得到不同尺度的特征映射，将得到的特征图拼接起来作为输出的特征图.密集多尺度卷积连接的结构如图2所示，我们分别使用的3种不同尺度的卷积核分别是1×1，3×3和一个膨胀率为2的3×3卷积核.其中1×1的卷积核用以获取每个像素自身的特征信息，实现跨通道的信息组合，增加非线性的特征信息.3×3的常规卷积是为了提取像素局部的详细特征信息，而3×3的膨胀卷积可以实现在控制网络大小的情况下实现和5×5卷积同样大小的感受野，提取像素较大范围内的空间特征信息.同时由于膨胀卷积的特征输入部分来自3×3的常规卷积，在这一基础上膨胀卷积能感受的信息也涵盖到了部分输入特征图7×7的范围，这也是本文提出的DMC-net优势之一.

2.2.3 网络整体架构

在图3中，展示了本文提出的DMC-net的整体架构原理图.整体框架与U-net相仿，分为下采样路径，上采样路径和跳跃连接部分.下采样路径每经过一个密集卷积模块后，通过2×2的最大池化操作将输出的特征图尺寸减半输入到下一模块，同时将特征图通过密集多尺度卷积连接处理提取多尺度的信息后输入到对应的上采样路径中的密集卷积模块.上采样路径将输入的特征图压缩整合后通过反卷积操作逐步将特征图恢复到原始图像大小.DMC-net网络最后直接输出胰腺分割的概率图，实现端到端的分割预测.

2.3 损失函数

在训练过程中，我们构建了一个复合损失函数来训练我们的DMC-net模型.

L=(1-α)×LossCE+α×LossB

(1)

其中α为权重参数，在这里我们将其设置为0.3.LossCE是医学图像分割领域中最常见的二值交叉熵损失函数：

(2)

(3)

其中Ω∈R2，G表示胰腺标签区域.q为图像中的像素点，Sθ(q)代表预测q点分类正确的概率.而φG是距离惩罚项，φG(q)表示根据标签地图得到的像素点q与标签边界的距离，其公式如下：

(4)

(5)

图4展示了预测分割边界曲线∂S与胰腺标签边界曲线∂G的情况，其中ΔS=G∪S-G∩S，而DG(q)表示q点距离胰腺标签边界曲线∂G上最近一点p的L2距离.

图4 胰腺标签区域与预测分割区域边界曲线展示

(6)

由公式(4)～公式(6)可知，ΔS区域内的像素点对应的Sθ(q)与φG(q)都较大，对LossB的“贡献”也较大.而在其余区域，Sθ(q)与φG(q)的乘积会由于Sθ(q)趋向于0而极小.由公式(6)可知，若ΔS中m，n两点的预测概率相同时，即(Sθ(m)=Sθ(n))，当m点为远离胰腺标签的一点时，此时φG(m)会有较大的惩罚权重.这样与胰腺边界附近的误分割像素点n相比，m点对LossB的“贡献”会更大.因此，通过根据对不同像素点赋予不同的惩罚权重，损失函数LossB实现了对预测分割结果边界形状的约束.在结果与讨论第一节中我们讨论并展示了边界约束损失函数对网络性能的提升效果.

由训练过程可知,在仅采用边界约束损失函数作为DMC-net网络的损失函数的情况下，网络在最开始阶段得不到关于胰腺分割结果边界形状的信息，网络会趋向于将所有像素为背景，陷入瓶颈.因此，多次尝试后，设置α为0.3，驱使网络更偏向于LossCE，仅将LossB作为辅助损失函数更新权重.

2.4 网络训练与测试过程

本实验采用的数据集是美国国立卫生研究院(National Institutes of health，NIH)的公开胰腺分割数据集，数据集包含82名被试者腹部三维增强CT扫描数据，CT扫描影像大小为512×512×L(切片层数L∈[181，466])，均采用飞利浦和西门子MDCT扫描仪(120 kVp管电压)收集得到的.我们将数据集随机分割成4组(每组分别有20，20，21，21组CT图像序列)，按照四倍交叉验证的方式检验我们分割网络的性能.

在训练过程中，我们将数据按照第1节所述的预处理步骤处理后送入DMC-net模型进行训练.训练过程中使用Adam优化算法更新DMC-net网络权重，设置批处理大小为4，学习率为1e-4，并使用指数衰减法调整学习率，衰减系数为0.9.

在测试过程中为了评价分割效果，我们使用戴斯相似性系数(Dice similarity coefficient，DSC)以评价DMC-net网络的分割效果.

(7)

其中G是胰腺标记区域，S是胰腺预测分割区域.在医学图像分割领域，DSC被广泛应用于衡量分割结果与金标准的相似程度，数值越趋近于1，说明分割结果越准确.

3 结果与讨论

表1展示了使用本文方法得到的胰腺分割结果，与前言中提到的多种胰腺分割方法进行了比较.结果显示，本文方法的分割结果平均达到了86.19%，实现了较好的分割效果.采用本文提出的DMC-net与U-net相比，分割结果的DSC系数提高了6.48%，与其余研究人员提出的胰腺分割方法相比，也有不同程度的提升或改进.同时我们还测试了DMC-net采用多层图像输入方式与复合损失函数训练网络的必要性，表2的数据表明联合使用多层图像输入方式以及在训练过程中使用复合损失函数时胰腺分割效果最好.

表1 多种胰腺分割方法与本文方法的展示数据表

3.1 多层图像输入与复合损失函数结果展示

图5展示了本文DMC-net网络采用多层图像(2.5D)输入方式与单层图像(2D)输入的分割结果对比的示例.与单层图像输入相比，多层图像输入方式能够提取空间上下文信息，使得目标层的分割结果更加平滑.在第12个病例中可以看出，第2列的分割结果部分出现了过分割的现象，而第3列采用2.5D输入方式后的分割结果则没有出现这一现象.第32个病例中胰腺中段的标签区域内凹，第2列的分割结果过分割现象明显，而第3列的分割结果则改善了这一点.而在第75个病例中明显看出比起第2列出现有欠分割现象的分割结果，第3列的分割结果则没有出现这一问题.正如前文所说采用单层图像输入时由于学习不到临近图层的特征信息，分割结果的局部就会出现过分割或欠分割的现象，而2.5D输入则可以一定程度上弥补了这一点，我们认为多层图像输入的方式模拟了医生在手动分割时通过参考邻近层的图像信息进而实现当前图像分割，从而使得整个分割结果更“平滑”，避免不合理的误判.从表2可以看出，采取多层图像输入的方式可以将总体DSC提升2.82%.

图5 从左到右每列依次是胰腺标签，采用单层图像输入的分割结果，采用多层图像输入的分割结果

表2 DMC-net采用多层图像输入与复合损失函数必要性展示

图6展示了本文提出的DMC-net网络在分别采用复合损失函数与交叉熵损失函数LossCE训练后的分割结果对比的3个示例.在其余参数设置相同的前提下，可以看出在边界拟合情况上，采用复合损失函数训练后的网络预测分割结果与胰腺标签区域的拟合效果更好.简单使用LossCE训练网络的情况下，分割出来的预测结果与胰腺标签差异较大，边界不能很好地与胰腺标签的边界拟合.在图6第7个和第68个病例中，第2列和第3列的分割结果形状相似，但采用LossCE后的第2列分割结果边界有欠分割的现象，说明网络倾向于将预测边界的像素预测为背景，而采用复合损失函数后的第3列分割结果明显得到了改善，弥补了这一情况，DSC也有明显的提升.而在第8个病例中采用LossCE训练后胰腺中段的分割结果缺失很大一部分，而采用复合损失函数后的分割结果则没有出现这一欠分割现象，可以看出采用LossB对分割结果边界有效的约束能力.从表2可以看出采用复合损失函数后所有病例的平均DSC总体上提升了1.31%.

图6 从左到右每列依次是胰腺标签，采用二值交叉熵损失函数的分割结果，采用复合损失函数的分割结果

3.2 本文方法与U-net分割方法比较

为了进一步验证本文分割方法的准确性，将本文采用DMC-net的分割结果与使用U-net网络的分割结果进行对比.图7展示了DMC-net和U-net针对同一例序列图像不同切片的预测结果.由图7可以看出当胰腺面积较大或时使用本文方法与U-net都可以得到较高的分割精度(图7 2-3行)，但依然能看出U-net会出现有较小的误分割区域.而当胰腺面积较小时，从边界和形状的拟合情况来看本文DMC-net网络分割精度要明显优于U-net(图7的第1行，第4-7行).

图7 本文DMC-net方法与U-net分割结果对比

4 结 论

本文提出了一种采用密集多尺度连接的分割网络DMC-net用于实现对胰腺的自动分割.由于胰腺的形状大小差异较大，我们通过多层图像输入的方式辅助学习胰腺空间上下文信息，并通过密集卷积模块和密集多尺度卷积连接提取胰腺的多尺度特征信息实现对胰腺的位置尺寸等信息的把握，辅助利用边界约束损失函数进行训练以约束胰腺边界形状，从而实现了对胰腺的精准分割.从评价指标上来看，与其他胰腺分割方法相比，总体上来说我们取得了较好的分割性能.我们的实验展现了DMC-net在胰腺分割上的效果与潜力，所采用的多层图像输入方法与边界约束损失函数也有效地提高了分割效果.