周瑾，刘国才, 鞠忠建

430072 武汉，武汉大学 物理科学与技术学院(周瑾)；410082 长沙，湖南大学 电气与信息工程学院(刘国才)；100853 北京，中国人民解放军总医院第一医学中心 放疗科(鞠忠建)

盆腔危及器官(organs at risk，OAR)的准确分割，对于直肠癌、前列腺癌、宫颈癌等放射治疗计划至关重要。目前临床实践中，主要基于CT图像手动勾画，耗时极长。而且由于CT图像对比度低、个体差异较大，手动勾画很大程度上取决于医生的技能和经验。当前机器学习应用于医学图像的自动分割已经有很多成功的尝试。经典的机器学习算法，如支持向量机、随机森林、线性回归、马尔可夫随机场(Markov random field,MRF)等，在医学图像分割领域已取得初步成果[1-5]。Held等[6]通过模拟退火或迭代条件模式优化的MRF分割MR图像，多数情况下错误率小于10%。基于图集(atlas)可形变模型曾是医学图像分割中最流行的方法之一。Tian等[7]用全自动多图集(multi-atlas)在MR图像上分割前列腺。Vrtovec等[8]系统分析了2008年至2020年基于atlas的方法自动分割头颈部放疗存在风险的器官。

近年来，利用深度学习自动分割医学图像成果斐然，并迅速用于放射治疗领域[9]。神经网络的出现，使端到端的图像处理成为可能，神经网络模拟了人类视觉信息处理机制反复抽象和迭代的过程，首先将光线像素等信息抽象为图像边缘信息，然后再抽象为目标物体的某一部位，再抽象为物体轮廓形成对整个目标的感知。但是，基于CT图像自动分割盆腔器官仍是极具挑战的工作。例如：器官边界模糊、位置和体积变化、造影剂使用等，都会对结果造成干扰。尤其盆腔部位的器官和组织形态变化大，膀胱和直肠的个体差异性大，与头部和腹部位置相对固定的器官不同，对自动勾画是极大的挑战。以往国内外对盆腔器官的自动勾画研究普遍基于MR图像，与CT图像相比MR提供出色的软组织对比度，有助于更好地描绘器官边界，降低了自动勾画的难度，然而当前的放射治疗计划工作流是使用CT图像进行轮廓和剂量的计算，因此尽管CT图像比MR图像的分割更具挑战，但探讨基于CT图像进行自动分割更具临床意义。本文就此总结近五年来基于深度学习对男性盆腔CT图像自动分割的文献，介绍使用的网络结构和数据集，并分析其分割结果。

1 深度学习网络

1.1 网络概述

深度学习是机器学习领域中一系列试图使用多重非线性变换，对数据进行多层抽象的算法。通过组合底层特征形成更加抽象的高层表示、学习样本输入和输出之间的非线性映射及输入向量的隐藏结构，以发现数据的分布式特征表示[10]。基础的深度学习神经网络有人工神经网络(artificial neural network，ANN)、卷积神经网络(convolutional neural networks，CNN)和递归神经网络(recurrent neural networks，RNN)。其中ANN是一种模仿生物神经网络结构和功能的计算模型，通过样本学习不断调整神经元的权值和阈值，直到网络输出达到预期结果。CNN层次之间联系紧密特别适用于图像处理，它可以经过少量预处理从原始数据中学习到抽象的、本质的、深层的特征。RNN通过循环，允许信息持久化[11-12]，使用递归连接来存储和更新上下文信息，从过去的输入中计算出信息用于目标输出。本文提及的应用于盆腔器官自动分割的网络均是在这三类网络的基础上进行结构优化得到的。

1.2 网络训练数据集

1.2.1 男性盆腔数据集 在男性盆腔领域，收集到的公共数据集主要基于MR图像。由Brigham and Women’s Hospital提供的QIN PROSTATE，由美国国家癌症研究所提供的Prostate MRI；I2CVB平台公布的前列腺MR图像数据集等。此外在不少挑战赛中也提供了基于MR图像分割的数据集，如PROMISE12、2013年ISBI挑战赛的Prostate 3T、SPIE-AAPM-NCI 挑战赛的PROSTATEx。而基于CT图像的男性盆腔公共数据集较少，研究者多使用私有数据集进行网络训练和验证。如Men 等[13]收集中国医学科学研究院肿瘤医院2014年1月至2016年12月278例局部晚期直肠癌患者CT图像，Samaneh等[14]收集德克萨斯大学西南医学中心的85例前列腺癌患者的原始CT图像，Sultana等[15]从外束放射治疗的前列腺癌患者中获得115例男性盆腔CT图像，分别作为他们各自研究网络的数据集等。

1.2.2 数据集增广 数据增强是目前使用最广泛的增广方法[16]，能够使网络具有更复杂的表征能力，更好地学习数据集上的特征分布，有效的提高网络的泛化性和鲁棒性。常用的图像数据增强方法主要在图像布局、图像质量、图像外观等方面进行变换，如使用小角度随机旋转、平移、弹性形变等变换布局；应用高斯噪声模糊或锐化图像；调整图像亮度、对比度等调整图像外观。为防止因数据集少过拟合，Xu等[17]将50%随机弹性变形应用于每个盆腔CT图像。Wang等[18]为了丰富训练集提出了一种标签完成策略，以充分利用未注释的数据，实现男性盆腔CT图像的数据增广。此外，通过域适应技术将不同模态的影像融合，或数据集融合技术融合训练多个数据集，可以充分利用多个数据集的标注，实现多数据集共同使用。

1.3 损失函数

损失函数通过预测样本和真实样本标记产生的误差进行反向传播，来指导神经网络参数学习，它能帮助网络模型更快速、更好地收敛。在设计深度学习架构时，损失函数的选择至关重要。戴斯损失函数(Dice loss)是最常应用于分割盆腔器官的损失函数[19]。为了提高医学图像的分割能力，研究人员对经典损失函数做出改进。Li等[20]提出在交叉熵损失函数中添加正则项，以促进平滑的分割输出。Zhou等[21]提出在加权交叉熵损失函数中加入轮廓回归项，以提高边界检测的质量。通过有限和不完整的注解进行训练，Wang等[18]提出了一种混合损失来优化网络参数，完成盆腔器官的体素分类和边界回归。将盆腔器官边界信息引入到监督中，Wang等[22]定义了一个多标签交叉熵损失函数，以增强网络判别能力。

2 基于CT图像的自动分割网络

针对CT图像分割的特殊性，研究者们尝试搭建新的神经网络结构，设计不同深度、宽度、连接性或拓扑结构，引入新的网络模块等以适应医学图像的分割要求。并根据男性盆腔器官特点，通过改进网络、优化参数、级联网络和增加通道等方法，不断提高器官的分割精度。

2.1 全卷积神经网络(fully convolutional network，FCN)

2.1.1 网络结构 FCN是CNN的高影响力细分模型之一(图 1)。FCN能实现密集输入，并用卷积层代替完全连接的层达到像素级分割[23]，增加跳级连接使网络从端到端同时获得多个层的特征信息[24]，用求和的方式融合不同步幅图层的信息来完善空间细节，广泛应用于医学图像分割。Christ等[25]级联全卷积神经网络和密集三维条件随机场(conditional random field, CRF)在基于CT图像下分割肝脏及其病变。Bai等[26]将FCN应用在心脏磁共振成像(cardiac magnetic resonance,CMR)的自动分析上。

2.1.2 分割实例 Men等[13]使用深度扩张CNN(deep dilated convolutional neural network，DDCNN)分割直肠癌患者的临床靶区(clinical target volume,CTV)和OAR。这是首次将CNN应用在盆腔部位CT图像的CTV细分上。为了区分CT图像中具有相似灰度值、形状和纹理的组织，使用对比度限制的自适应直方图均衡算法对输入数据进行预处理，以进行图像增强。为了适用于盆腔器官的分割，研究者调整了原始VGG-16模型网络架构，用全卷积层替换了完全连接的层，以实现像素级的分割。在DDCNN中部署了前端和后端两个扩展的卷积模块：前端可以捕获各种低级上下文特征，包含多个尺度盆腔部位器官的强度、纹理和轮廓的原始信息；后端提取高级上下文特征，在较大的接受域中捕获整体感知信息。研究选取278例直肠癌患者CT图像，分为218例训练集和60例测试集，分割CTV、膀胱、左股骨头、右股骨头、肠和结肠，戴斯相似系数(Dice similary coefficient,DSC)结果分别为0.877、0.934、0.921、0.923、0.653和0.618,均优于U型网络(U-net)0.819、0.912、0.896、0.892、0.576和0.605。

He等[27]基于313例患者盆腔CT图像数据，采用独特曲线引导的FCN进行分割。第一阶段粗略分割3个骨盆器官区域；第二阶段采用独特曲线引导FCN对建议区域进行精确分割。作者引入的独特曲线，提高了FCN自动分割能力，能更准确和有效地表示盆腔CT图像中的形状，解决了以往网络无法直接用于CT盆腔器官分割的问题。前列腺、膀胱、直肠的分割结果如下，DSC分别为0.89±0.02、0.94±0.03、0.89±0.05；平均表面距离(average surface distance，ASD)分别为(1.34 ±0.64)mm， (0.94±0.76)mm， (1.38±0.63)mm。

图1 FCN主要结构[23]

Wang等[22]为解决盆腔器官形状差异大，肠道气体和标记物造成的不确定性等问题，使用具有边界敏感表示的FCN结合多标签交叉熵损失函数来分割313例前列腺癌患者CT图像。首先用器官定位模型选出分割区域，然后用基于多任务学习的边界敏感表示模型表达边界信息，最后引入边界敏感的多标签交叉熵损失函数训练FCN。其处理盆腔器官CT图像边界不清晰的能力优于传统U-net网络。应用在前列腺、膀胱和直肠的分割结果显示DSC分别为0.89±0.03、0.94±0.03、0.89±0.04；ASD分别为(1.32±0.76)mm、(1.15±0.65)mm、(1.53±0.91)mm。

Shi等[28]提出一种级联深域自适应(cascaded deep domain adaptation，CDDA)模型，用此模型学习信息性的特征表示，来区分前列腺和非前列腺区域。使用CDDA-CNN和CDDA-FCN基于22例盆腔CT图像分割前列腺。在CDDA中，手动描绘不仅可以用作辅助信息以指示相应贴片的类别，而且还可以用作蒙版图像以在构建的转移序列后增强前列腺外观。从源和目标域的训练图像中对前列腺和非前列腺区域进行采样，以反映内部和外部的各种外观前列腺区域。用CDDA构建转移序列，将手动勾画作为掩膜图像，叠加在具有不同掩膜率的原始CT上，生成多个连续的源域，从而增强特征值提取。最终CDDA-CNN的分割结果DSC为0.886±0.006，ASD为(2.15±1.17)mm；CDDA-FCN的分割结果DSC为0.888±0.005，ASD为(1.64±0.96)mm。

2.2 编-解码器网络

2.2.1 网络结构 SegNet网络[29]解码器对根据位置信息生成的稀疏特征图进行上采样，再进行后续卷积，恢复稠密特征图。 有以下三种类型：U-net[30]是一个对称结构，主要分为压缩路径和扩张路径，采用跳跃连接融合来自不同阶段的特征;V型网络(V-net)是一种FCN的3D图像分割方法[31]，在U-net中引入残差学习提升收敛，适用于处理医学图像，Lei等[32]研究表明其在低样本量数据集上分割有很好的效果；密集网络(DenseNet)中每一层都以前馈方式直接连接到其他每一层，以确保层与层之间最大信息流[33]，应用在医学图像诊断[34]和器官分割[35]的准确性均高于传统的CNN或3D U-net。

2.2.2 分割实例 Samaneh等[14]设计了一个2D U-net模型(图2)，使用具有可变内核、通道号和激活函数的卷积块，通过直接学习“CT图像灰度——相应的OAR轮廓”的映射函数，实现准确分割。其中，池化部分由上采样代替，提高了输出的分辨率，并且将来自收缩路径的高分辨率特征图与扩展路径中的相应上采样特征图结合在一起，很大程度上解决了过拟合问题。研究数据集包含85套前列腺癌CT图像，随机分配为训练集(60%)、验证集(10%)和测试集(30%)。用DSC评估CT图像中前列腺、膀胱和直肠的分割准确性，结果分别为0.88±0.12、0.95±0.04和0.92±0.06。该研究证明了U-net网络结构经过优化也可以成功应用于男性骨盆的分割，所提出的方法在标准放射治疗计划CT扫描上改善了靶标与周围正常软组织之间边界的自动勾画。

图2 Samaneh等[14]的U-net结构图

Shahedi等[36]将U-net进行三维优化，并修改了U-net构架使其适用于盆腔部位CT图像，将FCN网络优化为4级，在卷积之前对输入通道进行零填充，使得所有卷积层的输出通道与输入通道的大小相同。研究数据集包含92套前列腺CT图像。随机选取65%的图像用于训练，10%用于验证，25%用于测试。使用DSC、平均绝对距离(mean absolute distance，MAD)和体积差异(volume difference，ΔV)评估分割前列腺的结果，前列腺的DSC为0.83±0.06，MAD 为(2.3±0.6 )mm，ΔV为(1.9±4.0)cm3。所提出的方法参照轴内和轴间切片信息，以三维方式完全分割前列腺。这种方法有助于提高分割的鲁棒性，表现在因近距离放射治疗种子或金属植入物等产生的CT图像伪影对自动分割的精度影响很小。

Han等[37]基于3D图像进行分割，采用两个V-net分别训练不同分辨率的图像。第一个V-net在低分辨率下对图像重采样，用于粗略地定位OAR；第二个V-net在高分辨率下准确分割。该研究使用大量数据，包含3 483例CT图像评估全身16个OAR，其中男性盆腔CT 图像474例。研究表明与atlas分割比较，前列腺、膀胱、直肠的分割结果均大幅度优于atlas方法。

Balagopal等[38]提出了一种用于盆腔CT多器官分割的全自动工作流，先使用多通道2D U-net进行各个盆腔器官定位；再将3D U-net利用ResNeXt块进行优化，可以实现前列腺等器官的精确分割。该研究是第一个仅使用深度学习进行盆腔CT分割的全自动工作流。数据集包括136例前列腺癌患者的CT图像，其中80%用于训练，20%用于测试。评估前列腺、膀胱、直肠、右股骨头和左股骨头的分割结果，DSC值分别为0.90±0.02、0.95±0.02、0.84±0.04、0.95±0.01和0.96±0.03。

2.3 多模型融合网络

除了上述的网络被广泛应用于医学图像分割，还有注意力(attention)机制和生成对抗网络[39](generative adversarial networks,GAN)以及多种混合网络。Attention机制对编码器的所有输出进行加权组合后输入到当前位置的解码器中影响解码器的输出[40]。在超声图像上进行前列腺分割[41]以及多个器官分割[42-43]取得较好效果。GAN的生成器捕捉样本数据的分布试图生成真实样本，鉴别器识别样本是否来自训练数据，两者形成动态的博弈最终达到平衡。基于CT图像通过GAN自动分割胸部多器官[44]及胰腺[45]等均取得了优异结果。

Sultana等[15]将GAN与U-net相结合分割男性盆腔器官，使用从粗分到细分的方法来解决盆腔部位CT图像背景信息过大等问题。粗分割由用手动勾画训练的3D U-net执行，生成仅包含目标器官的感兴趣区域(region ofinterest,ROI)定位图。精细分割基于手动勾画和粗分割的ROI定位图，来分别对各器官进行CNN(U-net+GAN结构，如图3所示)训练。此外使用单级训练，以避免多级分割的不平衡。该网络使用100例CT图像进行训练，在15例图像上进行测试。用DSC和豪斯多夫距离(Hausdorff distance，HD)分别评价分割前列腺、膀胱和直肠的分割结果，DSC分别为0.90±0.05、0.96±0.06和0.91±0.09；HD分别为(5.21±1.17)mm、(4.37±0.56)mm和(6.11±1.47)mm。

图3 Sultana等[15]网络流程图和架构图

Kearney等[46]提出一种注意力增强的深度监督CNN。用深度监督促进模型收敛并减轻过拟合；在3D级联CNN中设置空间注意门，有选择地传递信息；利用通道增强技术增加网络的宽度，促进收敛并提高通用性。该研究采用120例前列腺癌患者CT图像，其中80例训练，20例验证，20例测试。用DSC和ASD评价前列腺、膀胱和直肠的分割结果，DSC分别为0.90±0.01、0.93 ±0.02和0.83±0.02；ASD分别为(0.78±0.49)mm、(0.88±0.67)mm和(1.11±0.71)mm。

Ma等[47]将CNN和Atlas融合，在CT图像上自动分割前列腺。为了避免盆腔CT 图像上对比度较低的软组织对自动分割产生影响，该研究提取了感兴趣区域删除无关背景来对前列腺进行分割。首先使用2D CNN进行初始分割，输出前列腺及非前列腺区域。然后将此初始结果与多个atlas融合进行精细分割。尽管来自不同患者的前列腺具有不同的外观或大小，但它们的解剖结构相似，通过选择相似的atlas可以细化分割并获得前列腺的最终轮廓。该研究的数据集包含92例前列腺CT图像，分割结果DSC评价为0.868。

Xiong等[48]提出了2D/3D混合模型。用基于CNN的感兴趣体积(volumes of interest,VOI)提取方法提取VOI区域；然后使用3D CNN学习提取区域的三维特征，其中用ResUnit(包含三个具有残差函数的卷积层)替换部分卷积层。研究数据集包含150个前列腺CT图像，经数据增强后每个子集具有3 000幅图像，利用海量数据扩充来使3D CNN捕获更高的语义特征，最终前列腺分割的DSC为0.897。该研究的新颖之处在于借助了盆腔部位的骨结构获取包含有前列腺的中间区域VOI，准确提取VOI可以提高分割效果。

Xu等[17]使用CNN结合3D全连接CRF-RNN[49]分割膀胱。首先，通过预处理获取增强膀胱密度图，与原始CT图像组成双通道图像：增强的密度图排除了许多无关的器官和膀胱周围的软组织，改善了膀胱与背景的对比度，原始CT图像保留背景的细节信息；然后用CNN预测此双通道图像上的粗体素膀胱评分图；最后用3D完全连接的CRF-RNN优化评分图，生成边界清晰、定位精细的膀胱概率图。研究数据集包括124例CT图像，随机选择100例进行训练，24例进行测试。为了防止过拟合，以50%的概率对每幅CT图像应用随机弹性变形。与采用V-net分割作比较，其结果DSC为0.922，ASD为2.02 mm，体积重叠误差(volumetric overlap error，VOE)为14.41%，相对体积差异(relative volume difference，RVD)为-3.40%，均优于V-net(0.841，3.39 mm，27.40%，-3.91%)。与相同训练时期内的原始单通道CT图像相比，深层网络从此双通道数据中学习到更多有价值的膀胱特征。

2.4 多模态混合网络分割

Dong等[50]基于140例前列腺癌放疗患者的CT图像，利用合成MRI(sMRI)辅助分割，提出了深度注意U-net(deep attention U-net，DAUnet)。首先将CT图像输入循环GAN生成sMRI，再将sMRI输入DAUnet中分割器官。网络还引入了深度注意机制，以识别ROI最相关的特征，并加入深度监督机制，以增强区分能力。研究显示前列腺、膀胱和直肠的DSC分别为0.87±0.04、0.95±0.03和0.89±0.04；ASD分别为(0.93±0.51)mm、(0.52±0.22) mm和(0.92±1.03) mm。

Girum等[51]提出了基于全自动深度生成模型的多模态前列腺分割方法。它是一个基于嵌入式深度生成神经网络的模型生成器，可以对有限的数据进行训练。该方法的多任务学习框架结合了卷积特征提取以及基于嵌入式回归和分类的形状建模，使网络能够预测器官的可变形形状。基于生成神经网络的形状建模在MRI图像上训练，直接应用于CT图像。该方法在多个临床中心的60例T2加权MRI和40例CT前列腺图像上进行训练，在CT图像上的前列腺分割表现用DSC和ASD进行评价，DSC为0.89±0.02，ASD为(0.28±0.09)mm。

3 讨 论

盆腔部位的器官，尤其是膀胱、前列腺和直肠3个器官都是可形变的软组织，其不同患者的形状差异性大，充盈程度和肠道气体影响膀胱和直肠的外观，还有基准标记物的不确定性。另外，基于CT图像的盆腔器官，膀胱和直肠边界不清晰，基准标记物还有可能损害图像质量，因此，要精确自动分割盆腔器官是极具挑战的工作。以DSC为评价指标，对以上研究者的网络分割情况进行比较。选取前列腺、膀胱和直肠三个盆腔器官作为比较对象，各研究者网络的分割结果如图4。膀胱因具有良好的低对比度可见性和相对规则的形状，在深度学习网络的自动分割中分割结果比其他两个器官好。

基于盆腔CT图像分割前列腺，Sultana等[15]、Kearney等[46]、Balagopal等[38]的网络表现最佳，混合网络在分割前列腺方面表现最好，主要优势在于删除了不相关的背景信息，只提取了感兴趣区域，使分割的难度降低；Xu等[17]网络分割膀胱效果最差，在提高识别轮廓精度和通过多通道图像提高分割性能上，前者的表现更好，更容易实现易形变软组织器官的精确分割；Samaneh等[14]分割直肠的结果远远优于其他网络，主要归功于网络结构优化后，很大程度解决了过拟合问题。

目前研究者提高盆腔器官CT图像分割精度的方法主要有三类：删除不相关背景选取感兴趣区域、提高轮廓边界识别度、改变图像对比度以识别不同器官。结合近五年的基于深度学习对男性盆腔CT图像自动分割的研究，发现通过选取感兴趣区域对盆腔器官的分割效果最好，该方法规避了盆腔CT图像背景信息大，多个软组织器官对比度低的问题，但没有正面解决基于CT图像分割盆腔器官的难点。最近新提出的利用CT图像中显著的骨骼结构来定位骨盆区域，以迭代方式增强模型的功能，以及多模态混合网络分割方法，都给精确分割盆腔器官CT图像提供了新的研究思路，其目前表现尚可[50-51]。

图4 各研究者基于CT图像分割前列腺、膀胱和直肠的DSC结果比较

4 总结与展望

医学图像由于背景信息大、样本个体差异等问题，直接使用通用的图像分割方法效果不佳，因此研究人员通过构建各种改进网络，来提高医学图像分割的准确率。研究取得了显著进展，分割精度已经超过了传统方法，部分结果可与专家手动分割相媲美。近几年利用深度学习基于CT图像分割男性盆腔器官的研究显示，网络结构多以CNN、FCN、U-net为基础，吸纳注意力机制、残差结构、GAN等其它成果优化网络结构；多尺度多层次处理输入图像，扩大信息接受范围；增加通道等方法，提高分割性能。此外，为了让网络更好的适用于医学图像的分割，研究人员对损失函数和数据集也做出改进。但缺乏更有针对性的分割算法、优化参数过多仍是制约其推广的重要瓶颈。另外，使用患者病灶图像所涉及的人伦道德和隐私法律，缺乏高质量的医学图像人工标注和男性盆腔CT图像公共数据集，医学图像数据的标准化等仍是该领域研究需要解决的问题。

随着计算机视觉及人工智能的发展，医学图像分割的准确率不断上升，为医学诊断和治疗提供了极大的帮助。加强领域间合作，协助人工智能研究人员开发出更符合医学图像分割需求的深度学习算法；为克服数据缺乏问题，建立医学影像库，实现数据资源共享；对缺乏大量数据支持的医学图像分割，考虑将深度学习的研究从有监督领域转移到半监督或无监督领域等是我们未来的发展方向。

doi:10.1109/TNNLS.2020.2995319.

doi:10.1109/TIP.2019.2919937