王红玉,张墺琦,卜起荣,崔 磊, 冯 筠

(1.西安邮电大学 计算机学院，陕西 西安 710121;2.西安邮电大学 陕西省网络数据分析与智能处理重点实验室，陕西 西安 710121；3.西北大学 信息科学与技术学院，陕西 西安 710127)

病理诊断中对于腺体的观察十分重要,腺体的形态和结构是决定腺癌分级分型的一个重要指标。腺癌是由腺上皮引起的恶性肿瘤,其中，结肠腺癌是最常见的癌变类型之一[1]。通过从大量的切片中找到包含早期病变的微小腺体组织等,可进行结肠腺癌的分型、分级、分类等诊断,因此,腺体的准确分割对于结肠腺癌诊断至关重要[2]。结肠病理图像的分割是病理定量分析的基础,也是当前研究的热点。利用机器学习算法进行病理图像分割可以将病理专家从枯燥的机械式工作中解放出来,也减少了不同医生在诊断时产生的主观性差异。准确的分割结果可以为病理的定量分析提供精确测量数据,进一步提高病理专家的分析效率。

目前,利用机器学习进行病理图像分割的算法主要分为两大类[3],一类是以传统机器学习为代表的病理图像分割算法,此类方法以先验知识和人工设计的特征为基础进行建模,常用的特征有颜色、形状、大小、纹理结构等,优势是可解释性高,但存在特征不全面、泛化性能差的问题,导致在较为复杂的病理图像分割任务上这类方法的分割精度不佳,且计算复杂耗时[4]。另一类算法也是目前研究的热点,即基于深度学习的病理图像分割算法[5],以大量的数据和深度神经网络为基础,通过设置合适的训练策略进行神经网络的反向传播,对误差进行反复的迭代优化来学习图像的浅层和深层特征,不需要手工设计特定的特征。这类方法在数据样本充足的情况下,可以学习到更加复杂的病理图像特征,在处理图像分割任务时相较于传统方法精度更高,泛化性更好。

本文针对结肠组织病理图像中腺体分割存在不同癌变等级腺体外观差异大,同一模型难以同时对良性、恶性腺体进行高精度、高形状相似性分割的问题,利用上下文注意力机制设计了一种双路径特征融合的结肠组织病理腺体分割网络(dual-path feature fusion based on context attention,DPFF-CA)。针对腺体形状多变,差异大等问题,在编码器部分设计了带注意力的上下文特征(context attention, CA)提取路径和空间特征(spatial path, SP)提取路径,以获得较大的感受野和空间信息,进而改善分割性能,提高模型对于腺体形态学的学习能力。本文算法在Warwick-QU数据集上进行验证,与目前主流的腺体分割算法相比,在良性和恶性腺体分割上均取得了较高的分割精度。

1 相关工作

组织病理图像中对腺体的自动化分割从传统方法到基于深度学习的方法都进行了许多尝试和探索并取得了一定进展。早期以传统方法为主,常见的有阈值法、分水岭方法[6]等,研究者根据腺体的特征设计手工特征描述子,提取某一类或几类特定的特征用于分割,如Wu等人利用区域生长算法进行腺体分割,通过设置一个滑动窗口寻找肠道内部的大空缺区域，确定初始的播种区域后,重复应用形态学扩张操作扩展种子区域[7]；Gunduz-Demir等人提出了基于图的腺体分割方法[8]，Paul等人使用结构信息进行腺体分割,提出一个用于保留腺体边界的边缘保留过滤器,然后使用信息学形态学尺度空间对腺体进行分割[9]。研究发现,尽管上述方法适用于形状规则的良性腺体,但当切片图像上的腺体与预测的轮廓不一致时,腺体就不能被很好地分割。

为了解决这一问题,研究者开始关注对于恶性腺体的分割研究,Nguyen等人提出了基于图论和核空间排列的腺体分割方法,通过构建核和腔的图,并使用归一化切割方法将图划分为不同的分量,每个分量对应一个腺体,此方法对3级和4级的恶性腺体取得了不错的分割效果[10]。Prabhu等人提出了基于贝叶斯推断的随机多边形模型进行结肠组织中腺体的分割，通过定义先验的空间连通性、相邻上皮细胞核的排列和腺体结构存在的可能性,对组织病理图像中的腺体结构进行贝叶斯推断,实现了组织学图像中的腺体结构提取[11]。然而,上述方法只能对某一分化级别的恶性腺体具有较好的分割效果,当同时面对良性腺体和多个分化级恶性腺体的分割任务时效果不够理想。

随着深度学习方法在医学图像分割领域的成功应用,使用深度学习的结肠组织病理腺体分割方法成为了新的研究方向[12]。如Chen等人提出了一种深度轮廓感知网络分别对腺体和轮廓进行分割[13],并在2015年MICCAI(Medical Image Computing Computer Assisted Intervention) 举办的腺体分割挑战赛中取得了最好的效果。Xu等人融合了复杂的多通道信息、区域和边界特征,并对腺体组织学图像中的侧响应进行深度监督和添加额外的对象框信息来提高分割性能[14]。Raza等人提出了一种多输入多输出网络,利用不同膨胀率的卷积提取全面的图像特征,该网络在一定程度上较好地提升了腺体的分割性能[15]。Graham等人使用卷积神经网络和空间金字塔池化对Warwick-QU数据集进行实例分割,并在测试集B中取得了先进的效果[16]。总体来说,使用深度神经网络方法可以在一定程度上实现不同类别、不同分级腺体的良好分割,但是腺体分割结果存在形状相似度欠佳的问题。腺体的形状对于腺癌的诊断分级是一个重要参考指标,因此，亟需在提高模型泛化性能的基础上,同时提高腺体分割的准确率。

综上所述,基于传统机器学习算法的腺体分割方法往往存在难以适应腺体形态多变的问题,模型泛化性较差,通常只能实现对形态大小较为规整且稳定的良性腺体或形态变化微小、分化级别较低的恶性腺体的分割。而使用深度神经网络的方法,不需设计特定的特征就可以提取到更加全面的潜在特征,能适应不同类型和分化级别的腺体分割,模型泛化性较好。

2 结肠病理图像中的腺体分割网络

2.1 腺体分割过程

结肠病理图像腺体分割任务一般不仅要求分割出图像上的背景和腺体,还要求对每个分割出的腺体都有相应标注,这是因为分割后的每个腺体的形态、大小对于癌症的分级均非常重要。由此可知,腺体分割的任务其实属于实例分割的范畴。由于依靠专家标注的病理图像往往存在样本量不足的问题,若使用语义分割结合有监督目标检测的方式进行实例分割,则缺少目标检测所需的检测框标注,若结合无监督的目标检测方法准确率又得不到保证,人工标注耗费的人力成本较大。因此，目前常用的方式是先对腺体进行语义分割,分割出腺体和背景,然后，利用阈值和求最大连通区域等传统方法给每个腺体对象标注唯一值,以区分每一个腺体,腺体分割过程如图1所示。

图1 语义分割下的腺体实例分割Fig.1 Gland instance segmentation based on semantic segmentation

2.2 算法总体框架

本文提出的基于双路径特征融合的结肠组织病理腺体分割网络(DPFF-CA)整体结构如图2所示。设计带注意力的上下文特征提取路径用于获得更大的感受野和全局信息,来改善结肠病理图像腺体分割中存在的腺体尺寸变化大问题,此外,还设计了空间特征提取路径,来获得具有丰富空间信息的高分辨率特征,并将两个路径的特征进行融合以获得更加全面的信息。该网络既改善了结肠病理图像腺体分割过程中存在的尺度不一致问题，又改善了分割边界的精度,使得分割结果和真实腺体相比具有更高的形状相似度。

空间特征提取路径包含3个卷积层以及对应的归一化层(由于腺体的分割属于实例分割，因此，归一化方法使用了在实例分割中常用的instance normalization方法)、ReLU层,通过此路径得到的特征大小为原图1/8高分辨率特征图。上下文特征提取路径以残差网络[17](residual network, ResNet)中的残差块为基础进行4次2倍下采样,提取深层特征,并且在4次下采样和8次下采样后都使用了注意力模块CA,以优化上下文特征提取路径中每一个阶段的输出特征,最后，对两个路径提取到的特征进行融合和上采样，恢复至输入图像大小。

2.3 空间特征提取路径

在卷积神经网络中通常使用卷积层搭配池化层的连接方式,通过不断缩小特征图来减少冗余信息,在提升分类精度的同时减少网络参数量。但对于分割任务,这种方式会损失一部分空间信息,而这些信息对于分割目标的边界和细节具有十分重要的作用。

图2 基于双路径特征融合的结肠病理腺体分割网络Fig.2 Colonic tissue pathological gland segmentation method based on dual-path feature fusion

由于结肠病理图像中腺体的形态、大小差异大,导致准确分割出腺体边界具有一定难度,而较高分辨率和丰富的空间信息有助于改善腺体分割时边界的精度,提高分割出的腺体与真实腺体的形状相似度,所以，设计一个既能保留图像的高分辨率特征,又有较大的感受野的网络就显得至关重要。一些现有的方法试图使用空洞卷积编码来保持输入图像的分辨率，以获得足够的空间信息[18-19],也有一些方法尝试用金字塔池化模块或较大的卷积核来捕获足够的感受野[20-21]。上述方法表明获得全面的空间信息和更大的感受野对于实现高精度分割至关重要,但要同时满足这两方面也存在一定的困难。

基于上述问题,本文利用空间特征提取路径来获得较高分辨率特征,并对空间信息进行了较为全面的编码。如图2所示,空间特征提取路径包含3个层,每层包括一个步长为2,大小为3×3的卷积、归一化和ReLU。通过此路径可以提取到大小为原始图像1/8的特征图,较大的特征图具有更丰富的空间信息,在对腺体进行分割时，有助于确定腺体的位置与边界,同时改善腺体边界的分割精度。

2.4 基于注意力的上下文特征提取路径

本文提出的空间特征提取路径SP获得了丰富的空间信息,接着设计了带注意力机制的上下文特征提取路径CA来为网络提供足够的感受野。在分割任务中,感受野对于分割性能影响很大,为了扩大感受野,一些方法利用了金字塔网络结构[22]或大尺寸卷积核[23]，然而,这些操作对于计算机的内存空间要求较高,非常消耗内存和时间。

本文利用基于注意力机制的上下文特征提取路径来获得更大的感受野并提高计算效率。由于结肠组织病理图像数据集小,使用层数过深的网络,参数将会过多,这样容易产生梯度消失现象或过拟合问题,并且面对较小的数据集,过多的参数也难以得到有效学习。因此，上下文特征提取路径利用深度残差网络ResNet中的残差块和最大池化方法快速地对特征映射进行下采样,以获得大感受野,并实现了语义上下文信息编码。

由于上下文路径关注全局上下文信息的学习,为了进一步提高模型对于腺体结构特征的学习能力,本文还设计了注意力模块CA。其为补充通道间的语义响应进行了通道间的依赖关系建模,以获得每个通道和其他通道间的依赖关系,进而引导特征的学习,并将其和具有丰富上下文信息的特征进行加权,以达到特征增强和互补的效果。具体的注意力建模过程如图3所示,首先，对形状为c×h×w的输入特征X进行变换得到Ψ、Φ、Ω这3个特征,其中：c为特征通道数；h为特征图的高；w为特征图的宽。Φ为对X进行的维度变换,它的形状为h×w×c。接着，将特征Ψ、Φ、Ω展开为二维,用Ψ左乘Φ,进行矩阵乘法得到大小为c×c的注意力特征图,用经过Softmax操作后的C左乘Ω,得到大小为c×(h×w)的特征F。然后将特征F重塑为三维,即c×h×w,再和输入特征X进行加和,得到具有丰富通道间依赖关系的特征A。具体的计算过程如式(1)和式(2)所示,其中:c,h,w分别代表特征通道数、特征图的高和宽;Cij表示第i个通道对第j个通道的影响;γ是尺度系数,初始化为0。通过迭代学习更新权重,最终得到的输出A是每个通道特征和原始特征的加权和,通过类内特征响应、类间特征抑制的方式,强化了网络对于边界的敏感程度。

(1)

(2)

特征融合部分受到UNet的深浅层特征跳跃连接互补思想的启发,将上采样过程与特征融合相结合,如图2所示,与UNet中的跳跃连接采用特征拼接方式不同,本文将对应特征进行加和,并不增加特征的通道数,以此实现特征的融合互补。本文使用交叉熵作为损失函数,计算公式如式(3)所示，

(3)

其中：pi表示预测结果中第i个像素的概率；gi表示金标准的第i个像素的真实类别；N表示像素数量。

图3 注意力模块CA结构Fig.3 Structure of the attention module CA

3 实验

3.1 实验设置

本文使用Warwick-QU数据集作为研究数据集。它包含使用Zeiss MIRAX MIDI显微镜获得的165个结肠组织图像,分辨率为0.62 μm/像素,并由医学专家对每个图像进行了腺体的真实标注。如表1所示,图像包含从良性到恶性的组织学分级,包括85幅训练图像(37幅良性和48幅恶性)和80幅测试图像(37幅良性和43幅恶性)。此外,测试图像被分为两个测试集:测试A(60张图像)和测试B(20张图像),在训练集中,良性样例和恶性样例的比例接近4∶5,比例较为均衡,然而，测试集B中良性样例只有4例,其余的80%皆为恶性样例。由于分化程度越高,腺体的形状和大小差异越大,这就导致了在测试集B上进行腺体分割难度要大于在测试集A上。切片图像大部分的尺寸为775像素×522像素,有少量图像的尺寸在(500～600)像素×(400～500)像素,结肠组织病理图像和专家标注如图4所示。其中第一行为原始的结肠组织病理切片图像,第二行为病理切片对应的专家标注。

如图4所示,结肠组织病理图像中背景由紫红色的组织液以及普通细胞核组成,其中，腺体是由一圈黑色的细胞核围绕着腺体基质和透明内腔形成的个体,其余区域为背景。可以观察到，健康腺体和良性腺瘤形态较为规整,为椭圆形,而恶性腺体的形状呈现无规律、不规则状态。在数据集中每例结肠组织病理图像上都会拥有几个至二十个不等的腺体,每个腺体都由病理专家进行了唯一标注,良性健康腺体对应的专家标注中背景被标注为0,其中的15个腺体分别用1～15中不重复的整数值进行唯一标注。

本文使用了与2015年MICCAI腺体分割挑战赛一致的评价指标,用F1值(F1 score)评价腺体检测的准确性,用单个腺体水平Dice系数评价单个腺体和相应专家标注间的重合度，用单个腺体水平Hausdorff距离来评价分割出的腺体和相应专家标注腹体间形状的相似性。

表1 Warwick-QU 数据集的组成Tab.1 Composition of the Warwick-QU dataset

图4 Warwick-QU 数据集的样例Fig.4 Samples of the Warwick-QU dataset

3.2 消融实验

为了验证设计的空间路径和注意力模块对于提高腺体分割精度和形状相似性上的效果,开展了消融实验,结果如表2所示。基础网络使用的是用残差块改进的U型卷积神经网络,其中，SP代表空间特征提取路径,基础网络+CA模块即带注意力机制的上下文特征提取路径。从表2中可以看到, 加入注意力模块CA对于提高腺体相似度效果明显,这从一定程度上说明本文使用的注意力模块有助于模型加强对于腺体形状的学习,改善结肠病理腺体分割中因为良性和恶性腺体形状差距大问题导致的模型泛化性差的问题。

在不使用注意力模块,而只使用双路径特征提取的结构时,可以看到空间路径对于腺体分割的Dice系数和Hausdorff距离提升效果在测试集A和测试集B上均比较明显,尤其是在测试集A上,但对测试集B上形状相似度的提升效果没有使用CA模块明显,这从一定程度上表明CA模块有助于提升恶性腺体的分割形状相似性,而空间特征提取路径SP对腺体分割的提升比较均衡,主要因为空间特征提取路径SP学习到的特征是高分辨率、大感受野，具有丰富空间信息的特征,这提高了模型对于不同尺寸腺体的分割能力,改善了腺体分割时边界分割的精度,同时对于腺体分割中存在腺体形状差异大和形状多变也非常有帮助。本文将两个路径结合起来的双路径特征提取算法,可以在对腺体分割上取得单独使用上下文路径或者空间特征提取路径的平衡,即在测试集A和测试集B上的F1 score、Dice、Hausdorff均取得较好的水平,这说明使用双路径特征提取的结肠病理分割算法在一定程度上解决了腺体形状多变、尺寸差异大的问题,对于良性、恶性不同分级的腺体都可以取得较高的分割精度，且与真实形状更为接近。

表2 结肠病理腺体分割模块消融实验结果Tab.2 Results of the ablation experiment of colonic pathological gland segmentation

图5是对模块消融实验的可视化展示,从整体角度看,本文提出的模块和设计对于良性腺体和恶性不同分化程度的腺体分割结果与基础网络相比提升均非常明显。局部具体来看,在图5中,使用基础网络对两例良性健康腺体图像进行分割得到的结果中腺体间的黏连、重叠问题比较严重,而在使用了空间特征提取路径SP和带有CA改进的上下文提取路径后,分割效果均得到了明显改善。而对于恶性腺体在使用了本文提出的模块和设计后,可以看到分割得到的腺体与专家标注更为接近。其中,对于恶性低分化的样例,使用带注意力模块的上下文提取路径后,与基础网络分割结果相比,在3个指标上均有明显提升,尤其是在形状的相似性上,对于恶性中分化的样例,使用空间路径改进后,得到的分割结果在检测准确率和形状相似性提高明显。

3.3 算法对比

为了进一步验证所设计模块的有效性和先进性,将本文算法分别与多个流行方法进行对比,包括:用于结肠病理图像分割的网络模型DCAN[13]、深度多通道监督网络[14]、单个结肠腺语义分割网络Res-UNet和神经常微分方程UNode模型[24]、结合手工特征与深度网络的腺体分割模型[25]，以及常用的医学图像分割网络FCN[26]、UNet[27]、UNet-Nested[28]、FusioNet[29]等9种算法,实验结果如表3和表4所示。

图5 腺体分割模块消融实验结果可视化展示Fig.5 Visualized results of the gland segmentation ablation experiment

从表3可以看出，在测试集A上，本文所提出的算法DPFF-CA的F1值0.877排名第一，Dice值0.886优于绝大部分算法，只略小于深度多通道监督网络[14]和UNode[24]，从表4可以看出，在测试集B上，本文算法DPFF-CA在F1值排名第三，仅比排名第一的深度多通道监督网络低0.014，Dice和Hausdorff排名第一。综合表3和表4中的数据来看,本文所提出的算法DPFF-CA综合性能较好,在测试集A、B上均可以取得较高的性能指标,表明提出的DPFF-CA算法对于腺体形态多变性特征的学习效果较好,可以在较高分割性能的同时分割出良性、恶性腺体,这也表明DPFF-CA算法在一定程度上解决了目前基于卷积神经网络进行腺体分割存在的难以对形态多变的恶性腺体进行较高准确度分割的问题。

表3 测试集A分割结果对比Tab.3 Comparison of segmentation results of test set A

表4 测试集B分割结果对比Tab.4 Comparison of segmentation results of test set B

图6是对比算法分割结果的可视化展示,本文算法DPFF-CA不仅对于良性的腺体可以取得较好的分割效果,而且对于不同分化水平的恶性腺体也可以取得较高的分割精度。从图6中对于恶性中-低分化图像的分割图中可以非常明显看出,本文算法DPFF-CA与其他方法相比和专家标注更为接近。在恶性高分化的两个样例中,对于第1列的恶性中分化样例,其他算法在对图像上半部分的腺体进行分割时，均存在较多的错误分割和过度分割的情况,而DPFF-CA虽然也存在一定程度的错误分割,但整体与专家标注更为接近。通过与其他方法进行可视化比较，总体来看，本文提出的DPFF-CA算法可以同时实现对于恶性腺体和良性腺体均较为准确的分割效果。

图6 结肠病理腺体分割对比实验结果可视化展示Fig.6 Visual experimental results of comparison of colonic pathological gland segmentation

4 结语

为了改进目前结肠组织病理图像算法因为腺体形状多变、良恶腺体形状差距大、腺体组织学结构复杂导致的模型泛化性较差、分割出的腺体与真实腺体形状相似度较低的问题,本文提出了一种基于双路径特征融合的结肠组织病理图像腺体分割网络,此网络分为空间特征提取路径和带注意力的上下文特征提取路径,通过对这两个路径提取到的特征深层融合,获得了丰富的空间信息和上下文语意信息,有效提高了模型对于腺体空间位置上的定位和边界轮廓的精确分割。实验结果表明,本文算法取得了比当前流行算法更好的腺体分割性能，其对于腺体的准确定位和对它边界轮廓的精确分割能力更强,同时具有较强的泛化性。然而,本文算法也有一定局限性,存在分割出的腺体形态与真实腺体相似度欠佳的问题，这一方面还有很大的改进空间和需求。目前，对于组织病理图像中腺体的分割亟需设计一个拥有较好的泛化性能，可以同时实现对良性、恶性腺体较高像素精度的分割方法。