程立英, 王晓伟, 刘祖琛, 汪 浩, 覃文军

(1. 沈阳师范大学 物理科学与技术学院, 沈阳 110034;2. 东北大学 医学影像智能计算教育部重点实验室, 沈阳 110189)

0 引 言

肺气管是重要的生物标志,基于肺部CT图像的肺气管分割目前仍然没有很好的解决方案。肺气管树的三维图像的建立,不仅可以作为肺气管相关疾病诊断的依据,还可以定位肺气管疾病所在位置,方便医生检查和手术,以避免其他部位不必要的损伤。低级气管分支的管壁完整且分界线清晰,所以比较容易分割,但随着气管的不断衍生,气管壁逐渐变薄,气管和肺实质之间的区别变小,分割时容易出现泄漏现象[1-2]。区域生长方法是肺气管分割领域中的代表性方法,它是按照事先定义的某种生长准则将像素或区域聚合成一个连通的区域[3]。Fabijanska[4]提出了一种二次区域生长法来减少细气管的泄漏。Ginneken等[5]提出基于多阈值区域生长法,为主气管和不同阶数支气管设定不同的生长规则,使区域生长时能够适用于不同位置的气管树。裴宏亮等[6]提出一种改进的区域生长算法,使用直方图均衡化原理对区域生长算法进行改进,突出肺气管壁边界信息进而提取肺气管。龚华尧[7]采用基于迟滞阈值的区域生长法分割出最佳阈值下的肺气管树。除区域生长法之外,基于规则的肺气管分割方法还包括形态学方法。Aykac等[8]提出形态学的灰度重建算法,使用四邻域低通滤波器消除噪声,在二维轴向切片上采取圆形结构元素来获取肺气管的潜在区域,依据区域的连贯性进行三维肺气管树的重建。但传统方法只能够分割大致的支气管,对于部分细支气管不能很好地识别[2]。

基于深度学习的肺气管分割方法尤其是基于卷积神经网络(convolutional neural network, CNN)的肺气管分割方法是近年来的研究重点,已有大量研究将深度神经网络用于CT图像的肺气管分割任务中。Jin等[9]首先训练3D全卷积网络提取肺气管,然后基于图的方法进行优化。Zhao等[10]训练了3D和2D神经网络分别用于在水平和垂直方向检测肺气管,然后提出了基于线性规划的跟踪方法,以得到2类检测结果的最佳结合方式。张琳[11]提出一种基于自监督迁移学习的肺气管分割算法,解决了气管标注图像中前景和背景体素数量不平衡的问题。王继伟等[12]提出一种基于改进对抗生成网络模型的肺气管图像分割方法,无需人工交互即可获得形态学结构复杂(肺气管)的三维目标。李康[13]基于深度学习方法解决了肺气管不同分叉点的检测难度不同的问题。程立英等[14]提出了基于U-net神经网络的肺部 CT 图像的肺实质分割方法。上述方法虽然在肺气管分割上有了突破性进展,但对于细小气管的分割精度仍有待提高。

本文研究了深度学习算法在肺部CT图像中肺气管分割的应用效果,分别对U-net网络及其优化后的变体Unet++、Attention-Unet等网络模型进行了肺气管分割实验。实验数据表明,基于深度学习的Attention-Unet网络不仅能够提高肺气管分割的速度和精度,并有效防止泄漏,从而更有助于提升肺部疾病诊断的准确性。

1 模型介绍

1.1 U-net网络模型

2015年,U型网络结构在图像分割领域大放异彩[15],U-net被大量地应用在分割领域,它是在全卷积网络(fully convolutional networks,FCN)的基础上构建的,解决了FCN无法存储和确认上下文的位置信息的问题。U-net结构最早在2006年被Hinton提出,encoder-decoder结构具有深远意义,其基本原理是对输入图像进行下采样编码来将之前的图像变成更小的特征,再经过解码还原之前输入的图像。据此,只需要存储相关特征和解码器就可以存储一幅图片。U-net的主要创新点在于将低级特征图与后面的高级特征图进行了融合,并且结构的对称性使得特征融合更为彻底,使得图片信息损失较少。下采样低分辨率用于物体识别,上采样高分辨率用于分割定位,再通过融合操作填补信息。

1.2 基于U-net优化的网络模型

1.2.1 Unet++网络分割算法

Unet++[16]在U-net的基础上对skip connection进行改进,避免U-net中的encoder的浅层特征与decoder的深层特征结合产生语义鸿沟(semantic gap),从而产生高度灵活的特征融合方案。如图1所示,Unet++通过不同深度的U-net的有效集成来缓解未知的网络深度。更改后的Unet++具有以下特点。首先,U-net可以部分共享一个编码器,并且可以通过深度监督(deep supervision)同时进行共同学习。这种设计不仅能够提高分割性能,还可以简化模型。其次,Unet++不受跳接限制,重新设计的跳接按照不同比例将图像特征与对应的解码器中的节点进行特征融合。

图1 Unet++网络结构Fig.1 Unet++ architecture

1.2.2 Attention-Unet网络分割算法

Attention-Unet在U-net中引入注意力机制,在对编码器每个分辨率上的特征与解码器中对应特征进行拼接之前,使用了一个注意力模块,重新调整了编码器的输出特征。该模块生成一个门控信号,用来控制不同空间位置处特征的重要性,如图2中Attention Gate所示。Attention-Unet和U-net的不同在于解码部分,编码提取部分先进行了Attention Gate再进行了decoder。Attention Gate和多阶段CNNs相比,能够减少对目标学习无关部分的学习,同时增加对目标学习有关部分的学习,Attention Gate需要训练的模型少且不用额外的参数,可以抑制不相关背景的响应,节省对感兴趣区域的裁剪。而soft attention的使用,对于无关区域响应的抑制和减少冗余的跳转连接有较好的作用。将Attention Gate合并到U-net架构中,以突出通过跳转连接的显著特征skip connection,从而消除跳转连接中不相关和有噪声的响应带来的问题。

图2 Attention-Unet网络架构Fig.2 Attention-Unet architecture

2 总体分割过程

结合肺气管树的特点,本文在Attention-Unet的基础上对网络进行优化,设计了一个针对肺部CT图像的肺气管分割网络模型,总体结构如图3所示。在肺部CT图像预处理方面,本文采用了一种高效简单的肺部CT图像预处理方案。通过形态学处理和平滑操作,降低噪声对肺部CT图像中感兴趣区域的影响,使分割的肺部区域中包含完整的肺纹理,接着初步提取出肺实质组织的轮廓,为后续的肺气管分割提供有效的作用域,以减小冗余数据的干扰。在肺气管分割方面,将预训练的结果输入到Attention-Unet中,模型Attention Gate可以抑制模型学习与任务无关的部分,同时增强学习与任务相关的特征,从而有效地提取气管结构。

图3 肺气管分割流程图Fig.3 Flow chart of pulmonary trachea segmentation

2.1 肺部CT图像的预处理

原始的肺部CT图像可能受患者的移动或者CT扫描时环境干扰等影响,导致CT图像中存在着多种不同的噪声。为了降低噪声的干扰,增强肺实质和周围组织之间的差异,保证提取的肺实质数据的真实性和可靠性,在对肺部CT图像进行分割等操作前,需要对其进行预处理操作。

本文采用形态学运算和平滑操作对图像进行预处理。形态学的基本思想是利用一种特殊的结构元来测量或提取输入图像中相应的形状或特征,以便进一步进行图像分析和目标识别。图像膨胀是形态学处理的常用方法,其原理是使用一个自定义的结构元素,在待处理的二值图像上进行类似于“滤波”的滑动操作,然后将二值图像对应的像素点与结构元素的像素进行对比,得到的并集为膨胀后的图像像素,图像区域的边缘可能会变得平滑,区域的像素将会增加,不相连的部分可能会连接起来,以便后续处理。

2.2 肺实质提取与肺气管的分割

由于肺实质区域和周围区域存在较明显的CT值差异,本文先对肺实质区域进行提取,以减少后续工作量,提高分割精度与效率(图4)。

图4 基于U-net的肺实质分割流程图Fig.4 Flow chart of pulmonary parenchymal segmentation based on U-net

将提取出肺实质的数据输入Attention-Unet模型中进行肺气管的分割,Attention-Unet的Attention Gate内部结构如图5所示,其中g是解码部分的矩阵,xl是编码(左边)的矩阵,x经过乘以系数(完成Attention)和g一起concat,进入下一层解码。这里Resampler重采样器把特征图重采样到原来的大小。数学公式:

图5 Attention Gate内部结构图Fig.5 Attention Gate internal structure diagram

3 实验结果和分析

对于模型的训练,使用Adma作为优化器,并使用默认参数在100epoch内训练U-net,Unet++和Attention-Unet。本文神经网络算法主要采用Python 3.6语言编程,PyCharm Community Edition 2020.2.3x64平台下运行,实验配置电脑为64位Windows 10操作系统,处理器为Intel(R) Core(TM) i5-8250U CPU@1.60GHz 1.80GHz。

3.1 实验数据及评价指标

本文使用的实验数据来自EXACT09网站(http:∥image.diku.dk/)用于竞赛的肺部CT图像序列,这些肺部CT图像序列来自世界各地不同团队的扫描仪。CT图像序列的文件格式均为DICOM,单张切片的厚度在0.6～1.25 mm,单个图像序列厚度在260～670层左右,每张切片的大小都是 512×512 px。数据集按照8∶2划分为训练集与测试集,经5倍交叉验证得到实验结果。

本文选取Miou,Dice和Aver_hd 3个指标进行评价:

1) Miou为平均交并比: 计算真实值和预测值2个集合之间交集和并集的比例。

2) Dice为相似系数: 2倍的真实值和预测值相交的面积占总面积的比值。

3) Aver_hd为豪斯多夫距离: 主要是用来度量边界的分割准确度,能够度量2个点集间的最大不匹配程度。

3.2 肺实质分割实验结果

为比较不同算法对肺实质分割的效果,本文将U-net,Unet++和Attention-Unet的结果进行比较。分割示例图分别如图6至图8所示。

inputpredictmask

inputpredictmask

inputpredictmask

从表1的结果看,U-net,Attention-Unet能够较好地分割肺实质且加了注意力机制的U-net网络分割效果更好,但Unet++由于存在边缘识别能力较弱的问题,在没有预处理的情况下对肺实质的分割效果不够理想。

表1 肺实质分割结果评价表

3.3 肺气管分割实验结果

Unet++的分割效果如图9所示,Attention-Unet的分割效果如图10所示,肺气管分割评价情况见表2,对比结果可以明显看出,由于肺部气管分割区域较小等原因,Unet++网络存在明显的漏分割现象,结果和真实数据之间仍然有一些差距,网络仍有待改进。但提出的Attention-Unet网络用于肺气管分割效果较好,较为细小的血管也可以完整分割出来,解决了支气管泄漏问题,分割效果良好。

表2 肺气管分割结果评价表

inputpredictmask

inputpredictmask

4 结 论

本文从分析图像分割技术出发,通过对U-net网络进行改进, 提出了一种基于Attention-Unet的肺部CT图像肺气管分割方法,并将分割结果与U-net及其变体进行对比分析。训练后的模型能够直接对原始图像进行自动分割,Attention-Unet网络由于结构的优化更新,加入了注意力机制,提高了模型对数据的适应性,在相同的数据集测试下相对于U-net和Unet++表现出较好的效果。此算法简单、有效地提取出完整的肺支气管,解决了支气管泄漏的问题,具有较好的鲁棒性。