APP下载

结合空洞卷积的多尺度脑肿瘤分割算法

2021-10-28颜丙宝曹秒李梦媛

关键词:空洞特征提取尺度

颜丙宝,曹秒,李梦媛

(长春理工大学 生命科学技术学院,长春 130022)

脑胶质瘤是脑组织中异常生长的细胞[1],被认为是最常见的原发性恶性脑肿瘤。2016年,全球共确诊神经系统肿瘤约33万例,死亡22.7万例[2]。核磁共振成像(MRI)对软组织具有高成像分辨率的优点,可以更清晰地显示脑肿瘤的细节特征,已经成为脑肿瘤检测的标准方法[3]。

目前,临床上主要依靠专家对脑肿瘤的手动分割,这会耗费大量时间,并且对医生的专业经验要求较高[4],所以脑肿瘤的自动分割方法成为必然趋势。Pereira等人[5]使用3×3卷积核和块训练的方法进行网络的训练,用于脑肿瘤的分割,实验证明在相同感受野的情况下,小卷积核可以减少网络的参数。Havaei M[6]同时使用局部信息和全局信息进行深度神经网络的训练。U-Net[7]网络的编解码结构提高了全卷积神经网络对生物医学图像分割的准确率。刘璐[8]通过数据增强方法提高模型的泛化能力。

本文提出了一种结合空洞卷积的多尺度特征提取的脑肿瘤图像自动分割算法(Automatic Segmentation of Brain Tumor Image Based on Multiscale Feature Extraction Combined with Dilate Con‐volution,MD-unet),采用端到端的训练方法,解决了块训练方式忽略图像空间信息的问题,并选择T1ce、T2和flair三种模态进行训练。MD-unet网络对完整肿瘤的DSC系数为0.86,优于U-Net方法。

1 多尺度特征提取模块

全卷积神经网络[9]主要包含卷积层、激活函数、池化层、连接层和反卷积层。通过卷积层提取特征;激活函数的作用是引入非线性因素;池化层通过降低特征图的尺寸来增大感受野,提高单个像素包含的信息;反卷积层用来恢复特征图的分辨率;连接层可以将下采样过程获得信息传递到上采样过程,提高浅层信息的利用率。

1.1 空洞卷积

池化操作是2×2卷积核,步长为2的卷积过程,该过程可以通过降低分辨率的方法获得较大的感受野。而空洞卷积可以通过调整膨胀率(r)的值来控制感受野的大小,不改变特征图的分辨率。空洞卷积的计算如下:

式中,yi是空洞卷积输出;r为空洞卷积的膨胀率;k代表的是卷积的权重。当r=1时,感受野为3×3,是标准卷积;当r=2时,感受野达到了5×5;当r=3时,该卷积核的感受野达到了7×7。

1.2 多尺度特征提取模块

通过1.1节可知,空洞卷积的感受野随着r的增长呈指数增加,如果使用空洞卷积进行特征提取,相同数量的参数可以获得更大的感受野。本文设计了如图1所示的多尺度特征提取模块。卷积后的特征图经过三次不同感受野的空洞卷积(空洞卷积的膨胀率分别为1,3,5),将每次空洞卷积获得特征图堆叠在一个列表中,然后通过一次卷积操作进行特征融合。MD模块在设计上充分利用了每次空洞卷积的结果,又达到了多尺度提取特征的要求。

图1 多尺度特征提取模块

2 多尺度特征提取的全卷积神经网络

图2所示的是MD-unet,左侧是下采样过程,每个特征提取层包含两个3×3标准卷积和一个MD模块,右侧表示的是上采样过程。卷积操作1_2表示的是网络中第一层的第二次3×3卷积核进行特征提取的过程,其中64代表的是该操作的卷积核的数量;MD模块用于提取不同感受野的特征;通过池化操作后,特征图的分辨率会降低一半,通道数增加一倍;上采样过程采用双线性插值的方法来恢复图像的分辨率,由于池化操作会丢失图像的一些像素点,所以在上采样后,通过copy and crop层与下采样过程中相对应的特征图进行拼接,然后经过3×3卷积操作进行特征融合,提高了浅层特征的利用率;最终经过一个1×1的卷积层输出,分类函数采用的是softmax函数。MD-unet采用非线性修正函数(ReLU)作为激活函数,并且对每次卷积结果进行归一化操作,解决了梯度消失的问题。

图2 多尺度特征提取的全卷积神经网络

在网络的训练过程中,真值标签大部分为背景区域,容易引起类别不平衡问题。本文首先对labels进行边缘提取,将边缘作为系数与交叉熵损失函数相乘,得到新的损失函数L,提高损失函数中肿瘤区域的权重,有利于收敛。

式中,li代表的是真值标签;EG(x,y)代表真值标签的边缘特征;L(x,y)代表交叉熵损失函数。通过提高边缘权重可以有效解决类别不平衡的问题。

3 MD-unet脑肿瘤分割及结果评价

本文使用的深度学习框架为google开发的tensorflow框架。使用Adam optimizer优化器对网络进行优化。网络参数设置如表1所示,学习率设置为0.000 1,训练和测试的最小批为14,训练次数为80。

表1 网络参数设置

3.1 MD-unet脑肿瘤分割流程

如图3所示为本文工作的流程图。首先对数据进行预处理操作,该过程包括偏场矫正和数据归一化操作,预处理过程采用python第三方库相应的函数进行,然后对其进行数据增强操作,最后进行网络的训练和验证。

图3 本文工作流程图

3.2 脑肿瘤数据库

MD-unet网络在BraTS’17数据集进行了有效性验证。该数据集是由医学图像计算和计算机辅助干预会议举办的多模态脑肿瘤分割挑战赛提供,共包含285个脑肿瘤患者的病例,其中高级别胶质瘤(HGG)210例,低级别胶质瘤(LGG)75例。专家手工分割真值标签包含3种labels:1代表坏死区和非增强区,2代表的是水肿区,4代表的是增强区,0代表的是背景区域。

实验将数据集分为训练集和测试集。训练集用作网络的训练,包含160幅HGG和55幅LGG。测试集用作网络分割能力的评估。

3.3 MD-unet分割结果及评价

本文采用的评价指标是Dice相似性系数(Dice Similarity Cofficient,DSC)。DSC通过计算分割结果与真值标签之间的重合度来反映分割结果与真值标签的相似程度,DSC的取值范围是[0,1],取值越接近1,代表分割结果越准确,定义如下:

其中,TP、FP、FN代表预测结果中的真阳性、假阳性、假阴性。

表2是两种方法对脑肿瘤不同区域的分割结果的DSC数值,第一行代表的是U-Net网络的分割结果,第二行是本文算法分割的结果。从表2可以看出,MD-unet网络在完整肿瘤、核心区、增强区DSC系数比U-Net网络分别高3%、12%、10%。由于核心区与增强区的灰度值与周围组织相近,所以导致分割精度较低,但是相对于U-Net网络,MD-unet模块表现出较好的特征提取能力。

表2 MD-unet和U-net网络对不同区域的分割结果的平均DSC系数

图4是MD-unet网络对LGG的分割结果,图中a代表的是Flair模态,b为T1ce模态,c代表的是T2模态,d为专家手工分割的真值标签,e是本文算法的预测结果。从图4可以看出,MD-unet可以完整地分割出肿瘤区域并保留了细节特征。从e和a看到肿瘤区域的右下角是有一个弯钩状的区域,虽然在真值标签中没有体现,但是本文算法也准确地分割出来。

图4 本文算法对LGG的分割

图5为本文算法对HGG的分割,HGG的边界比较模糊,伴随有水肿区域,对周围组织的浸润比较严重等因素的存在导致HGG的分割一直是一个难题。但是本文算法可以清晰完整地分割出HGG的边界,并且对肿瘤的一些较小区域也进行了准确的识别。

图5 本文算法对HGG的分割

4 结论

本文提出了一种结合空洞卷积的多尺度特征提取的脑肿瘤自动分割方法。其编解码结构和连接层的使用,可以充分的利用浅层信息。通过多尺度特征提取模块实现了多感受野的特征提取,输出结果不仅包含全局信息,也包含了3×3感受野的局部特征。通过在BraTS’17数据库的验证,MD-unet网络在三种不同位置的分割结果均优于U-Net网络。

猜你喜欢

空洞特征提取尺度
同步定位与建图特征提取和匹配算法研究
环境史衰败论叙事的正误及其评判尺度
番茄出现空洞果的原因及防治措施
如何避免想象作文空洞无“精神”
基于MED—MOMEDA的风电齿轮箱复合故障特征提取研究
基于曲率局部二值模式的深度图像手势特征提取
空洞的眼神
以长时间尺度看世界
9
班有活宝