APP下载

基于多尺度U型网络的图像分割方法

2022-05-10耿信哲

无线电工程 2022年5期
关键词:池化金字塔尺度

刘 鹏,雷 涛*,耿信哲,苏 健

(1.陕西科技大学 人工智能学院,陕西 西安 710021;2.陕西省人工智能联合重点实验室,陕西 西安 710021)

0 引言

眼底图像主要包括视盘、黄斑和血管等部分,眼底血管分割结果能为高血压、糖尿病等疾病提供重要的诊断依据[1],这使得它成为医学图像分析领域的热点研究内容[2]。眼底血管形态复杂,以往主要由医生对其进行手工标注分割,人工成本非常高,且受主观因素影响较大,还无法进行批量处理[3]。因此,运用人工智能技术来实现眼底血管分割具有重要的意义。

Fraz等[4]利用决策树和形态学变换的方法完成了血管分割。王娜等[5]将Gabor特征融入到全卷积网络中,分割精度有所提高,但血管存在断裂现象。Ronneberger等[6]以全卷积网络为基础,设计出U-Net模型,分为编码部分与解码部分,编码解码结构是完全对称的,利用通道拼接将语义信息重新定位获得了较好的结果。Wang等研究者[7]先用卷积网络提取血管特征,再用随机森林算法对眼底血管做分割。薛文渲等[8]在U-Net上加入注意力模型和残差结构,改善分割结果。吴晨玥等[9]结合密集连接与残差网络,对U-Net做出改进。这些算法都研究了眼底血管分割任务,但由于细小血管特征不突出、血管与背景特征差异不明显等因素,目前算法还存在着微小血管丢失、断裂等问题。

本文针对眼底图像血管分割存在的问题,提出了多尺度U型网络。该网络主要有两方面改进:一方面是引入金字塔池化模块,对U-Net编码器端提取的特征进行多尺度的融合,对不同尺度的血管特征信息充分利用;另一方面,将卷积操作后的激活函数用Leaky ReLU替换,使负值特征能够向后传递,利用负值特征改善细小血管的分割精度。本文网络利用不同感受野的细小血管特征和负值特征,将浅层信息与深层信息有效融合,提高网络对细小血管的分割能力。

1 U-Net模型、金字塔池化模型与Leaky ReLU函数模型

1.1 U-Net模型

经典卷积网络结构在多次卷积池化后,得出的特征图损失了空间位置信息,使目标定位精度受到影响[10-11]。研究人员用全卷积网络的思想,对网络进行了改进,设计了U型网络。U-Net是全卷积网络的变形结构,由编码器和解码器2块构成,分别对应为收缩路径与扩张路径,收缩路径有4个池化层,扩张路径有4个上采样层[12]。U-Net模型如图1所示,编码器部分由2个3×3的卷积核加上激活函数、下采样层组合而成。2个3×3卷积核用来提取特征,激活函数用ReLU对特征进行非线性映射,下采样层将特征图缩小为原来的一半。解码器部分由反卷积操作、通道维的拼接操作和2次3×3卷积操作组成。反卷积操作将特征通道减半,尺寸扩大为2倍,然后将对应下采样的特征图拼接到通道维度上,再用2个3×3卷积提取特征。最后,用1×1卷积得到1个2层的特征图,对应分割结果。高层特征包含语义信息,可以对像素分类,低层特征主要是边缘细节、空间位置信息,使得目标定位准确[13]。U-Net网络将图像的低层特征与高层特征结合互补,使得分割精度得到提高。

图1 U-Net模型Fig.1 U-Net model

1.2 金字塔池化模型

金字塔池化能够把局部特征变换到不同尺度空间再进行特征融合,池化后能产生与输入相同大小的特征图[14],如图2所示。利用4种划分方式对特征图做池化,对应得到1×1,2×2,3×3,6×6四种尺度的特征图。用1×1卷积改变通道维数,使它们的维数调整为输入的1/4,再经上采样使特征图与输入特征图尺寸一致,最后将它们在通道维上前后拼接,完成金字塔池化。该池化模型对不同感受野下的特征做了有效聚合,图2中的4种颜色特征分别代表着不同尺度下的语义信息,使网络能够提取到不同尺度的特征,对提升算法预测精度非常有用。不同感受野下的特征获得了多层次的全局语义信息,增强了网络对于全局信息的捕获能力,能有效改善眼底血管分割结果。

图2 金字塔池化模块Fig.2 Pyramid pooling module

1.3 Leaky ReLU激活函数

Leaky ReLU也被称为带泄露的ReLU函数,该激活函数改善了ReLU函数在训练时比较脆弱的缺点。当输入x<0时,该函数给所有负值赋予一个非零斜率a,由此在神经元未激活时也可以有一个非零的梯度对参数做更新,避免一直不被激活。Leaky ReLU定义如公式所示,函数图像如图3所示。

图3 Leaky ReLU函数Fig.3 Leaky ReLU function

式中,a是一个很小的常数,通常取值为0.01。

2 多尺度特征U型网络

2.1 网络框架设计

U-Net网络在医学数据集上表现出色,大幅减少了过拟合现象,但是对眼底微细血管的分割效果不好,细节丢失严重。由于U-Net获取多尺度特征是通过特征维度拼接实现的,因此其尺度有一定的局限性,本文将金字塔池化与U-Net跳跃连接结合起来,实现多种尺度特征的提取与融合。运用金字塔池化,将卷积得到的特征图经过4种尺度的池化操作得到4种尺度的特征图,用1×1卷积将通道维度变为原始通道数的1/4,再上采样到原特征图的大小,在通道维上进行拼接,将得到的特征图与解码端的特征图做跳跃拼接,实现多尺度的特征融合,在多个尺度上提取血管特征,提高对微细血管的分割能力。同时,为了利用负值特征的信息增加微细血管的分割效果,在卷积操作中使用Leaky ReLU函数进行激活操作,改变原来激活函数在负值特征上的缺失。本文设计的多尺度U型网络框架如图4所示。

图4 多尺度特征U型网络框架Fig.4 U-shaped network framework with multi-scale features

2.2 网络结构分析

U-Net网络通过4次通道维拼接将特征融入到解码器端,这一方式对图像语义信息的定位起到了作用,但仍有局限性。在眼底血管分割任务中,简单的下采样过程会产生某些特征丢失,这样的丢失对微细血管的分割影响更大。改进的网络对特征图做金字塔池化后再进行跳跃连接,每个金字塔池化都是4个尺度特征的融合,对不同尺度的特征都能够充分利用,对细节信息的丢失做了有效的补充。同时,Leaky ReLU函数在进行激活操作时,对负值特征的利用能够推动分割精度的提高。

3 实验结果与分析

3.1 数据集

DRIVE数据集来源于糖尿病筛查项目,该项目针对糖尿病患者的视网膜图像进行采集与研究[15]。针对此数据集,学者们可以对比不同算法的分割效果,方便不同国家的研究人员在一个标准下讨论交流[16]。数据集部分图像原图和标签如图5和图6所示。

图5 数据集部分图像Fig.5 Sample images of the dataset

图6 数据集部分标签Fig.6 Sample labels of the dataset

该项目选择了400名糖尿病患者,以他们的视网膜眼底图为原图,先随机迭出40幅作为DRIVE数据集的图像,包括33幅正常的视网膜图像与7幅糖尿病引发早期视网膜病变的图像[17]。每幅图像为8位的三通道图像,统一为jpg格式。数据集中已做好划分,用20幅来训练,其余20幅用来测试。每一幅图都有一张对应的由医生完成的人工分割结果,作为网络的训练标签。该数据集隐去了病人的相关信息,对病人进行隐私保护[18]。

3.2 实验设置与数据增强

实验硬件为Intel(R) Core i7-8700 3.20 GHz处理器、RTX2080Ti显卡,在64位Windows10系统CUDA8.0平台上进行。算法在PyTorch框架上完成,用Python3.7来实现。本实验网络的初始学习率为1×10-4,并在每经过6次循环后,学习率衰减0.2,反向传播用随机梯度下降的方式更新权重。

DRIVE数据集的数据量较小,不适合直接利用网络进行训练,需要对它做数据增强。本文通过对图像进行0.9~1.1倍的缩放、顺时针20°旋转、逆时针20°旋转、5~15个像素的平移、翻转(水平、垂直方向)等方式进行数据增强,经过数据增强后数据量达到原来的70倍。

3.3 评价指标

血管像素与背景像素的4种情况如表1所示。

表1 血管像素与背景像素的4种情况Tab.1 Four cases of vessel pixel and background pixel

算法对眼底图像做分割,即给各像素赋上血管与非血管2类标签。为了定量比较分割结果,本文采用精确度、特异性和敏感性3个指标客观评价算法的性能。精确度是指正确分类为血管与非血管的像素占图像总像素的比例;特异性是指正确分为非血管占实际非血管像素的比例;敏感性是指正确分为血管占实际血管像素的比例。各指标的计算公式如表2所示。

表2 评价指标Tab.2 Evaluation index

3.4 结果分析

视网膜血管分割结果如图7所示。通过在DRIVE数据集上的对比实验可以看出,采用U-Net网络,分割结果图上可见很多毛细血管的分割断裂区域,还存在较多没有分割出来的区域,说明U-Net能够对眼底图像中的大部分血管完成分割,但毛细血管位置的分割效果不理想。采用多尺度U型网络后,在未改变激活函数,依然用ReLU函数时,分割指标有所提高,但分割结果存在少分的现象,断裂情况也比较严重。采用多尺度U型网络加Leaky ReLU函数时,利用不同尺度的池化操作得到了不同尺度的特征图,并在通道维做了特征融合,对不同尺度的特征做了较为充分的利用,同时由于使用了Leaky ReLU函数进行激活,利用了负值特征,使得实验指标提升较多。分割结果更加接近医生手动分割的标签图,毛细血管分割精度提升较多,断裂区域有了明显的改善,误分区域有效减少,显示出本文算法对眼底血管分割任务的意义。各评价指标的对比如图8所示。

(a) 原图

(b) 标签

(c) U-Net分割结果

(d) 多尺度U型网络+ReLU分割结果

(e) 多尺度U型网络+Leaky ReLU分割结果

图8 视网膜血管分割指标对比Fig.8 Comparison of retinal vessels segmentation indexes

4 结束语

眼底血管分割对疾病的早期诊断有重要的临床价值,使用分割算法完成这一过程能有效地减少医生的工作时间,提高诊断效率。本文针对眼底图像血管丰富、U-Net网络不能很好地实现对细小血管分割的问题,提出了一种多尺度U型网络。该网络运用金字塔池化将不同尺度的特征聚合在一起,运用Leaky ReLU函数将负值特征向后传递,在对特征利用更充分的基础上,使得网络对细小血管的分割有了明显的改善。在后续的工作中,计划用多尺度U型网络对带病灶的眼底图像展开研究。

猜你喜欢

池化金字塔尺度
基于高斯函数的池化算法
“金字塔”
卷积神经网络中的自适应加权池化
论社会进步的评价尺度
Great Vacation Places
用于手写汉字识别的文本分割方法
金字塔是用金子造的吗
宇宙的尺度
9
室外雕塑的尺度