吕念祖，李小霞，2，肖 娟，周颖玥，2

1(西南科技大学 信息工程学院，四川 绵阳 621010)2(特殊环境机器人技术四川省重点实验室，四川 绵阳 621010)

E-mail ：664368504@qq.com

1 引 言

眼底图像是表征视网膜健康与否的重要方式，研究表明，视网膜血管形变程度与青光眼、白内障、糖尿病性视网膜病变等眼科疾病严重程度有着密不可分的联系.通过检测视网膜血管的变化，可以有效地预防和诊断眼科疾病.人工观察视网膜血管的变化，不仅耗时耗力，而且受人为主观因素影响较大.因此，为了辅助医生快速诊断相关疾病，需要利用图像处理技术对眼底图像进行精确分割.然而，由于以下四个因素使得极小的血管很难被分割[1]：1)视网膜血管的形状和宽度各不相同，不能以简单的图案表示；2)不同眼底图像的分辨率、对比度和局部强度的变化很大；3)可能会受光盘、病变区域等其他结构的影响；4)具有低对比度和噪声的眼底图像；导致这项分割任务极具挑战性.因此眼底视网膜血管分割一直是国内外研究的热点和难点.

近年来，国内外研究者提出了很多算法用于解决眼底图像分割任务，大致可以分为以下5类：基于血管跟踪、匹配滤波、形态学处理、形变模型和基于机器学习的方法[2].基于血管跟踪的方法可以得到血管的局部信息，但是容易受血管分支或交叉点影响，导致跟踪目标丢失.Zhang等人[3]提出了基于贝叶斯理论和多尺度线检测的血管跟踪算法，把正常管点、血管交叉点和分支点都进行了考虑，提高了分割精度.Odstrcilik等人[4]将最小阈值误差和匹配滤波相结合，该方法简单有效.2014年Karthika等人[5]提出曲波变换和多结构元素形态学重构来分割血管，提高了视网膜血管分割精度.基于形变模型的方法用连续的曲线来描述血管边界，Al-Diri等人[6]提出了一种新的视网膜血管分割和测量算法，该算法在保持血管宽度一致性的前提下，利用一种双生带(Ribbon of Twins，RoT)的活动轮廓模型来有效提取视网膜血管.基于机器学习的方法将血管像素和背景像素进行二分类，主要分为无监督和有监督算法，无监督算法不需要对像素点进行标记，监督算法需要把像素点标记为血管还是背景.Salazar-Gonzalez等人[7]使用自适应直方图均衡化以及鲁棒距离变换对图像进行预处理，然后结合矢量流的图割算法进行血管分割.Wang等人[8]提出一种有监督的方法来解决视网膜血管分割问题，该方法将卷积神经网络和随机森林相结合，提高了分割性能.Ronneberger[9]等人提出U型网络用于细胞分割，然而对视网膜血管分割任务而言，仍无法很好地分割细小的血管.虽然上述算法提高了视网膜血管分割的精度，但是分割性能仍有待提高.

因此，针对现有视网膜血管分割算法存在的挑战和不足，本文提出了一种基于注意力条件生成对抗网络的视网膜血管分割方法.首先，设计本文提出的高低层特征注意力模块，同时作用于高层和低层特征图，使网络关注高层语义特征和低层细节特征的融合，剔除不相关的特征和学习相关的特征，可更好地分割细小的视网膜血管；其次，本文使用条件生成式框架对视网膜血管进行分割，其中，将本文设计的注意力模块和U型网络结合，作为条件生成对抗网络的生成器，以残差网络为判别器，通过生成器和判别器两者之间的对抗训练，进一步提高生成器的分割能力和判别器的判别能力；最后，去除生成器中的BN层，避免小批次训练分割网络时BN层带来批统计量不稳定的问题.本文还对原始眼底图像进行对比度受限自适应直方图均衡化、伽马矫正等预处理，减轻光照、前景和背景对比度低等因素的影响，缓解模型训练压力.

2 方 法

2.1 注意力条件生成对抗网络

生成对抗网络(Generative Adversarial Networks，GAN)[10]来自博弈论思想，由生成器模型(G)和判别器(D)模型两部分组成.其中，生成器通过输入随机噪声信号生成图片；判别器负责判断输入图片是来自生成器生成的图片还是真实图片，两者不断迭代优化，直到判别器无法判别输入图片的来源.GAN目标函数为：

Ez～pz(z)[log(1-D(G(z)))]

(1)

其中E表示期望，z表示随机噪声，pz(z)表示z服从高斯分布，x表示真实数据，x～pdata(x)表示x服从真实数据分布.

图1 注意力条件生成对抗网络框架Fig.1 Attention condition generation adversarial network framework

然而生成对抗网络过于自由，无法进行约束；条件生成对抗网络(Conditional Generative Adversarial Nets，CGAN)则是以某个额外信息作为条件，对生成对抗网络进行约束，指导数据生成.额外信息可以是图像类别标签或分割标签.本文方法的总体框架如图1所示，以预处理后眼底图像作为生成器的输入，并输出分割结果；预处理后眼底图像和真实标签图像通道相连作为真实样本，与生成器输出图像通道相连作为假样本，判别器对真假样本进行判别.条件生成对抗网络的目标函数为：

LCGAN=Εx，y～pdata(x，y)[log(D(x，y))]+

Εx～pdata(x)[log(1-D(x，G(x)))]

(2)

式中x代表彩色眼底图像，y代表彩色眼底图像对应的像素级标签，D(x，y)表示判别器预测(x，y)为真实样本的概率，D(x，G(x))表示判别器预测(x，G(x))为假样本的概率.生成器的目标在于最小化其损失函数，从而精确的分割出血管，判别器的目标在于最大化其损失函数，使其无法对生成器输出进行判别，因此CGAN对下式函数进行优化：

Ex～pdata(x)[log(1-D(x，G(x)))]]]

(3)

为了更好地监督生成器，提高血管分割精度，在生成器输出添加交叉熵损失函数：

Gseg=Ex，y～pdata(x，y)(-ylog(G(x))-(1-y)log(1-G(x)))

(4)

因此最终的目标函数为：Gloss=G*+αGseg，其中α用于平衡两个目标函数，在本文方法中取α=7.

2.2 注意力生成器与判别器

在U型网络中，高分辨率的特征图拥有更多的细节特征，有助于网络获取前景位置信息；低分辨率的特征图拥有更多的语义特征，有助于网络获取前景的类别信息.U型网络解码器通过上采样的方式恢复图像细节，但是这样会导致边缘模糊和位置细节信息丢失；因此U型网络以直接跳连接的方式，将低层特征和高层特征进行通道联合处理，有助于补充位置细节特征，提高分割精度.然而低层特征图缺乏语义信息，包含大量无用的背景信息，高层特征图经上采样操作后，包含了很多无用的特征.为了解决这一问题，本文设计了一个注意力模块：即将高低层特征图相加，增加图像特征图丰富的细节信息和语义信息，用于指导网络选择有助于视网膜血管分割的特征；并将加权后的特征通过跳连接的方式进行整合，达到抑制低层特征图和高层特征图的无用特征的目的，从而提高视网膜血管分割性能.

图2 高低层(HL)注意力模块Fig.2 High-Low level(HL)attention module

图2所示为本文设计的注意力模块.其中Lf为低层特征图，Hf为高层特征图，conv1×1表示1×1的卷积.首先，将Lf做1×1的卷积操作，得到大小不变、通道数为C的特征图，同时Hf进行与Lf一样的处理，将处理后的Hf和Lf的特征图相加，进行特征融合，再经过relu函数得到中间特征图；然后分成两个路径，分别经过1×1的卷积和sigmoid函数，学习出概率图，再与对应的特征图相乘，重要的像素点给予更高的权重，不相关的像素点给予较小的权重，从而抑制不相关特征的同时增强有用特征；最后将两个路径获得的特征图进行通道拼接.低层特征图注意力概率图可以由下列公式进行描述：

V=σ1[WlLf+bl+WhHf+bh]

(5)

Al=σ2[Wl1V+bl1]

(6)

式中σ1是relu函数，σ2是sigmoid函数，Wl、Wh、Wl1是1×1卷积核参数，bl、bh、bl1是偏置.高层特征图注意力概率图公式与上述公式类似.使用1×1的卷积可以进一步捕获语义依赖关系.使用softmax激活函数对注意力[11，12]系数进行归一化会产生稀疏的激活值，因此σ2采用sigmoid激活函数，从而得到每张特征图的概率图.注意力生成器网络如图3所示.

图3 注意力生成器网络Fig.3 Attention generator network

判别器输入由预处理后眼底图像、生成器输出和图像像素级标签组成，其中，预处理后眼底图像与生成器输出构成假样本，预处理后眼底图像与像素级标签构成真实样本.本文方法以残差网络作为判别器，残差模块有助于解决网络梯度消失和网络退化的问题，能够训练更深的网络的同时，又能保证网络的良好性能，判别器网络结构如表1所示.

表1 判别器网络结构Table 1 Discriminator network structure

图4 残差模块(basicblock)Fig.4 Residual module(basicblock)

其中conv_7×7表示核尺寸为7，步长为2的卷积操作，maxpool_3×3表示核尺寸为3，步长为2的最大池化操作，avgpool_20×20为核尺寸为20的平均池化操作，fc为全连接层，basicblock为残差模块，具体结构如图4所示.

3 实验结果与分析

3.1 数据集

采用DRIVE[13]数据集来验证算法的性能.该数据集是一个公开的用于视网膜血管分割的数据集，其中的数据为彩色眼底图像，由Staal等人于2004年在荷兰进行糖尿病视网膜病变筛查时建立.筛查人群年龄在25-90岁之间，每张图像分辨率为565×584，对应标签二值掩码由两组专家进行标注，掩码与图像相对应，其中像素1代表视网膜血管，0代表图像背景.

3.2 眼底图像数据扩充与预处理

由于DRIVE数据集中训练集数据量较少，直接用于训练会导致神经网络训练结果不佳，因此对图像进行旋转和水平翻转，训练集图像增加到4800张图像，其中4560张图像被用来训练网络，剩下240张图像被用来做验证集.为了降低光照、噪声、前景和背景对比度低因素的影响，进一步提高网络分割精度，对眼底图像进行预处理.预处理步骤如下：1)将彩色眼底图像转换为灰度图像；2)对灰度图像进行对比度受限自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization，CLAHE)[14]，增强背景和前景对比度的同时抑制图像中存在的噪声；3)采用伽马校正，降低光照不均匀和中心线反射现象的影响；4)计算每张灰度图像的均值和方差，进行图像标准化处理，使网络能更好地学习图像分布，加快网络训练速度；5)将图像进行补0操作，使得图像大小为640×640.经过步骤1)-步骤3)处理后的结果如图5所示.

图5 眼底图像预处理示例Fig.5 Fundus image preprocessing example

3.3 评价指标

视网膜分割是将像素点分为血管和非血管两类.为了更好地评估彩色眼底图像中视网膜血管的分割精度，使用4种量化指标进行评判，包括灵敏度(Se)、特异性(Sp)、准确率(Acc)和ROC曲线下面积(Area Under Curve，AUC).Se即分割正确的血管点占所有金标准血管点的比例，Sp即分割正确的背景点占所有金标准背景点的比例，Acc即分割正确的血管点和背景点占整幅图像像素点的比例，AUC即接受操作特征曲线(Receiver Operating Characteristic Curve，ROC)下面的面积，面积越接近1，表明视网膜分割效果越好.Se、Sp和Acc计算公式为：

(7)

(8)

(9)

其中，TP为被正确分割的血管像素个数，TN为正确分割的背景像素个数，FP为分割错误的血管像素个数，FN为分割错误的背景像素个数.

3.4 训练过程

本文实验是在GPU型号为NVIDIA GTX1080Ti的计算平台下进行.以Tensorflow深度学习框架下的keras搭建网络.首先训练判别器，接着训练生成器，两者交替训练；使用Adam优化器，一阶矩估计的指数衰减率β1=0.5，二阶矩估计的指数衰减率β2=0.999，学习率设置为2e-4，训练批次大小为3，共训练70轮，利用验证集找出训练过程中的最佳模型.最后在测试集上测试本文提出的视网膜血管分割网络.

3.5 实验结果

表2为不同算法在DRIVE数据集上的视网膜血管分割性能指标对比.本文方法的灵敏度(Se)、特异性(Sp)、准确率(Acc)和AUC分别为82.88%、97.45%、95.59%和97.86%，其中灵敏度、特异性、准确率和AUC均高于目前先进的方法，提升了视网膜血管分割效果.

表2 在DRIVE数据集上不同算法的实验结果(%)Table 2 Experimental results of different algorithms on DRIVE dataset(%)

图7 本文方法在DRIVE数据集上的分割效果示例Fig.7 Example of the segmentation effect of the method in this paper on the DRIVE data set

图6为本文方法的ROC曲线和PR(Precision Recall)曲线，图7为在DRIVE数据集上的分割效果比较，其中小矩形框内部为视网膜血管局部分割情况；通过对比文献[15]、[20]的实验结果可得出本文方法血管连通性高，在较大血管分割上效果显著，能够准确分割出血管主干支路，并且在一些细小血管处分割效果良好，能有效缓解血管分割断裂的问题.

4 结 论

视网膜血管分割可以帮助医生观察血管状态，对眼科疾病预防与诊断具有重要的意义.由于彩色眼底图像存在对比度低、血管细小等问题，导致许多眼底视网膜血管分割算法分割精度不高，因此本文提出了基于注意力机制的条件生成对抗网络，用于提升眼底视网膜分割效果.本文设计了一个注意力模块，对有用的像素点给予更高的权重，无用的像素点赋予较低的权重，将注意力模块与U型网络相结合作为生成器，使网络关注相关特征，抑制无关特征，可以有效地提高血管分割精度；以残差网络作为判别器，组成注意力条件生成对抗网络，通过对抗学习，进一步优化生成器，强化生成器分割微小血管能力.与目前先进算法相比，本文算法分割敏感度、特异性、准确率和AUC均有提升，同时对分割其他组织结构具有一定的参考意义.