赵书凝 陈蕊 柳玉婷

摘要：现有Unet网络分割视网膜血管精度较低，为了更精确地分割出视网膜血管，提出一种基于多分支卷积神经网络的视网膜血管的分割方法。在原有UNet网络模型进行改进，即增加級联结构获取更多信息流，有利于复杂特征的提取，同时提出共享权重残差模块来优化模型。实验在DRIVE数据集上进行验证，实验结果表明所提的网络模型与Unet网络分割结果相比，在准确率、灵敏度等评价指标上均有所提升，显示出更好的性能。

关键词：图像处理;视网膜;血管分割;多分支卷积神经网络

中图分类号：TP183      文献标识码：A

文章编号：1009-3044（2021）35-0088-03

Retinal Vessel Segmentation Method Based on Multi Branch Convolutional Neural Network

ZHAO Shu-ning， CHEN Rui， LIU Yu-ting

（Wannan Medical College， Wuhu 241000，China）

Abstract： To solve the problem of low segmentation accuracy caused by the UNet network in the retinal image.To segment retinal vessels more accurately， this paper proposes a new method based on multi-path network on UNet network .To improve the original UNet model， the cascade structure is added to get more information flow， which is beneficial to the extraction of complex features， and the shared weight residual module is proposed to optimize the model.The experiment results on the DRIVE Dataset show that the proposed network model has better performance than the UNet network segmentation results in terms of accuracy and sensitivity.

Key words： image processing; retina; vessel segmentation; Ladder Net

1  引 言

视网膜血管是人体血管系统中唯一可以直接观察的部分，很多疾病需要通过观察视网膜血管的形态学变化来进行判别，比如病糖尿病性视网膜病变、心血管疾病和眼科疾病等。而从视网膜眼底图像中提取视网膜血管形态学特征的关键步骤是血管分割。传统的手工分割血管既耗时又容易出错，因此，开发一种准确的自动视网膜血管分割方法显得尤为重要。

2015年，Ronneberger 等人在MICCAI会议发表Unet，是深度学习在医学影像分割中的突破性的进展。UNet 是基于FCN（fully convolutional network）改进而成，包括编码器、瓶颈（bottleneck）模块、解码器几部分组成，由于其U型结构结合上下文信息和训练速度快、使用数据量小，满足医学影像分割的诉求[1]。但目前研究比较多都是对Unet网络的变体：Jin等人用可变形卷积块改进卷积操作，通过可变形卷积块学进行多尺度的学习，以达到准确分割[2];Oktay O等人在2018年提出的Attention Unet在 Unet 在编码器解码器中对应的特征进行拼接之前加入了一个集成注意力门（AGs），重新调整了解码器的输出特征[3];Wang 等人对于输入输出模块采用残差结构，对于上下采样采用外部嵌套残差结构的全局聚合模块，从而减弱单一卷积操作所带来的信息丢失问题[4]。然而，所有这些变体仍然属于编码器编解码器结构，其中信息流的路径数量是有限的。

本文采用一种基于多分支卷积神经网络，以此增加数据流路径并用于眼底视网膜血管分割，在DRIVE数据集上进行训练，验证此模型在视网膜图像血管分割任务上的优越性能。

2 训练模型的选取

2.1  LadderNet

Unet网络中信息流的路径数量有限，为了解决这个问题在此基础上提出了一种更多信息流路径的多分支卷积神经网络（LadderNet），它是一个多分支的全卷积网络（FCN），可以看作是一个Unet网链。代替在Unet中只有一对编码解码器分支，LadderNet有多对编码解码器分支，并且解码器与解码器之间有多个跳跃连接[5]。具体网络结构如图1所示（以两个Unet网络连接为例）。

上图中1和3是编码器分支，2和4是解码器分支，A到E是不同级的特征，整个模型用一个步长为2的卷积层来代替池化层。实质上是两个Unet网络（1和2组成一个，3和4组成一个）相连，而这两个U形之间的A-D级采用跳接连接起来。从模型可以看到有很多信息流路径，如（1） A1 A2 A3 A4;（2）A1B1B2B3B4A4;（3）A1B1C1C2C3C4B4A4等。每一条信息流都可以看作是一个卷积神经网络，路径数量随着随编码器解码器对的数量和空间级别的数量而呈指数级增长，因此有可能捕捉到更复杂的特征，并产生更高的精度。

2.2共享权重残差模块（Shared-weights residual block）

增加更多的编码解码器分支会导致参数增加，从而训练变得困难，共享权重残差模块解决了这个问题，与何提出的标准残余卷积块[6]不同，同一块中的两个卷积层的权重相同，在两个卷积层之间增加了一个drop out层以避免过度拟合。共享权重残余模块用到跳跃连接、循环层、drop out，比标准残余块具有的参数要少得多，具体结构如图2所示。

3 实验结果与分析

3.1 数据集与实验环境设置

本文选取DRIVE公开数据集[7]对模型进行训练与测试。该数据集一共有40张眼底彩色图像组成，每张图像的大小为565×584 。其中33张是正常的眼底彩色图像，7张图像有早期糖尿病视网膜病变迹象。40张图像分为训练集和测试集两组，每组各20张图像，每张图像对应2个眼科专家手动分割金标准。具体图像如图3所示。

实验采用Pytorch框架，计算机配置为Intel Core i7-10700KF CPU，32G内存，Nvidia GeForce RTX 3060 GPU，采用64位Win10操作系统。

3.2 图像预处理与参数设置

为了提高视网膜血管图像分割的准确性，图像在训练之前要进行预处理操作。首先将原始的彩色图像进行图像灰度处理，彩色眼底图像有R、G、B三个通道，将每个通道赋予图像灰度化计算的权重，具体权重分配如公式（1）所示：

Gray_img = R×0.299+G×0.587+B×0.114                     （1）

公式中R、G、B分別代表红、绿、蓝通道，考虑到G通道图像包含的信息较多，其图像比其他两个通道图像清晰，所以赋予G通道0.587的最大权重[8]。

其次，将图片将限制对比度直方图均衡化[9]，在抑制噪声的同时提升血管与背景的对比度，凸显血管信息。最后，采用伽马变换进血管和背景的对比度调节，抑制光照不均匀和中心线反射等现象，通过伽马值与血管、背景的像素特征进行匹配，便于辨识出细小血管，以此达到增强血管与背景的对比度，具体的预处理过程如图4所示。

考虑到DRIVE数据集只有20张训练集图像，为了避免训练中产生过拟合现象故本实验采用随机切片（patches）的方法将训练集数量进行扩增：即将20个训练图像中的每一张图像随机裁剪10000个64×64大小的patches来获得一组200000个patches，具体如图5所示。

通过算法随机初始化初始权重信息，设置训练batch_size大小为64，初始学习率设为0.0005，迭代100次，训练过程中通过Adam算法优化损失函数。

3.3 模型评价指标

血管分割的最终目标就是将血管（1）和背景（0）分离，实质就是对视网膜图像的每个像素进行二分类。模型分割性能的评价指标主要是将模型分割的结果和专家手动分割的标准进行比较，具体像素点的分割结果如表1所示。

正确分割的血管像素点用TP表示，错误分割的血管像素点用FP表示，正确分割的背景像素点用TN表示，错误分割的背景像素点用FN表示。

保存训练好的最优参数并加载到相应的模型中，并在测试集上进行性能测试。测的结果评价标准由准确率 （Accuracy）、召回率（Recall）、AUC/ROC曲线等指标进行评价。

3.4 实验结果对比分析

将本文算法用在DRIVE数据集上进行性能测试，分割的具体结果如图6所示，准确率、召回率、ROC曲线和AUC值如图7所示：

4 结论

从实验结果我们可以看出，对比之前的Unet网络分割的性能有所提升。 LadderNet实现了Unet网络级联的结构，增加了更多的信息流，有利于提取更复杂的特征。此外，LadderNet采用共享权重残差模块优化模型，大大减少了模型参数量。但整个算法的鲁棒性不够，仍然存在细小血管与主血管分支断裂的问题，整个模型的精度有待提高。在后续工作中，在原有模型进行改进，进一步解决主血管与细小血管断裂问题，将模型和传统方法结合以提高模型的鲁棒性。

参考文献：

[1] 殷晓航，王永才，李德英.基于U-Net结构改进的医学影像分割技术综述[J].软件学报，2021，32（2）：519-550.

[2] Jin Q G，Meng Z P，Pham T D，et al.DUNet：a deformable network for retinal vessel segmentation[J].Knowledge-Based Systems，2019，178：149-162.

[3] Oktay O，Schlemper J，Folgoc L L，et al.Attention U-net：learning where to look for the pancreas[EB/OL].2018：arXiv：1804.03999[cs.CV].https：//arxiv.org/abs/1804.03999

[4] Wang Z Y，Zou N，Shen D G，et al.Non-local U-nets for biomedical image segmentation[J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（4）：6315-6322.

[5] Zhuang J. Laddernet： Multi-path networks based on u-net for medical image segmentation. arXiv preprint arXiv：1810.07810 ，2018.

[6] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[7] Staal J，Abramoff M D，Niemeijer M，et al.Ridge-based vessel segmentation in color images of the retina[J].IEEE Transactions on Medical Imaging，2004，23（4）：501-509.

[8] 陈嘉莉.彩色眼底图像糖尿病性视网膜病变微动脉瘤检测[D].杭州：浙江工业大学，2020.

[9] 陈萌梦，熊兴良，张琰，等.1种视网膜眼底图像增强的新方法[J].重庆医科大学学报，2014，39（8）：1087-1090.

【通联编辑：唐一东】