王 雪

(吉林农业科技学院 网络信息中心, 吉林 吉林 132101)

医学图像分割是医学图像分析与处理的关键步骤, 可辅助医生做出更准确的诊断和治疗方案, 从而减少人工处理时间和人为错误. 传统医学图像分割方法主要包括基于水平集分割[1-2]、 阈值分割[3]、 基于边缘或区域分割[4-5]和模糊聚类分割[6]等, 这些方法均需用手动提取的特征进行分割, 很难为不同的分割任务设计具有代表性的特征, 缺乏特征的通用性. 随着卷积神经网络在医学图像分析和处理领域的发展, 基于深度学习的分割方法因其可自动学习图像特征, 克服了传统方法中手动提取特征的局限性而成为目前研究的热点. 全卷积神经网络(fully convolutional neural network, FCN)[7]是典型端到端的图像分割深度网络之一. Rommeberger等[8]提出了U-Net网络结构用于生物医学图像分割, 该网络结构通过编码减少空间维度并提取高层语义特征, 解码结合跳跃连接操作恢复空间维度和图像细节信息, 在医学图像分割上性能较好. 但该结构中的连续卷积和池化操作在提取高层次语义特征的同时也丢失了图像中部分空间上下文信息. 因此, 如何在编码中捕获更多的高级特征并保留丰富的空间上下文信息, 以提高医学图像分割性能仍是该领域亟待解决的问题之一.

本文提出一种基于U-Net网络的多尺度和多维度特征融合分割方法, 用于医学图像中皮肤病变分割. 该方法在U-Net网络编码底层引入多尺度和多维度特征融合模块, 以捕获更多高级语义信息并保留空间上下文信息. 实验结果表明, 该方法在皮肤病变数据集上分割效果较好.

1 U-Net网络

U-Net网络[6]是一个基于FCN的图像分割网络, 主要用于医学图像分割, 并在细胞壁、 肺部和眼底视网膜血管分割等方面效果较好. U-Net网络结构主要由卷积层、 最大池化层、 反卷积层、 跳跃连接以及非线性激活函数Relu组成. U-Net中使用带边界权值的损失函数, 表示为

(1)

其中：pl(x)(x)是Softmax函数;l:Ω→{1,2,…,K}表示像素点的标签值；ω:Ω→R表示像素点权值,

ω(x)=ωc(x)+ω0·exp{-(d1(x)+d2(x))2/(2σ2)},

(2)

式中ωc:Ω→R表示平衡类别的权值,d1:Ω→R表示像素点与其最近细胞的距离,d2:Ω→R表示像素点与其第二近细胞的距离,ω0和σ为常数.

2 基于U-Net多尺度和多维度特征融合分割方法

由于U-Net网络在向下编码提取高层次语义特征过程中, 连续卷积和池化操作丢失了图像中部分空间上下文信息, 因此为解决该问题, 本文提出一种基于多尺度和多维度特征的融合方法, 从多个尺度提取更多的语义特征并结合维度信息保留更多的空间上下文信息. 改进的网络结构如图1所示. 主要包括3个模块： 特征编码模块、 多尺度和多维度特征融合模块(multi-scale and multi-dimensional feature fusion, MSSE)及特征解码模块.

图1 改进的网络结构Fig.1 Structure of improved network

2.1 多尺度特征提取

受文献[9]启发, 本文在提取图像多尺度特征时采用Atrous卷积, 通过引入不同的扩张率参数, 在不增加参数量的同时扩大感受野. Atrous卷积计算公式为

(3)

其中x(i)表示输入信号,w(k)表示长度为k的滤波器,r为对输入信号进行采样的步幅,y(i)为Atrous卷积的输出. 此外, 本文引入Inception结构[10]思想, 将不同大小卷积核提取的特征进行融合. 图2(A)为多尺度特征提取块, 该卷积块包含4个Atrous卷积分支, 卷积核大小为3×3, 扩张率分别为1,3,5. 第4个分支为不同扩张率卷积和一个1×1卷积的级联结构.

2.2 通道上下文信息融合模块

经过上述图2(A)模块提取的多尺度特征后, 本文进一步通过通道上下文信息融合模块提取特征图像通道间的权重信息, 采用挤压和激励(squeeze and excitation, SE)模块[11], 结合特征通道间的作用关系改善模型的特征表达能力. SE模块主要包括两部分, 即Squeeze和Excitation. 图2(B)为SE网络模块, 其中:Fsq(·)表示对输出特征图进行全局平均池化, 以降低特征维度到1×1×C,C表示通道数；Fex(·,W)通过全连接层和非线性学习得到特征图各通道的权重值; 最后经过Fscale(·,·)将各通道的权重信息融合到特征图像中. 本文通过上述过程提取的多尺度和多维度特征信息以残差网络结构[12]中跳跃连接的思想, 与图2(A)的输入特征图进行融合, 其目的是防止网络梯度消失, 同时为后续解码模块保留更多的空间上下文信息, 提升分割精度.

图2 多尺度和多维度特征融合模块Fig.2 Multi-scale and multi-dimensional feature fusion blocks

3 实验结果与分析

实验硬件环境： 服务器Intel Xeon CPU E5-2620 v4, 内存64 GB DDR4 MHz, NVIDIA GeForce GTX 1080 Ti独立显卡3张. 软件环境： Ubuntu 16.04 LTS 64位操作系统, 基于PyTorch框架, CUDA版本10.0.

3.1 数据集

采用国际皮肤影像协会(international skin imaging collaboration, ISIC)出版的ISIC2018皮肤镜检查图像数据集[13], 该数据集来自病变分割、 皮肤镜特征检测和疾病分类数据. 该数据集共包含2 594张图片, 本文参考文献[14]的方法, 将数据集划分为训练集(1 815张)、 验证集(259张)和测试集(520张). 采用文献[15]的方法进行数据增强, 包括水平翻转、 垂直翻转和对角线翻转. 图像预处理主要包括HSV颜色空间中的颜色抖动和图像随机移动, 图片大小调整为448×448.

3.2 参数设置及评价指标

模型训练过程中, 采用Adam优化器, batch_size=8, epoch=100, 初始学习率lr设为0.000 2, 当损失值连续10个epoch递增时, 更新学习率为lr/2.

为评价本文的分割效果, 本文采用3个评价指标, 即分割准确率Acc、 灵敏度Sen和AUC. 计算公式如下:

Acc=(TP+TN)/(TP+TN+FP+FN),

(4)

Sen=TP/(TP+FN),

(5)

其中TP表示真阳率, TN表示真阴率, FP表示假阳率, FN表示假阴率. AUC表示ROC曲线下的区域, 用于衡量分割性能, 其取值范围为0～1, AUC值越大说明分割性能越好.

3.3 实验结果

将本文实验结果与文献[8]和文献[14]在测试数据集(520张图片)上的结果进行对比, 表1列出了不同方法下的各评价指标值. 由表1可见, 本文方法的Acc,Sen,AUC评价指标结果分别为0.949,0.835,0.980, 均优于其他方法. 图3为本文方法所得的ROC曲线. 图4为不同方法对ISIC2018数据集上不同皮肤镜下4张图片的分割结果. 由图4可见, 在不同背景环境和不同大小皮肤病变区域的分割中, 本文方法的分割效果优于U-Net网络方法.

图3 本文方法在ISIC数据集上的ROC曲线Fig.3 ROC curve of proposed method on ISIC dataset

图4 不同方法对ISIC2018数据集上4张图片的分割结果Fig.4 Segmentation results of four images on ISIC2018 dataset by different methods

表1 不同方法在ISIC2018数据集上分割结果的对比Table 1 Comparison of segmentation results of different methods on ISIC2018 dataset

综上所述, 本文提出的基于U-Net多尺度和多维度特征融合方法将提取的多尺度网络深层语义特征和维度信息进行融合, 有效解决了U-Net网络特征编码模块在提取语义特征过程中尺度单一和空间上下文信息丢失等问题, 提高了医学图像的分割精度.