蒋宏达 叶西宁

摘  要： 黑色素瘤是常见的皮肤癌，皮肤病图像分割在皮肤癌诊断过程中起到至关重要的作用。为了利用I?Unet深度神经网络强大的编码解码功能来自动分割出皮肤病病灶区域，文中提出一种改进的I?Unet网络的皮肤病图像分割算法。该方法采用空洞卷积扩大卷积感受野，利用类Inception和循环神经网络（RCNN）分别提取图像不同尺度的特征，并进行多尺度特征融合，运用全连接条件随机场（CRF）进行图像后处理。结果表明，所提算法在皮肤病图像分割中取得了良好的效果，算法的Jaccard系数达到了0.780，Dice系数稳定在0.871;与同类最佳研究结果相比，Jaccard系数及Dice系数分别提高了1.5%，2.2%，表明该方法有效提升了网络图像分割的性能。

关键词： 皮肤病; I?Unet网络; 图像分割; 空洞卷积; 特征融合; 全连接条件随机场

中图分类号： TN711?34; TP391                 文献标识码： A                    文章编号： 1004?373X（2019）12?0052?05

Abstract： Melanoma is the most common form of cancer， and the skin disease image segmentation plays an important role in the diagnosis process of the skin cancer. Therefore， an improved skin disease image segmentation algorithm based on the I?Unet network is proposed in this paper， so as to automatically segment out the focus area of the skin disease by utilizing the powerful encoding and decoding function of the I?Unet deep neural network. In the method， the dilated convolution is used to expand the receptive field of the convolution. The classification Inception and recurrent convolutional neural network （RCNN） are used to respectively extract different scales of image features and conduct multi?scale feature fusion. The fully?connected conditional random field （CRF） is used for image post?processing. The results show that the proposed algorithm can achieve a good effect in image segmentation of the skin disease， with its Jaccard coefficient reaching 0.780， and Dice coefficient stabilizing at 0.871， respectively improved by 1.5% and 2.2% in comparison with the best?in?class research results， which indicates that the method can effectively improve the performance of network image segmentation.

Keywords： skin disease; I?Unet network; image segmentation; dilated convolution; feature fusion; fully?connected conditional random field

0  引  言

黑色素瘤是一种常见且具有威胁性的皮肤癌，晚期的黑色素瘤通常会扩散到身体的其他部位，其危害通常是致命的。如今，尽管有一些先进的治疗技术，如放射治疗和免疫治疗，在临床实践中越来越多地与手术相结合，但过去5年晚期黑色素瘤患者的生存率仍然低至15%，而早期发现黑色素瘤患者的生存率则超过95%。因为早期的黑色素瘤是可以治疗的，并且大多数可以治愈。皮肤病的检测方法通常是采用先进的皮肤镜技术，在皮肤镜下可以生成高分辨率的皮肤病图像，但是皮肤病的诊断依旧需要非常专业的医生。由于皮肤科医生的紧缺，加上皮肤病的诊断通常是耗时且带有一定的主观性，因此，计算机辅助诊断（Computer Aided Diagnosis， CAD）就显得尤为重要，而皮肤病图像的分割是该诊断研究中的一个关键环节。在过去的几十年中，研究人员开发了各种计算机算法来克服这些挑战，这些算法可以大致分为聚类、阈值处理、区域分裂合并、活动轮廓模型和监督学习等。在文献[1?2]中已经讨论并比较了各种方法的优点和缺点，但是，上述方法提取特征往往需要比较专业的知识，整个过程又通常比较耗时、繁琐，而且手工提取的特征未必会带来好的分割效果。

近年来，深度卷积神经网络（Deep Convolutional Neural Network， DCNN）已成为机器学习和计算机视觉领域最强大的工具之一。这些模型具有从原始图像数据中学习分层特征的能力，因此不需要手工制作特征。Long等人首先提出了一种用于语义分割的全卷积网络[3]（Fully Convolutional Network，FCN），用卷积层替换DCNN中的常规全连接层以获得粗标签图，然后用反卷积层对粗标签图进行上采样以获得每个像素的分类结果。对于医学图像的分割，Ronneberger等人提出一种新的类FCN结构，即U?Net，用于生物细胞图像分割[4]。该方法在医学领域引起了极大的关注，目前该方法已应用??于许多不同的任务，也都取得了不错的效果，如图像分割、图像转换等[4]。虽然该网络相比以往算法在分割效果上有所突破，但依旧存有不足，通过对U?Net网络的性能分析，针对不足之处提出改进的I?Unet架构。主要的创新点如下：

1） 利用空洞卷积[5]代替常规的卷积操作以扩大卷积感受野，更好地统筹全局信息。

2） 利用类Inception和循环神经网络（Recurrent Convolutional Neural Network，RCNN）架构作多尺度特征融合。

3） 利用交叉熵损失训练模型，用Dice损失作模型参数的微调。

4） 利用全连接CRF[5]作图像后处理。

1  改进的I?Unet网络

改进的I?Unet网络依旧采用编码?解码架构，并在解码网络实现对编码和解码对应层的特征融合，图1为其整体框架图。其中Conv_Block是改进的编码网络，由空洞卷积、Inception架构以及RCL层组成，其结构如图2所示;Deconv_Block是解码网络，由反卷积模块、RCL层组成，其结构如图3所示。网络最后加上全连接CRF模块作为图像后处理，此模块不参与整个模型的训练。

1.1  空洞卷积

一些研究表明，在語义分割或其他像素级的预测任务中，DCNN已经取得了不错的效果。然而，在这些网络中，由于常规卷积操作的池化层及池化间隔（通常大于1）的存在，虽然可以增大感受野，但是也会减小特征图大小，导致分辨率降低，一些信息就会丢失，此时再将上采样恢复到原图大小时，便会影响分割精度。因此本文采用空洞卷积（Dilated Convolution）代替常规卷积操作。该操作的优点在于即使不做池化操作，也可以增大感受野，而增大感受野的目的在于能更好地学习图像的全局信息。

图1  改进的I?Unet网络结构

图2  改进的编码网络Conv_Block结构

图3  改进的解码网络Deconv_Block结构

式中：[k]代表卷积核大小;[p]代表卷积过程中补零数;[s]代表卷积步伐;[d]为空洞卷积采样率，[d]的增大会导致卷积核变大，但同时会减小特征图大小;[i]代表输入特征图大小;[n]和[o]分别为空洞卷积之后的新卷积核大小和输出特征图大小。

1.2  Inception和循环神经网络结构

U?Net网络是卷积神经网络的一种变形，编码器通过卷积和池化操作逐渐降低输出特征的空间分辨率，解码器则逐步修复物体的细节和空间分辨率。编码器和解码器之间通常存在跳跃式连接（Skip Connection），因此能帮助解码器更好地修复目标的细节。然而经典的U?Net网络编码部分仅由3×3的卷积层和2×2的池化层组成，单一的卷积操作往往学习不到图像不同尺度的特征信息，同时也限制了网络的深度和宽度。本文采用Inception架构取代单一的卷积操作，通过1×3，3×1，5×5，1×7，7×1，1×1等卷积核的组合，在减少模型参数量的同时不仅使网络变得更宽、更深、更容易训练，增强了网络的非线性能力，而且也能学习到图像不同尺度的特征信息，具体结构如图4所示。

图4  Inception模型基础结构

此外，CNN是一种前馈式的网络结构，一些研究表明循环式神经网络架构在计算机视觉领域取得了显著成功。RCNN架构的核心组件是循环神经网络层（Recurrent Convolutional Layer，RCL），RCL的操作由前馈网络和循环网络共同组成。假设[t]表示循环次数，[u（t）]是前馈网络的输入，[x（t-1）]表示[t-1]时刻循环网络的输入，[（i，j）]表示在RCL网络中第[k]张输出特征图中的位置，[wfk]和[wrk]分别表示前馈神经网络的卷积参数和循环网络的卷积参数，则网络[t]时刻的输出为：

1.3  全连接条件随机场

DCNN生成的标签图（分割结果）通常比较平滑，而分割的目标是要恢复详细的局部结构而不是平滑它，尤其是图像边缘部分。因此，本文采用全连接条件随机场做图像后处理，恢复图像细节部分，进一步提高分割的准确率。对于输入宽为[W]、高为[H]的图像[I]，将其作为观测数据，全连接条件随机场可被定义为图像[I]上的一系列变量[{x1，x2，…，xW×H}]，其中[xi]表示第[i]个像素的所分配的标签类别，作为预测值，取值范围为语义标签种类集合[L={l1，l2，…，lM}]。对于图像的某一标签分布情况，[x∈LW×H]的吉布斯能量分布函数可表示为：

式中：[k1]，[k2]两个高斯核组成二元项能量函数;[σα]，[σβ]，[σγ]为高斯核的标准差参数;[ω1]和[ω2]为两个高斯函数的权重分配;[pi]，[pj]和[Ii]，[Ij]分别表示像素点[i]，[j]的位置信息和颜色信息;[k1]倾向于将位置相近且颜色相似的像素点归为同一类标签;[k2]可以将孤立的点融合为与周围像素相同的标签，从而增加分割结果的平滑性;[μ（xi，xj）]表示两个标签之间的兼容性度量，如果[xi]和[xj]所代表的语义类别不相互兼容，那么对应的[μ（xi，xj）]数值较大，从而使能量函数整体上升。

2  实验结果与分析

2.1  实验设计

2.1.1  实验数据

实验数据取自ISIC Archive官方皮肤病数据集[6]，该数据集是目前已知公开的最大的皮肤病数据集，主要包括痣、恶性黑色素瘤、脂溢性角化病三类皮肤病，有一定的权威性，共有2 594张皮肤镜图像和对应的图像标签，其中含有2 000张训练集，594张测试集。

2.1.2  算法评价指标

实验采用Jaccard系数和Dice系数作为定量评价指标，且规定当Jaccard系数小于0.65时计算结果为0。Jaccard系数常用于比较有限样本集之间的相似性与差异性，Jaccard系数值越大，样本相似度越高。Dice系数同样用于评估两者的相似性，Dice系数越大，相似性就越高。上述两种评价指标虽在表达方式上有所差异，但在内容上都是对分割精度的定量指标。皮肤病图像分割主要关心的是病灶区域，所以衡量算法的性能时，仅计算图像病灶区域的Jaccard系数和Dice系数。具体形式为：

2.1.3  训练算法的选取

深度卷积神经网络有多种训练算法，常用的有随机梯度下降（Stochastic Gradient Descent，SGD）以及一些自适应训练方法，如自适应梯度下降（Adaptive Subgradient， Adagrad），自适应学习率调整法 （Adaptive Learning Rate Method， Adadelta）和自适应动量估计（Adaptive Moment Estimation， Adam）等。实验采用收敛速度较快的Adam算法作为本次训练算法。

2.1.4  训练过程

实验采用Intel Core 4.2 GHz i7?7700K CPU和拥有11 GB显存的NVIDIA GeForce GTX?1080ti GPU来训练网络模型。利用Python编程语言进行开发设计，同时借助Tensorflow深度学习框架搭建深度神经网络模型。训练过程采用交叉熵损失函数作为训练起始阶段的损失函数如下：

式中：[yi]代表每个像素点的实际标签值;[yi]为每个像素点的预测标签值;[n]为样本数量。在模型迭代到一定收敛程度时，采用[1-D（X，Y）]作为Dice损失对模型参数做最后的微调训练。对于皮肤病二分类分割任务，规定病灶区域为前景区域，非病灶区域为背景区域，因此，对于前景和背景都会产生一个Dice系数和Dice损失。实验过程采用多损失训练方法，并对前景区域和背景区域分配不同的损失权重比，如下：

式中：[Dice_loss1]表示前景区域的Dice损失;[Dice_loss2]为背景区域的Dice损失。表1给出实验在没有做CRF后处理的情况下，利用改进的I?Unet网络进行训练，使用Dice损失做微调前后结果对比。实验结果表明，利用多损失训练方法能在一定程度上提升分割精度。

表1  两种不同训练方法下的实验结果

2.2  实验结果及分析

本文设计5组实验来评估改进的I?Unett网络在皮肤病分割任务中的性能，分别对空洞卷积、Inception架构、RCNN网络以及CRF后处理进行实验测试。图5对实验结果做了可视化处理;图5a）代表原始图像;图5b）代表模型预测输出的热力图（即概率图）;图5c）代表实际标注;图5d）代表在没有采用CRF后处理情况下，改进的I?Unet网络的预测结果，图5e）代表在使用CRF后处理之后的预测结果。从图5中可以看出，CRF作为图像后处理，能一定程度上精细化图像边缘分割，使得图像病灶区域的分割更为准确。表2给出了各个改进方案下模型取得的效果，比较表中5个模型：U?Net1，U?Net2，U?Net3，U?Net4以及I?Unet，当采用经典U?Net网络（U?Net1）进行预测时Jaccard系数仅为0.744，Dice系数为0.815。结合图5可视化结果可知，在加入本文提出的各种改进方案之后，每一种改进方案，都在一定程度上提升了模型性能。其中I?Unet模型预测效果达到最佳，Jaccard系数为0.780，Dice系数为0.871。实验结果表明，本文所提出的改进方案能有效提高皮肤病图像的分割精度。

图5  皮肤病分割可视化结果

表2  采用不同改进策略的U?Net网络在皮肤病

2.3  同类研究对比

将本文改进的I?Unet网络皮肤病图像分割方法与同样采用ISIC Archive官方数据的其他研究进行比较，比较结果如表3所示。文献[7]中采用迁移学习的方法，利用VGG?16作为基础网络，通过上采样形成U型网络进行训练，实验分割精度Jaccrad系数为0.754，Dice系数则有0.839。文献[8]提出一种多尺度网络特征融合的分割方法，实验以ResNet残差网络作为基本网络，最终Jaccard系数为0.760，Dice系数为0.844。文献[9]采用U?Net网络进行模型训练及测试，最终Jaacrd系数为0.762，Dice系数为0.847。文献[10]采用具有编码?解码架构的卷积神经网络（Convolutional?Deconvolutional Neural Networks，CDNN）做皮肤病图像分割，最终Jaccard系数精度为0.765，Dice系數为0.849。与其他研究相比，本文应用改进的I?Unet网络对皮肤病图像进行分割，获得了最佳的分割精度，说明了本文研究工作的有效性。

表3  同类研究对比

3  结  语

本文提出一种基于改进的I?Unet网络的皮肤病自动分割方法，利用网络强大的编码和解码能力，通过扩大卷积感受野，采用多尺度特征融合技术，以及CRF图像处理等一系列改进技术，本文模型得到了进一步优化。实验结果表明，该方法有效提高了皮肤病分割的准确率，在医疗图像分割领域有一定的参考意义，也为今后继续该方面的深入研究奠定了基础。

参考文献

[1] KOROTKOV K， GARCIA R. Computerized analysis of pigmented skin lesions： a review [J]. Artificial intelligence in medicine， 2012， 56（2）： 69?90.

[2] SILVEIRA M， NASCIMENTO J C， MARQUES J S， et al. Comparison of segmentation methods for melanoma diagnosis in dermoscopy images [J]. IEEE journal of selected topics in signal processing， 2009， 3（1）： 35?45.

[3] SHELHAMER E， LONG J， DARRELL T. Fully convolutional networks for semantic segmentation [J]. IEEE transactions on pattern analysis & machine intelligence， 2017， 39（4）： 640?651.

[4] RONNEBERGER O， FISCHER P， BROX T. U?Net： convolutional networks for biomedical image segmentation [J/OL]. [2015?05?18]. https：//arxiv.org/pdf/1505.04597.pdf.

[5] CHEN L， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs [J]. IEEE transactions on pattern analysis & machine intelligence， 2018， 40（4）： 834?848.

[6] GUTMAN D， CODELLA N C F， CELEBI E， et al. Skin lesion analysis toward melanoma detection： a challenge at the international symposium on biomedical imaging （ISBI） [J/OL]. [2016?05?04]. https：//arxiv.org/pdf/1605.01397.pdf.

[7] MENEGOLA A， TAVARES J， FORNACIALI M， et al. RECOD titans at ISIC challenge 2017 [J/OL]. [2017?03?14]. https：//arxiv.org/pdf/1703.04819.pdf.

[8] BI L， KIM J， AHN E， et al. Automatic skin lesion analysis using large?scale dermoscopy images and deep residual networks [J/OL]. [2017?03?17]. https：//arxiv.org/ftp/arxiv/papers/1703/1703.04197.pdf.

[9] BERSETH M. ISIC 2017： skin lesion analysis towards melanoma detection [J/OL]. [2017?03?01]. https：//arxiv.org/ftp/arxiv/papers/1703/1703.00523.pdf.

[10] YUAN Y. Automatic skin lesion segmentation with fully convolutional?deconvolutional networks [J/OL]. [2017?09?28]. https：//arxiv.org/pdf/1703.05165.pdf.