APP下载

基于高分辨率复合网络的皮肤病变分割

2022-09-17梁礼明周珑颂盛校棋

光学精密工程 2022年16期
关键词:池化像素卷积

梁礼明,周珑颂,冯 骏,盛校棋,吴 健*

(1.江西理工大学 电气工程与自动化学院,江西 赣州 341000;2.华南理工大学 计算机科学与工程学院,广东 广州 510006)

1 引 言

皮肤癌是人类最常见的恶性肿瘤,其中黑色素瘤是最致命的皮肤病变之一。早期黑色素瘤可以通过简单的外科手术进行切除,治愈率高达95%。然而,晚期黑色素瘤致死率超过85%,可见皮肤病的早期诊断和治疗至关重要[1]。现在,皮肤病专家主要依靠肉眼观察和皮肤镜诊断来确定皮肤病变区域,但是受到毛发、血管和伤疤等外在干扰因素影响,即使是拥有丰富临床经验的医生也难以准确分割出皮肤病变区域。因此,迫切需要能够自动识别和自动分割皮肤病变区域的方法,以协助医疗人员诊断皮肤疾病[2]。

为解决皮肤病变图像难以分割的问题,业界提出传统和深度学习方法[3],传统学习主要关注皮肤病变原始信息,以活动轮廓模型图像分割、阈值图像分割和支持向量机为主[4-6]。深度学习需要先验标记信息,利用人工标注图像对分类器进行特征训练,Ronneberger等[7]基于全卷积网络提出U-Net概念应用于医学图像分割,U-Net解码层能够重用相应编码层特征图,更好地融合高低级语义特征。Sun等[8]将高分辨率网络(High-Resolution Network,HRNet)用 于 语 义 分 割,HRNet通过并行卷积和重复进行多尺度融合来保持高分辨率表示。Radman等[9]提出一种深度残差网络(Deep Residual Network,DResNet),利用残差网络来学习图像块与标签块间的非线性映射,并平均相邻图像块的重叠区域,以保证合成结果中高像素的一致性。Baghersalimi等[10]提出一种由密集模块和跳跃连接构成的高效全卷积神经网络,其中密集模块可以重用前层信息,并输出给后层,确保皮肤病变信息最大化传递。Wei等[11]利 用 分 割 器 和 判 别 器 组 成 密 集U型 生成对抗网络,分割器中引入密集模块,确保在密集尺度范围内皮肤病变信息最大化传递,判别器中对抗性特征匹配损失可以稳定模型训练,引导注意力模块专注于多尺度病变区域。随着卷积神经网络的进一步发展,研究人员试图组合多种网络来提升皮肤病变图像的分割精度,Sarker等[12]提出一种基于扩张残差和金字塔池化的皮肤病变分割网络,网络中编码器依赖扩张残差网络(Dilated Residual Networks,DRN)提取病变特征,解码器依赖金字塔池化网络(Pyramid Pool⁃ing Networks,PPN)重构皮肤图像,结合DRN和PPN可以从皮肤病变图像中提取更多特征,提高网络 分割性 能。孟等[13]结合U-Net和HRNet构建一种复合网络,保持高分辨率表征的HRNet与对称结构的U-Net组合,使得网络能够充分捕捉浅层信息,提高图像分割准确率。

虽然上述方法在分割领域取得了较好的研究成果,但在分割皮肤病变图像时仍存在缺陷,文献[7]和文献[8]中网络分割皮肤病变图像精度较低,易发生病变区域误分割。文献[10]和文献[11]中密集模块能够减轻梯度消失,但随着网络层数的递增,特征图维度随之增加,带来大量浮点运算量和参数,影响模型实际应用。文献[12]中扩张残差能够增大卷积感受野,但是过大感受野容易导致网格效应,造成病变区域局部特征信息缺失。文献[13]中U-Net和HRNet只是简单叠加,解码器部分的浅层信息与深层信息不能有效融合。

针对上述存在问题,本文提出一种高分辨率复合网络(High-Resolution Composite Network,HCNet)应用于皮肤病变图像分割,HCNet由高分辨率网络和U型网络复合而成。首先预处理操作细化皮肤病变图像,增强病变皮肤与正常皮肤对比度,降低异物遮挡对病变区域的干扰。其次用改进的条件参数卷积组成多尺度稠密模块发掘病变区域的多尺度特征,增强模型对复杂目标的识别能力,条件参数卷积以函数运算卷积核的方式完成普通卷积工作,提高模型性能的同时保持高效推理。然后用混合池化模块级联编解码部分,聚合皮肤病变图像中长距离依赖关系和短距离依赖关系,提取分布紧密的语义和带状结构语义,级联方式可以减少特征缺失和增强病变像素传递。最后引入Focal Tversky Loss函数来抑制正负样本不均问题,弱化因病变区域像素占整体像素较少而引起的误分割。

2 网络构造

2.1 网络设计

传统U型网络(U-Net)中编码器和解码器对称相连,编码器部分捕获皮肤病变图像局域特征,获取目标空间信息与位置信息,解码器部分对局域像素进行预测,将目标对应到相应像素点中,重构皮肤病变图像。但是编码器存在逐层压缩特征图分辨率的情况,不能保证高分辨率图像在网络中全局传递,高分辨率网络可将高分辨率图像融进下层编码器中,实现不同分辨率图像的聚合,有利于多尺度特征的获取,优化图像浅层信息。U-Net对称结构能够提高皮肤病变像素的分类能力,HRNet可以保持皮肤病变图像高分辨率传递。因此本文用HRNet替代U型网络原编解码结构组成复合性网络,实现高分辨率图像全网络传递,进一步增强像素类别预测的准确性,网络框架设计如图1所示。

图1 网络框架设计图Fig.1 Network frame design chart

2.2 条件参数卷积

深度卷积神经网络在医学影像分割任务中取得较好的性能,网络性能的改进主要来自增加模型容量和数据集预处理,增加模型容量会带来大量浮点运算和参数,导致网络训练时间过长和影响实际应用。通常添加卷积层或增加卷积大小来提高模型容量,文献[14]提出条件参数卷积(Conditionally Parameterized Convolutions,Cond⁃Conv),以函数运算卷积核的形式来挑战普通卷积(Convolution,Conv)工作方式,达到优化模型效果,条件参数卷积工作如图2(a)所示,普通卷积工作如图2(b)所示。条件参数卷积一次输入可以组合多个卷积核参数,定义如公式(1),而普通卷积组合多个卷积核参数则需要多次输入,定义如公式(2)。条件参数卷积独特的运算形式使其可以在数学上等同于普通卷积层,但只需一次卷积运算。因此在条件参数卷积中添加卷积核参数,比增加卷积数量更加合理,既可以提高模型容量和性能,又可以保持高效推理。

图2 改进的条件参数卷积Fig.2 Improved conditional parameter convolutions

其中:∗代表卷积运算,σ代表激活函数,αi代表第i个梯度下降法学习的权重系数,Wi代表第i个卷积核参数,i∈n,n表示卷积核参数数量,x代表输入数据。

输入数据由条件参数卷积、批归一化(Batch Normalization,BN)层和ReLU激活函数处理,但神经网络进行小批量样本训练时,BN层对随机小批量具有依赖性从而导致网络性能退化。Singh等[15]提出一种滤波器响应归一化(Filter Response Normalization,FRN),FRN独立处理批次样本的激活通道,减小样本数量对网络性能的负面影响,归一化后执行仿射变换消除归一化影响。条件参数卷积操作后产生形状为[B,H,W,C]的四维滤波器响应P,其中B代表批量大小,H和W分别代表图像的高度和宽度,C代表滤波器数量(或称通道数量),向量p=Pbc∈RH×W代表第b个批处理中第c个滤波器输出,则FRN操作如下:

其中:v2是p的均方范数,ε是常量以防止被零除,λ和β是学习参数,j∈n,n代表P中向量数量。

滤波器响应归一化缺乏平均中心可能导致激活过程中产生偏离零的任意偏差,偏差与Re⁃LU激活函数结合会对学习产生负面影响,因此引用学习阈值τ来改进ReLU激活函数,定义TLU激活函数来解决偏差问题,即:

2.3 多尺度稠密模块

本文利用改进的条件参数卷积(CondConv)设计多尺度稠密模块(Multiscale Dense Module,MDM)以优化网络框架,结构如图3所示。多尺度稠密模块以密集网络[16](DenseNet)为主体,密集网络利用前馈方式将模型各层彼此相连,实现层与层间密集连接和特征重用,但随着网络层数的递增,特征图维度随之增加。因此本文设计的密集模块舍弃部分跳跃连接,并利用改进的条件参数卷积替代普通卷积,在提高模型容量和性能的同时降低网络参数。

图3 多尺度稠密模块Fig.3 Multiscale dense module

多尺度稠密模块由四个改进的条件参数卷积(CondConv)层、一个DropBlock层和一个条纹池化层[17](Strip Pooling)共同组成,改进的条件参数卷积用于病变特征提取,DropBlock层通过随机丢弃方式解决过度拟合问题。编码器依赖最大池化层(Maxpooling)进行下采样,最大池化层利用正方形池化核处理密集目标,提供全局上下文信息。但是当图像中目标区域是长条形或离散分布时,正方形池化核不能很好地提取远距离特征,条纹池化层可以利用长条状池化核处理离散分布目标,提取远距离特征,捕获局部上下文信息。条纹池化层分为垂直和水平条纹池化,以像素值求平均的方式将输入特征图形状由H×W转化为H×1和1×W,然后将垂直特征图沿着左右方向进行扩容,水平特征图沿着上下方向进行扩容,最后Sigmoid激活函数获取注意力系数ζ∈[0,1],注意力系数与原特征图相乘确定其像素权重,与目标任务关系越紧密的图像被保留的特征越多。密集网络使前层输出作为本层输入,并将本层输出传递给后层,实现特征信息重用,捕获密集目标,条纹池化层捕获远距离特征,使皮肤病变图像中离散分布区域和带状结构区域连接成为可能,捕获离散分布目标,密集网络和条纹池化层的结合,实现了多尺度目标的捕捉。

2.4 混合池化模块

皮肤病变图像经过编码层下采样后直接输入解码层中恢复图像信息,可能导致深层特征图未获得足够感受野,难以捕获深层语义信息。由条纹池化和金字塔池化[18]组合而成的混合池化模 块[19](Mixed Pooling Module,MPM),可 以 有效地融合多尺度特征并扩大特征图感受野。其中,特征图的局部上下文信息由垂直和水平条纹池化层捕获,条纹池化层的长条状池化核使皮肤病变图像中离散分布区域和带状结构区域连接成为可能,聚合长距离依赖关系。特征图的全局上下文信息由金字塔池化层捕获,金字塔池化层的正方形池化核可以提取皮肤病变图像中分布紧密的语义,聚合短距离依赖关系,混合池化模块结构如图4所示。

皮肤病变特征图X∈RH×W×C,H、W和C分别代表特征图的高度、宽度和通道数,为避免不相关区域信息污染,提高目标区分度,特征提取多分支单独进行。Pool_H和Pool_W表示垂直和水平条纹池化层,对皮肤病变特征图进行垂直和水平方向压缩,输出特征图X1∈RH×1×C/4和X2∈R1×W×C/4,并 对 输 出 特 征 图 进 行 上 采 样(Upsample)处理,恢复图像尺寸捕获长距离依赖关 系。Pool_S3和Pool_S5表 示3×3和5×5的金字塔池化,对皮肤病变特征图进行不同比例的压 缩 ,输 出 特 征 图X3∈RH/3×W/3×C/4和X4∈RH/5×W/5×C/4,输出特征图再进行上采样并与原始特征图X相加,捕获短距离依赖关系。最后调整通道数拼接Y1和Y2得到最终输出Y,混合池化模块实现了特征图全局信息和局部信息的整合,建立长短程依赖关系。

图4 混合池化模块Fig.4 Mixed pooling module

2.5 双残差模块

深层语义信息的解码十分重要,如果上采样忽略深层语义信息的重建,可能导致病变区域模糊和残缺,传统HRNet结构较为简单,难以训练复杂目标和重建细节信息,同时存在梯度消失和梯度爆炸问题,解码部分若像编码部分一样添加多尺度稠密模块会使网络结构过于臃肿。因此本文设计出双残差模块(Double Residual Mod⁃ule,DRM)用于图像解码特征重建,使用3×3卷积(Conv)、滤波器响应归一化(FRN)、TLU激活函数和DropBlock层来构建残差学习块,两个残差学习块组合成双残差块,如图5所示。

图5 双残差模块Fig.5 Double residual module

2.6 损失函数

皮肤病变分割任务中常用Dice-coefficient Loss函数缓解类别间不平衡的影响,但该函数不能优化假阴性和假阳性权重,导致最终结果精度较 高,而 召 回 率 较 低。Tversky Loss[20]函 数 能 够平衡假阴性和假阳性,优化精度和召回率关系,但部分皮肤病变图像上存在难以区分的较小感兴趣区域(Region Of Interest,ROI)。因此在原损失函数基础上引入超参数γ构成Focal Tver⁃sky Loss函数,增强模型对病变区域和较小感兴趣区域之间的辨识度,更好地适应前景(病变皮肤)与背景(正常皮肤)像素比例不平衡的分割任务,新损失函数定义为:

其中:TP表示真阳性,正确分类皮肤病变区域像素数量;TN表示真阴性,正确分类非皮肤病变区域像素数量;FP表示假阳性,错误分类皮肤病变区域像素数量;FN表示假阴性,错误分类非皮肤病变区域像素数量;参数α和β用来调整假阴性和假阳性权重,缓解类别间不平衡的影响;超参数γ用来抑制ROI干扰。

2.7 网络结构

皮肤病变图像具有复杂的形态结构,分割时容易丢失特征信息和误分割病变区域,为提高分割精度,本文提出高分辨率复合网络(HCNet)应用于皮肤病变图像分割,网络结构如图6所示。HCNet由前端图像预处理(Image Preprocessing,IP)、编码器(Encode)、解码器(Decode)和混合池化模块(MPM)组成。编码器部分用来获取皮肤病变图像空间与位置信息,由多尺度稠密模块(MDM)和HRNet架构组成,对皮肤病变图像进行通道扩张和空间收缩,将尺度为256×256×3的皮肤病变图像变成16×16×512,多尺度稠密模块能够进行特征重用,HRNet能够保证高清特征图全局传递,有效地减少下采样过程中特征信息的丢失。解码器部分用来预测像素类别,重新构建皮肤病变信息,由双残差模块(DRM)和反向HRNet架构组成,对皮肤病变图像进行通道收缩和空间扩张,将16×16×512的皮肤病变图像恢复为256×256×32,双残差模块在上采样时能够发掘深层语义信息和重建细节特征,分割出边缘轮廓更加清晰的图像。混合池化模块(MPM)用于传递编解码部分底层信息,利用金字塔池化和条纹池化捕获特征图全局和局部特征,建立目标特征长短程依赖关系。网络末端是Sigmoid激活函 数 和Focal Tversky Loss函 数,Sigmoid激 活函数对前景和背景进行分类,Focal Tversky Loss函数抑制因正负样本不均而引起的误分割,使分割结果更为优异。

3 实验结果与分析

3.1 数据集和实验环境

?

本 文 采 用ISBI2016数 据 集[21]、ISBI2017数据 集[22]、ISIC2018数 据 集[23]和PH2数 据 集[24]作为实验样本。ISBI2016数据集包含900张训练图片和379张测试图片,ISBI2017数据集包含2 000张训练图片、150张验证图片和600张测试图片。ISIC2018数据集包含2 594张图片,将其划分为1 815张训练图片、259张验证图片和520张测试图片,PH2数据集包含200张图片,作为ISIC2018数据集的额外测试集。

实验仿真平台为PyCharm,实验环境为Ten⁃sorFlow2.0,实验计算机配置为Intel Core TM i7-6700H CPU,Nvidia GeForce GTX 2070 GPU,16 G内存。模型采用Adam算法优化Fo⁃cal Tversky Loss函数,迭代次数设置为50,初始学习率设置为1e-5,训练批量设置为8。Focal Tversky Loss函数中参数α设置为0.7,参数β设置为0.3,超参数γ设置为0.75。

3.2 图像预处理

皮肤病变图像在收集时存在毛发遮掩、颜色差异和多病变区域现象,导致收集的图像中病变区域模糊。为提高病变区域分割准确率,本文对皮肤病变图像进行预处理操作,图像预处理步骤如下:

(1)形态学操作。形态学腐蚀运算使病变区域减小,收缩目标边界以消除毛发遮掩;形态学膨胀运算使病变区域增大,恢复目标尺度以填充空洞区域;本文对存在大量毛发的皮肤病变图像进行腐蚀和膨胀运算,弱化毛发对分割精度的影响。

(2)样 本 扩 充。ISBI2016、ISBI2017和ISIC2018数据集中样本数量较少,为防止模型在训练时产生过拟合现象,因此需要对皮肤病变图像数据集进行图片扩充,本文采用弹性变换、网格失真、水平翻转、垂直翻转、灰度变换、随机通道、旋转、转置、高斯模糊等方法来扩充图片数量,增加模型训练样本,并将皮肤病变图像分辨率调整为256×256。图像预处理部分操作如图7所示。

图7 图像预处理部分操作Fig.7 Image preprocessing part of the operation

3.3 评估指标

本 文 使 用 准 确 度(Accuracy,Acc)、特 异 性(Specificity,Spe)、敏感度(Sensitivity,Sen)、Jaccard指 数(Jaccard Index,J)和Dice相 似 系 数(Dice Similarity Coefficient,D)作为本文网络性能的评价依据。准确度揭示出正确分类像素数量与总像素数量比率的关系,特异性表示检测正常皮肤像素数量与真实正常皮肤像素数量比率的关系,敏感度表示检测病变皮肤像素数量与真实病变皮肤像素数量比率的关系,定义如下:

骨康胶囊对SaOS-2人成骨样细胞增殖、分化及矿化的影响 … ………………… 杨 健,等(5):517

其中:TP表示真阳性,正确分类皮肤病变区域像素数量;TN表示真阴性,正确分类非皮肤病变区域像素数量;FP表示假阳性,错误分类皮肤病变区域像素数量;FN表示假阴性,错误分类非皮肤病变区域像素数量。

3.4 不同网络主观性对比

为验证高分辨率复合网络(HCNet)对皮肤病变图像分割的有效性,本文选取文献[7]中U型 网 络(U-Net)、文 献[8]中 高 分 辨 率 网 络(HRNet)、文 献[25]中 密 集 编 解 码 结 构 网 络(DEDNet)、文献[26]中综合注意卷积神经网络(CANet)与本文高分辨率复合网络(HCNet)进行指标对比。U-Net中编码器和解码器对称连接,编码器中下采样使特征图大小减半卷积核数量翻倍,解码器通过直连方式整合上采样层和编码器输入特征,恢复目标尺寸。HRNet能够将高分辨率特征图融进下层编码器中,使图像保持高分辨率传递,优化网络浅层信息。DED⁃Net以U型网络为基础架构,在编码部分中添加密集网络和空洞空间卷积池化金字塔,并用密集跳跃连接组合编码部分和解码部分。CANet是在U型网络中添加联合空间注意模块、通道注意模块和尺度注意模块,分别用来提高前景区域关注度、重新校准通道特征响应和强调最显著多尺度特征图。普通卷积高分辨率复合网络(CH⁃Net)是将改进的条件参数卷积还原成普通卷积层,其余结构与本文高分辨率复合网络一致。在同样实验环境下对上述六种网络进行测试,对比结果见表1和表2,最优指标加粗表示。

表1 ISBI2016和ISBI2017数据集上不同网络结果Tab.1 Results of different networks on ISBI2016 and ISBI2017 datasets

表2 PH2和ISIC2018数据集上不同网络结果Tab.2 Results of different networks on PH2 and ISIC2018 datasets

表1给出本文网络和其他五种网络在IS⁃BI2016和ISBI2017数据集上的性能指标,表2给出本文网络和其他五种网络在PH2和ISIC2018数据集上的性能指标,综合对比本文高分辨率复合网络(HCNet)性能较优。CHNet是将改进的条件参数卷积还原成普通卷积层,其余结构和HCNet一 致,在ISBI2017数据集 上,HCNet网 络参数(Parameter)是CHNet网络参数的70.40%,单 轮 训 练 时 长(Time)是 其74.40%。在ISIC2018数据集上,HCNet网络参数是CHNet网络参数的70.40%,单轮训练时长是其76.60%。可见改进的条件参数卷积既可以提高模型容量和性能,又可以保持高效推理。虽然HCNet在网络参数和单轮训练时长上不如UNet,但在准确度、特异性、敏感度、Jaccard指数和Dice相似系数等评价指标上明显高于U-Net,能更好地平衡参数时间与分割性能关系。

在表1和表2中本文网络HCNet准确度均为最高,四个数据集上的准确度分别为96.14%、93.72%、94.31%和95.73%,准确度揭示出正确分类像素数量与总像素数量比率的关系,说明HCNet对皮肤病变区域像素和皮肤正常区域像素分类性能最优。Dice相似系数可以衡量标签图像与分割图像的相似程度,本文网络HCNet的Dice相似系数均为最高,四个数据集上分别为93.16%、88.56%、91.59%和92.00%,说明HC⁃Net分割结果更加贴合真实标签,性能指标证明HCNet分割结果相比其他网络更优,病变区域误分割率更低。

图8展示出不同网络对皮肤病变图像分割的结果,图片(a)~(f)来源于ISBI2016数据集,图片(g)~(l)来源于ISBI2017数据集,从上到下依次 为 原 始 图 像、标 签(Ground Truth)、U-Net、HRNet、DEDNet、CANet、CHNet和HCNet分割结果。HCNet分割图对比其他网络更为优异,在图片(a)和(g)中皮肤病变区域与皮肤正常区域界线分明,对比度较高,本文网络及其他网络均可较好地分割出病变区域。在图片(d)中皮肤病变区域边界轮廓曲折复杂,U-Net和HRNet作为基础神经网络对目标特征重构能力不足、容易丢失边缘特征信息,HCNet在解码部分引入双残差模块,增强目标边缘特征重构能力,使病变区域边界轮廓准确清晰。在图片(h)中皮肤病变区域分为深色和浅色区域,在U-Net和HRNet分割结果图中,缺失的病变区域较多,CANet和CHNet只能分割出深色病变区域,忽略了浅色病变区域,说明上述网络图像特征提取能力不足,特征信息丢失情况严重,HCNet中多尺度稠密模块能够实现特征信息重用和捕获多尺度特征,使分割结果与标签基本一致。对比结果说明本文网络HCNet能够更好地提取和重构病变特征,减少特征信息缺失,使分割结果边界轮廓准确清晰。

图9中图片(a)~(f)来源于PH2数据集,图片(g)~(l)来源于ISIC2018数据集,综合分析HCNet分割图较其他网络更为优异。在图片8中皮肤病变图像中存在大量毛发,HRNet和CANet易将真实皮肤病变区域缩小或扩大,UNet、DEDNet和CHNet受毛发影响,病变轮廓分割效果较差,本文网络HCNet预处理操作能够弱化干扰因素,降低毛发对病变区域的影响,分割出来的图像与真实标签贴合度较高,拥有更强的鲁棒性。

图8 ISBI2016和ISBI2017数据集上不同网络分割结果Fig.8 Different network segmentation results on ISBI2016 and ISBI2017 datasets

图9 PH2和ISIC2018数据集上不同网络分割结果Fig.9 Different network segmentation results on PH2 and ISIC2018 datasets

图10 不同网络分割细节结果Fig.10 Segmentation detail results of different networks

图11给出ISBI2016数据集上的训练Dice相似系数、训练Jaccard指数、训练损失和验证损失变化曲线,图12给出ISIC2018数据集上的训练Dice相似系数、训练Jaccard指数、训练损失和验证损失变化曲线,评价指标曲线图能够更加直观地突显HCNet优越性能。Jaccard指数可以衡量样本间的差异性,Jaccard指数越高证明网络对皮肤病变区域的识别度越好,分割正常皮肤区域与病变皮肤区域准确度越高。Dice相似系数可以衡量标签图像与分割图像的相似程度,Dice相似系数越高说明分割结果越贴合真实标签。损失函数能够衡量分割图像与标签图像不一致程度,损失越小网络拟合度越好。图11和图12可以看出本文网络HCNet的Jaccard指数和Dice相似系数收敛最快且数值最高,训练损失和验证损失相比其他网络更低,图中上方曲线为验证损失曲线,下方曲线为训练损失曲线。

图12 ISIC2018数据集上的指标变化曲线Fig.12 Index change curves on ISIC2018 datasets

3.5 不同网络客观性对比

表3给出本文网络与其他参考文献网络在ISBI2016数据集上客观对比结果,最优指标加粗表 示。EXB、CUMED、Mahudr、SFU-mial和TMUteam[27]代表ISBI2016挑战赛中排名前五的网络,与EXB相比本文网络HCNet在准确度上提高0.84%,敏感度上提高2.62%,特异性上提高0.74%,Dice相似系数上提高2.16%,Jaccard指数上提高2.71%,HCNet各项指标均高于挑战赛中第一名网络。对比其他文献,无论是在像素分割准确度、敏感度,还是Jaccard指数和Dice相似系数上本文网络指标均有较大提升。次优参考文献[28]提出一种反馈注意网络,反馈机制能够重用参数,丰富特征信息,降低池化操作中特征丢失,在不进行数据增强的情况下获得高质量特征图。其特异性比本文网络高0.19%,但准确度、敏感度、Dice相似系数和Jaccard指数分别比本文网络低0.05%、1.12%、0.65%和0.78%,本文网络进行皮肤病变图像预处理,在增强数据样本的同时降低外在因素干扰,实验结果分析说明数据增强具有必要性。

表4给出本文网络与其他参考文献网络在ISBI2017数据集上客观对比结果。文献[11]利用分割器和判别器组成密集U型生成对抗网络,分割器中引入密集模块,以确保在密集尺度范围内皮肤病变信息最大化传递,判别器中对抗性特征匹配损失可以稳定模型训练和引导注意模块专注于多尺度病变区域,使Jaccard指数最高80.45%,高于本文3.26%,敏感度高于本文3.80%,但本文特异性和Dice相似系数比其高5.38%和0.70%,本文网络采用多尺度稠密模块和Focal Tversky Loss函数,对抗性特征匹配损失函数侧重于敏感度,Focal Tversky Loss函数侧重于特异性,二种损失函数各有优点。文献[34]提出一种SkinNet,将U-Net编解码器中的普通卷积层替换为密集卷积层,并在网络最底端加入1~32扩张率的空洞卷积去扩大感受野,捕获非本地图像信息特征,SkinNet敏感度达到最高93.0%,比本文网络高9.46%,特异性比本文网络低8.02%,空洞卷积虽然能够扩大感受野,提取全局信息,但扩张率过大时,会使3×3卷积退化成1×1卷积,丢失空间上连续信息。

表3 ISBI2016数据集上不同网络客观性对比Tab.3 Objectivity comparison of different networks on ISBI2016 datasets

表4 ISBI2017数据集上不同网络客观性对比Tab.4 Objectivity comparison of different networks on ISBI2017 datasets

表5给出本文网络与其他参考文献网络在ISIC2018数据集上客观对比结果。本文网络HCNet除敏感度外,其他指标均为最高,对比其他参考文献准确度分别提升2.33%、1.15%、1.03%和0.05%。文献[37]将空间细节嵌入到高级语义特征中并建立远程依赖关系,原始皮肤病变图像中的信息,逐渐补充编码器中的语义和细节信息,使敏感度最高96.7%,比HCNet高5.03%,但HCNet的Dice相似系数和Jaccard指数比文献[37]分别高4.3%和5.79%。综合对比ISBI2016数 据 集、ISBI2017数 据 集 和ISIC2018数据集结果,证明本文提出的高分辨率复合网络整体性能优于现有网络,能够充分提取特征信息和精确定位皮肤病变区域,对皮肤病变图像具有较好的分割效果。

表5 ISIC2018数据集上不同网络客观性对比Tab.5 Objectivity comparison of different networks on ISIC2018 datasets

3.6 消融实验

为验证高分辨率复合网络(HCNet)各模块具体作用,本文在ISBI2016和ISBI2017数据集上进行消融实验。HCNet_1是将高分辨率网络和U型网络结合,不添加其他模块,HCNet_2在HCNet_1的基础上添加多尺度稠密模块,HC⁃Net_3在HCNet_1的基础上添加混合池化模块,HCNet_4在HCNet_1的基础上添加双残差模块,HCNet_5在HCNet_2的基础上添加双残差模块,实验结果如表6所示。

消融研究展示了各模块具体作用,其中HC⁃Net_1是直接将高分辨率网络替代U型网络原编解码结构,直接复合虽然能够使分割性能指标有所提升,但是提升数值并不显著。HCNet_2在HCNet_1的基础上添加多尺度稠密模块,多尺度稠密模块利用前馈方式将模型各层彼此相连,实现层与层间密集连接和特征重用,条纹池化层通过垂直和水平条纹池化捕获多尺度特征,充分提取图像信息,精确定位出皮肤病变区域,分割性能指标有显著性提高,特异性达到最高分别为97.57%和98.73%。HCNet_3在HCNet_1的基础上添加混合池化模块,处于网络底端的混合池化模块可以扩大感受野,实现特征图全局信息和局部信息的整合,建立特征长短程依赖关系,使解码部分获取更多有用信息,敏感度达到最高分别为95.50%和84.95%。HCNet_4是在HC⁃Net_1的基础上添加双残差模块,HCNet_5是在HCNet_2的基础上添加双残差模块,双残差模块在重建编码部分送入的信息时,能够挖掘深层语义信息,使分割出的皮肤病变图像边缘轮廓清晰。相比HCNet_4中分割指标,HCNet_5中分割指标更为优异,因为多尺度稠密模块提取出更多特征,使双残差模块重建皮肤病变图像时有更多可用信息,Dice相似系数分别为93.03%和88.12%。消融实验结果说明本文网络HCNet中多尺度稠密模块用于提高特异性,混合池化模块用于提高敏感度,双残差模块用于提高Dice相似系数。

表6 各模块消融实验Tab.6 Ablation Experiment of each module

4 结 论

针对皮肤病变图像分割时存在异物遮挡、特征信息缺失和病变区域误分割等问题,本文提出一种基于高分辨率复合网络的皮肤病变分割方法,以高分辨率网络为对称结构,实现高清特征图全网络传递。首先对皮肤病变图像进行细化,减少异物对分割性能的影响,再扩充图片数量避免过度拟合;其次利用正反向高分辨率网络构建编码部分和解码部分,进行皮肤病变图像特征的提取和重建,多尺度稠密模块充分提取特征,双残差模块挖掘深层语义信息,减少特征信息缺失情况;最后Focal Tversky Loss函数抑制正负样本不均引起的分割误差,从而使分割结果更为优异。在ISBI2016、ISBI2017和ISIC2018数据集上准确度分别为96.14%、93.72%和95.73%,分割性能优于现有方法,对皮肤疾病的诊断具有一定应用价值。高分辨率复合网络通过多形式卷积核建立长短程依赖关系。未来考虑通过特征图三维形状重塑来建立特征长短程依赖关系,提高皮肤病变图像分割的精度。

猜你喜欢

池化像素卷积
基于高斯函数的池化算法
像素前线之“幻影”2000
卷积神经网络中的自适应加权池化
基于3D-Winograd的快速卷积算法设计及FPGA实现
卷积神经网络的分析与设计
“像素”仙人掌
从滤波器理解卷积
基于卷积神经网络和池化算法的表情识别研究
用于手写汉字识别的文本分割方法
基于傅里叶域卷积表示的目标跟踪算法