APP下载

Faster RCNN 和LGDF 结合的肝包虫病CT 图像病灶分割*

2021-08-02刘志华王正业李丰军严传波

电子技术应用 2021年7期
关键词:包虫病特征提取精度

刘志华 ,王正业 ,李丰军 ,严传波

(1.新疆医科大学 公共卫生学院,新疆 乌鲁木齐 830011;2.新疆医科大学 医学工程技术学院,新疆 乌鲁木齐 830011)

0 引言

肝包虫病(Hepatic Echinococcosis,HE)又称棘球幼病,是一种人畜共患寄生虫病,主要流行于畜牧业发达地区[1-3]。肝包虫病患者在患病初期无特异性的症状及体征,随着包囊的生长,患者出现临床症状,引起自身机体的感染并发生一些并发症,其中部分并发症可能危及患者生命,需要医生的及时诊断和紧急干预[4-5]。医学影像学检查是诊断疾病的一种方式,能够为患者的病情提供有用的信息,对于肝包虫病的影像学诊断是由医生查看拍摄的CT 图片诊断患者是否发生疾病。随着影像设备的更新和发展,医院每天产出大量的医学图片,医生阅片时容易发生视觉疲劳现象,往往出现诊断效率低下、漏检、误判等问题。因此,本文基于目标检测方法实现肝包虫病病灶的检测,从而辅助医生智能诊断疾病。

随着计算机视觉的发展,深度学习方法特别是卷积神经网络(Convolutional Neural Networks,CNN)在计算机视觉领域上取得显著成果,同时基于卷积神经网络的基础结构,衍生出了许多应用于图像分类、目标检测和分割的网络。2014 年GIRSHICK R[6]将深度学习方法应用于目标检测中,提出了R-CNN模型,是深度学习应用于目标检测的开山之作;2015 年GIRSHICK R 和HE K[7]提出Faster RCNN模型,增加了Region Proposal Networks(RPN)网络,使用网络生成候选区域,实现端到端训练。随着卷积神经网络技术的发展,越来越多的研究者将卷积神经网络应用于医学图像目标检测。如卞景帅等人[8]针对结核杆菌尺度小的问题,提出一种重叠子图划分策略应用于Faster RCNN 网络解决小目标检测问题,取得了较好的检测结果;王黎等人[9]通过添加卷积层、调试网络超参数等方法,提高了Faster RCNN 网络对癌症影像检测的精度,提高了诊断效率;Ma Shaolong 等人[10]将Faster RCNN 网络和ResNet50 及VGG16 结合检测颈脊髓MRI病变,其检测平均精度分别为88.6%和72.3%,在某种程度上,可以帮助放射科医生和脊柱外科医生的诊断;Liu Bin 等人[11]使用新的损失函数及较大的锚点改进Faster RCNN 目标检测模型来检测膝关节骨性关节炎病变,平均精度接近0.82,可作为临床应用的计算机辅助诊断工具。针对上述研究结果,本文将Faster RCNN 网络应用于肝包虫病CT 图像的目标检测,使用两种特征提取网络提取图像的特征,并通过数据增强方法增加样本量,最后根据病灶的坐标点信息进一步分割病灶,从而辅助医生更高效地诊断疾病。

1 Faster RCNN 基本结构与原理

Faster RCNN 是在Fast RCNN 网络的基础上增加了一个区域建议网络(Region Proposal Networks,RPN),通过RPN 网络生成候选区域,相比于传统的Selective Search、Edge Boxes 等方法,有明显的速度提升[7]。卷积神经网络将整个图像作为网络的输入,通过多层卷积设计特征,能够更好地提取特征,增强图像的特征表达能力。常见的CNN模型有AlexNet、LeNet、VGG16、ResNet等,本文选择VGG16[12]和ResNet101 网络进行图像的特征提取。VGG网络是在AlexNet 基础上做了改进,整个网络使用同样大小的3×3 卷积核,通过逐渐增加卷积核数量来加深网络。然而VGG 网络在达到一定深度后,训练效果反而变差。基于VGG 网络的缺点,HE K 等[13]提出了深度残差网络,ResNet 网络是每隔几层进行跳跃连接,不产生额外的参数,不增加计算复杂度,在优化较深层模型时更为简单。Faster RCNN 网络结构图如图1 所示。

图1 Faster RCNN 网络结构图

2 LGDF模型

局部高斯分布拟合(Local Gaussian Distribution Fitting,LGDF)模型,是经典的基于水平集活动轮廓模型的分割算法之一[14]。LGDF模型利用局部图像灰度均值和方差信息构造能量泛函,能量泛函由局部图像轮廓内外的高斯分布拟合项和正则项构成,拟合项驱使演化曲线向目标轮廓演化,正则项则保持演化曲线的光滑度以及避免重新初始化水平集函数[15],LGDF模型表达式如下:

式中,第1、2 项为局部图像轮廓内外高斯分布拟合项,后两项为长度项和惩罚项,共同构成正则项;μ 为长度项系数,v 为距离惩罚项系数,φ 为水平集函数,▽为哈密顿算子,▽φ 是φ 的梯度,I(y)为输入图像的灰度值,ω(x-y)为窗函数,pi,x(I(y))为概率密度函数,Hε(φ(y))和δε(φ)分 别为Heaviside 函数、Dirac 函数的正则化形式。其中窗函数和概率密度函数表达式分别如式(2)、式(3)所示:

式中,a 为常数,|x-y|为像素距离,σ2为局部灰度方差,ρ为窗函数半径。

式中,μ1(x)、μ2(x)为局部图像轮廓内外灰度均值,σ1(x)2、σ2(x)2分别为局部图像轮廓内外灰度方差。

通过最小化能量方程(1),可得到水平集演化方程,表达式如下:

其中,div(·)为散度算子,且有:

3 数据预处理

在放射科医师的指导下,本文选取单囊型和多囊型肝包虫病CT 图像应用于实验研究,实验数据均来自新疆医科大学各附属医院放射科。由于图像摄片时各种噪声的干扰造成图像质量下降、清晰度不高等,本实验对肝包虫病CT 图像进行了一系列预处理操作:(1)对图像进行归一化处理,进一步对图像进行灰度转换以减少后续计算量;(2)使用改进的中值滤波算法[16-17]对肝包虫病CT 图像进行去噪;(3)使用翻转的方法对肝包虫病CT图像进行数据增强操作。本文实验数据共3 000 张肝包虫病CT 图片,图片尺寸为500×500。

4 评价准则

为了定量评价模型的性能,采用平均精度(Average Precision,AP)、均值平均精度(mean Average Precision,mAP)作为评价指标。

4.1 精确率、召回率

精确率、召回率的计算依赖于正确检测(TP)、错检(FP)、漏检(FN)3 个参数,其混肴矩阵如表1 所示。

表1 混肴矩阵

精确率计算公式如式(7)所示:

召回率计算公式如式(8)所示:

4.2 平均精度

AP 是评价模型性能的重要指标,一个模型在不同的R 下能保持较高的P,则AP 值就越高,模型对此类检测的表现较好,计算公式如下:

式中,P 为精确率,R 为召回率。

4.3 均值平均精度

mAP 是所有类别的平均精度的均值,计算公式如下:

式中,Nc为检测类别数,AP 能综合考虑精确率和召回率两方面的影响,以精确率为纵轴、召回率为横轴可以得到PR 曲线。

5 实验结果与分析

5.1 实验平台和参数设置

本实验的实验操作平台为Ubuntu18.04 计算机,Intel Core i7 -7700k CPU@ 4.20 GHz,NVIDIA GeForce CTX 1080TiGPU,深度学习框架为TensorFlow。一些参数设置为:迭代次数设置为2 000 次,学习率为0.001,batch_size为256,学习率的衰减系数和动量项分别为0.1 和0.9,NMS 阈值为0.7,置信度阈值为0.8。

5.2 目标检测模型识别结果

本实验目标检测模型的检测结果使用平均精度、PR曲线等评价指标进行模型性能评价。模型PR 曲线如图2 所示,模型性能评价结果见表2。图2(a)表示基于VGG16 特征提取网络的目标检测模型在肝包虫病两类中的PR 曲线,图2(b)表示基于ResNet101 特征提取网络的目标检测模型在肝包虫病两类中的PR 曲线。图2 中,“单囊”线代表单囊型肝包虫病的PR 曲线,“多囊”线代表多囊型肝包虫病的PR 曲线。

由表2 可知,使用ResNet101 网络代替原来的VGG16网络作为特征提取网络,综合平均识别率提高了2.1%,由原来的0.875 提高至0.896;同时对于两种类型肝包虫病CT 图像的平均识别率均有所提高,尤其是对于多囊型肝包虫病CT 图像的平均识别率提高了3.5%,由0.870 提高至0.905。

表2 模型对肝包虫病CT 图像的平均识别率

由图2 可知,图2(b)中两类肝包虫病的PR 曲线均在图2 (a) 两类肝包虫病PR 曲线的上方,因此基于ResNet101 特征提取网络的Faster RCNN 目标检测模型具有较好的检测精度。图2(a)中的两条PR 曲线均低于图2(b)中的两条PR 曲线,随着召回率(Recall)的增加,图2(a)的精确率(Precision)快速下降,而图2(b)仍能保持较高的Precision。在单囊型和多囊型两类上的PR 曲线表明,随着迭代次数的增加,基于ResNet101 特征提取网络的目标检测模型能够有效提取目标的特征,因此在这两类上具有较好的检测精度。图3 所示为模型对两类肝包虫病CT 图像的检测结果。图3(a)为单囊型肝包虫病CT 图像检测结果,图3(b)多囊型肝包虫病CT 图像检测结果。

图2 模型PR 曲线

图3 模型检测结果

5.3 病灶坐标信息

基于Faster RCNN 目标检测模型检测结果可得到病灶矩形框的两个坐标点,根据中点公式可得病灶中点坐标,部分图片坐标信息如表3 所示。

表3 部分图片坐标信息

5.4 病灶分割结果

LGDF模型进行图像分割时,选取的轮廓不合适会造成分割失败,针对此问题,本文采用Faster RCNN模型检测出的病灶信息作为LGDF模型的初始轮廓,避免算法曲线演化过程中不是收敛于全局最优而是陷入局部最小值,这一步骤提高了水平集算法的精度。本文使用准确率和文献[18]中的Dice 系数作为病灶分割精度的评价指标,迭代时间作为分割效率的评价指标,Dice 相似性系数定义如下:

式中,|A|表示真实轮廓区域的像素个数,|B|表示实际分割轮廓区域的像素个数,|A∩B|表示A 与B 交集区域的像素个数。Dice 相似性系数值越大,表示分割结果越好,分割精度越高。

对于肝包虫病CT 图像病灶的分割,本文将原始的LGDF模型与基于病灶坐标信息的LGDF模型进行比较,实验比较结果如图4、图5 所示,同时对分割算法的评价指标结果如表4 所示。

表4 模型分割性能评价指标

图4 LGDF模型分割结果

图5 本文方法分割结果

从图4 可以看出,针对模型的初始轮廓,原始的LGDF模型单囊型肝包虫病CT 图像分割结果较好,存在小程度的过分割现象,对于多囊型肝包虫病CT 图像,分割结果不理想,存在过分割和欠分割现象。而由图5 可知,基于病灶坐标信息的LGDF模型对两种类型的肝包虫病CT 图像分割结果较好,同时从表4 分割性能评价指标可以看出,对于两种类型的病灶分割,本文分割方法的Dice 系数和准确率均高于原始的LGDF模型,Dice 系数均提高了5%。对于多囊型的肝包虫病CT 图像病灶分割,本文分割方法的准确率相比于原始的LGDF模型提高了14.04%,说明本文分割方法对多囊型肝包虫病CT 图像病灶分割效果较好。从表4 中迭代时间可以看出,本文分割方法运行时间低于原始的LGDF模型,算法分割性能较好。

6 结论

本文将Faster RCNN 网络应用于肝包虫病CT 图像的目标检测,使用ResNet101 网络代替VGG16 作为特征提取网络提取图像的特征,实验结果表明基于ResNet101特征提取网络的目标检测模型能够有效提取目标的特征,在两类肝包虫病CT 图像的检测上具有较好的检测精度,模型检测准确率达到了89.6%,可以辅助医生诊断疾病,减少漏检、错检的发生,从而做到早发现、早诊断、早治疗。然后,根据目标检测模型检测出的病灶坐标点信息引入LGDF模型进一步分割病灶,基于病灶坐标信息的分割方法,在Dice 系数及准确率评价指标上均高于原始的LGDF模型,迭代时间也低于原始的LGDF模型,因此,该方法对肝包虫病CT 图像具有较好的分割结果,分割性能较好,可以进一步辅助医生更高效地诊断疾病。

猜你喜欢

包虫病特征提取精度
羊脑包虫病的诊治
基于Daubechies(dbN)的飞行器音频特征提取
基于DSPIC33F微处理器的采集精度的提高
勇做包虫病防治工作的
Bagging RCSP脑电特征提取算法
藏区包虫病防治缺长效机制
GPS/GLONASS/BDS组合PPP精度分析
改进的Goldschmidt双精度浮点除法器
基于MED和循环域解调的多故障特征提取
巧用磨耗提高机械加工精度