APP下载

空洞卷积神经网络低剂量CT图像去噪

2021-08-06周晓杰

现代计算机 2021年16期
关键词:低剂量空洞卷积

周晓杰

(四川大学计算机学院,成都 610065)

0 引言

计算机断层成像(CT)技术的发展对医学诊断水平的进步产生了巨大的影响,随着CT技术在医学辅助诊断方面的影响越来越大,CT技术的研究也越来越受重视。在众多医学影像技术中,CT图像的去噪和重建一直以来都备受关注。为了减少CT成像过程中X射线对人体存在的潜在危害,低剂量CT应运而生,为了提高成像质量,低剂量CT去噪方法引起了国内外学者的研究兴趣。目前看来,CT图像去噪的传统方法主要是将图像信息在空间域以及频率域进行滤波操作,而后再采取反滤波进行图像重建以达到去噪的目的,很多传统方法在去除噪声的同时容易造成图像信息的丢失,因此去噪效果并不理想。以梯度下降流对图像进行平滑处理的全变分(TV)[1]去噪模型,以及以非局部均值思想为基础的BM3D算法[2-3]在图像去噪问题上取得了较好的效果,并随之而来出现了各种基于TV和BM3D的改良算法。近年来,卷积神经网络的出现给图像去噪算法研究带来了新的方向,一系列经典的网络模型和架构相继被提出,其中Chen等人提出了RED-CNN[4]模型,在低剂量CT去噪方面表现出色。受RED-CNN启发,本文结合近年来在计算机视觉领域表现出色的各种网络模型,利用空洞卷积能够通过膨胀操作扩大卷积核感受野的特性,提出了一种轻量级的低剂量CT卷积神经网络去噪模型,并通过实验对比,证实了其可行性。

1 网络结构设计

1.1 函数模型

假设X代表低剂量CT图像,Y代表正常剂量的CT图像,假定低剂量CT图像到正常剂量CT图像的映射可以表示为:

X=σ(Y)

(1)

其中σ代表造成低剂量CT图像噪声的各种因子。

(2)

可以看到,处理这类问题是神经网络所擅长的。

1.2 空洞卷积

空洞卷积[5-7]的作用是通过设置膨胀系数使输出变得更稠密,在不增加计算量的同时增大卷积核的感受野,其原理就是经过膨胀补零操作使卷积核尺寸增大,假设原卷积核尺寸为m×m,膨胀系数为n,那么经过膨胀补零操作后的卷积核尺寸为n(m-1)+1;但同时空洞卷积也会带来负面效果,这里主要是栅格效应(The Gridding Effect)[8],单层空洞卷积提取信息时是必然会造成大量信息丢失的,而当多层叠加的空洞卷积各膨胀系数有大于1的公约数时,同样会造成信息丢失,不能有效避免和消除栅格效应,因此在膨胀系数的选择上要非常慎重;基于空洞卷积的以上特性,提出通过3层空洞卷积的叠加来提取特征,另外将第一层到第三层膨胀系数分别设为1、2、3,以卷积核尺寸大小为3×3为例,则相当于卷积核尺寸分别为3、5、7的卷积层叠加。理论上讲,这种设计可以在多尺度提取特征的同时有效抑制栅格效应。

1.3 跳跃连接

在本文网络模型中,采用了跳跃连接[9-10]的方式提高网络性能。为了尽可能保留图像细节,受He等人提出的ResNet启发[11],采用了跳跃连接的方法,目的是通过跳跃连接使网络的学习内容由图像信息变为噪声残差信息,在去噪过程中更好地保存图像信息,减少有用信息的丢失。如图1所示,假定输入为含噪图像X,输出为消除噪声的图像Y,经过网络处理过的X为F(X),没有跳跃连接时,Y=F(X);而添加跳跃连接后则有Y=X+F(X),即F(X)=Y-X,这样网络的训练过程就转化为学习噪声残差的过程,在提高网络学习效率的同时还能够更好地保留有效信息。

图1 残差结构示意图

1.4 网络模型

如图2所示,本文提出了一种基于空洞卷积的多尺度特征提取编码-解码网络模型,网络共有十层,对于CT图像来说,细节特征尤其重要,因此在网络1到3层采用了不同膨胀系数的空洞卷积,在不增加计算量的情况下增大了卷积核感受野,能够提取到多尺度的图像特征;针对卷积神经网络在处理图像去噪的过程中造成的细节信息丢失问题,增加了跳跃连接(skip-connection)以更好保留图像细节和纹理特征;由于图像处理中上采样和下采样过程会导致部分细节信息丢失,因此在编码和解码的过程中,始终保持特征图尺寸不发生变化,以此来减少采样操作;通过对比tanh以及PReLU,确定ReLU作为本文模型的激活函数。网络训练的优化器采用Adam。

图2 网络结构示意图

2 实验过程设计及实现

2.1 实验数据获取

实验使用的数据来自Mayo诊所建立并授权的数据和图像,在选取正常剂量CT图像的基础上经仿真处理后得到三个不同剂量等级(分别为正常剂量的2.5%、5%和10%)的低剂量CT图像,经处理后得到三组图像尺寸大小为256×256的数据,数据中低剂量CT图像和正常剂量CT图像相互对应,成对组成,每组包含500对数据,将其中400对作为训练集数据,100对作为测试集数据。

2.2 训练参数设置

实验中关于参数的设置,采取以下方案:前三层卷积核采取3×3的空洞卷积,膨胀系数分别为1、2、3,相当于卷积核尺寸分别为3、5、7,前三层padding分别为1、2、3,后面层的卷积核尺寸均采取5×5,并设置padding为2,所有卷积步长均设置为1,卷积核采取随机的方式进行初始化。第一层输入和最后一层输出通道数为1外,其他通道数全都设置为96。网络的训练过程学习率设置为10-4。

2.3 网络运行实现

实验采用Python语言编写程序代码并通过PyTorch3.8框架运行,PC硬件基础配置为AMD Ryzen7 4800H处理器和NVIDIA GeForce GTX 1650TI显卡,后期的数据处理在MATLAB R2019b上实现。

实验选取了TV、BM3D和RDE-CNN三种去噪模型作为对比算法,TV(全变分模型)是一种被广泛应用的经典去噪模型,BM3D是图像去噪发展历程中影响深远的算法之一,也是目前应用较为广泛的算法之一,而RED-CNN则是近年来在卷积神经网络处理低剂量CT图像去噪中表现较为出色的网络模型,这三种算法无论在去噪效果上还是在现实应用中都有较好的鲁棒性。

在实验结果评价上,通常情况下去噪处理后图像的质量采取视觉效果加参数对比的方式来进行评价,本文按照惯例,选取了峰值信噪比和结构相似度两个指标,并结合图片的视觉效果来对实验结果进行分析。

3 实验结果及对比

3.1 视觉效果对比

实验分别以2.5%剂量、5%剂量和10%剂量的CT图像对应正常剂量CT图像对网络模型进行训练,剂量越低则噪声强度越高,图3展示了不同去噪模型对于低剂量CT图像的去噪效果,该图为在测试集中随机选取的一张2.5%剂量的腹部CT图像,其中(a)为低剂量CT图像,也就是需要处理的数据;(b)为正常剂量CT图像,即的目标数据;(c)为采用TV方法得到的处理结果;(d)为BM3D算法去噪结果;(c)为RED-CNN网络模型得出的结果;(d)为本文方法得出的结果。从整体效果来看,四种方法都能够有效去除噪声,但相比目标图像,(c)和(d)在视觉效果上较(e)和(f)有比较明显的差距。(d)和(c)的问题主要表现在局部过于平滑,细节特征丢失比较明显等方面,这类问题在腹腔的软组织位置表现尤其突出;相比而言,(e)和(f)在整体视觉效果上表现相当,保留了大部分的细节信息。

图3 2.5%剂量CT图像去噪效果对比图

其中(a)低剂量图像;(b)正常剂量图像;(c)TV;(d)BM3D;(e)RED-CNN;(f)本文方法。

在图3中红色方框区域和箭头指示的边缘位置四幅去噪图像均出现了不同程度的模糊现象,为了更好地查找问题,把该区域进行了放大处理,图4展示了该区域的放大效果图,由(a)到(f)的展示顺序参照图3,通过放大处理,可以看到在红色圆圈内(b)中的特征只有(f)有部分保留,(c)、(d)和(e)三张图片中该特征基本完全消失,但是在蓝色箭头所示区域,四幅去噪图像均不能较好还原(b)中的边缘信息,(c)效果略差,(e)和(f)表现相当,稍好于(d),可以看到,在上述对比中,本文提出的网络模型较TV和BM3D存在明显优势,效果略好于RED-CNN。5%剂量和10%剂量图像的去噪效果与2.5%剂量情形类似,这里不再过多展示。

图4 局部区域放大图

3.2 峰值信噪比和结构相似度

表1给出了实验中采用的三个不同剂量等级的低剂量CT图像,在经过不同去噪方法处理后得到的去噪图像的峰值信噪比(PSNR)和结构相似度(SSIM),这两项指标可以看作是图像质量的客观表现,从表1展示的数据来看,本文提出的去噪模型较TV和BM3D在去噪效果上均有大幅度提升,与RED-CNN相比数据上领先不够明显,但可以看到的是在三种不同剂量等级,本文方法都能够取得一定优势,说明此方法具有一定的鲁棒性,这也和我们通过观察图像所评判的结果基本吻合。

表1 不同方法在三种剂量等级CT图像处理的指标表现

4 结语

本文提出了一种采用叠加空洞卷积层的低剂量CT图像处理轻量级网络模型,使用Mayo诊所的公开数据集进行训练和验证,旨在能够贴近实际,使所研究的网络模型更加具有鲁棒性和实用价值;深度学习以及卷积神经网络在医学图像处理中的应用将越来越广泛,开展这一方向的研究也将越来越有意义。

猜你喜欢

低剂量空洞卷积
基于全卷积神经网络的猪背膘厚快速准确测定
基于FPGA的卷积神经网络加速优化方法
肺部疾病应用螺旋CT低剂量扫描技术检查的分析
来那度胺联合环磷酰胺、低剂量地塞米松治疗多发性骨髓瘤的临床疗效探讨
基于图像处理与卷积神经网络的零件识别
CT低剂量扫描技术应用于新冠肺炎筛查中的临床价值
北极上空出现罕见臭氧层空洞
基于深度卷积网络与空洞卷积融合的人群计数
利用瑞利波法探测地下空洞
自适应加权全变分的低剂量CT统计迭代算法