刘文辉，许 瑞

(新疆教育学院 信息科学与技术学院，新疆 乌鲁木齐 830043)

0 引 言

在图像的拍摄和传输过程中，许多主观因素和客观因素会为图像引入大量的噪声，导致图像的细节信息和边缘信息受到污染[1]。图像降噪技术是解决该问题的一个主要手段，该手段分为基于滤波器和基于变换两大类技术，基于滤波器的技术主要有中值滤波器[2]、双边滤波器[3]等，基于变换的技术则主要有离散小波变换(discrete wavelet transform，DWT)[4]、双树小波变换[5]等。

DWT在图像降噪方面具有显著的效果，但是也存在缺乏平移不变性和缺乏方向选择性的不足[6]。文献[7]将DWT和双边滤波器结合，通过DWT和双边滤波器的多级降噪处理实现对图像的增强。文献[8]提出具备自学习能力的图像增算法，该算法为双树小波变换增加了稀疏编码和字典学习的自学习能力，对医学图像实现了较好的降噪效果。文献[9]提出基于小波变换和改进中值滤波的医学图像耦合去噪方法，该方法的优点是结合中值滤波和小波的优点提高了去噪的效果。当前基于DWT的降噪算法实现了较好的总体降噪性能，但也弱化了图像的边缘信息，而边缘信息是医疗病情诊断、图像分割等应用领域的关键信息。

为了在保持优良降噪性能的前提下，保护图像的边缘信息，提出了基于神经网络和双密度双树小波的图像降噪与增强算法。本文利用CNN识别图像的边缘，对非边缘区域进行降噪处理，同时保留边缘区域的信息。在降噪过程中，采用双密度双树DWT对噪声图像进行降噪处理，再训练神经网络来降低噪声图像和原图像的均方误差，从而对图像进行增强。

1 非下采样剪切波(non subsampled shearlet，NSST)变换

小波变换缺乏平移不变性和方向选择性，难以准确提取信号的几何特征。而NSST变换对信号的方向和形状具有较高的敏感性，同时具备平移不变性，因此采用NSST提取图像的空间特征。

1.1 shearlet变换

二维空间中具备复合伸缩性质的仿射系统可表示为

AS(Ψ)={Ψj,l,k(x)=
|detA|j/2Ψ(SlAjx-k)∶j,l∈Zk∈Z2}

(1)

(2)

(3)

假设∀ξ=(ξ1,ξ2),ξ1≠0, 那么Ψ′0(ξ) 可定义为

(4)

(5)

并且Ψ′2满足以下关系

(6)

那么，结合式(5)和式(6)可获得以下关系

(7)

(8)

(9)

(10)

1.2 NSST变换

NSST包含尺度分解和方向局部化两个步骤：多尺度分解通过非下采样金字塔滤波器组(non subsampled Laplacian pyramid，NSLP)实现，保证平移不变性，抑制伪吉布斯现象。通过剪切滤波器(shearlet filter，SF)实现方向局部化，源图像经过n级分解得到1个低频子带图像和n个大小相同但尺度不同的高频子带图像。

NSST变换在不同的位置k、尺度j和方向l上建立波形集。NSST利用了非下采样的拉普拉斯金字塔滤波器和剪切滤波器SF，NSLP通过以下的迭代程序完成分解

(11)

2 算法总体设计

算法第1步通过NSST将噪声图像分解成若干子带，再将细节子带分割成9×9×J的块，尺度的数量为J+1。第2步将数据输入训练的卷积神经网络(convolutional neural networks，CNN)，决定中心向量的类。第3步对非边缘的系数进行降噪处理，边缘的系数保持不变。

2.1 CNN网络设计

2.1.1 CNN网络模型

假设pi表示卷积层的第i个输入特征图，qj表示卷积层的第j个输出特征图，3D卷积运算和ReLU激活函数的组合模型为

(12)

(13)

CNN模型输出关于边相关性的概率分布，如果中心向量和边的相关性高，输出值则接近1，否则输出值接近0。

2.1.2 CNN网络训练

将多项式logistic的softmax损失作为CNN的目标函数。采用随机梯度下降算法(stochastic gradient descent，SGD)最小化目标函数，训练的batch大小、动量衰减和权重衰减分别设为128、0.9和0.0005。网络迭代的更新规则为

(14)

式中：z,i,β和L分别为动量、迭代次数、学习率和损失函数， ∂L/∂wi表示目标函数对权重w求偏导。

2.2 算法的总体步骤

设噪声图像为v，图像降噪和增强的步骤总结为：

步骤2 创建9×9×J大小的3D块，输入CNN。

步骤4 通过双密度双树小波变换(double-density double tree wavelet transform，DDDTDWT)[11]对非边缘区域的噪声系数进行降噪处理。

步骤5 通过神经网络对降噪的非边缘区域和保留的边缘区域统一进行训练，增强图像的总体质量。

3 图像降噪与增强

基于硬阈值的小波变换图像降噪方法存在连续性变差、光滑性变差的问题，而基于软阈值的小波变换图像降噪方法在信号重构过程中容易出现偏差。考虑上述问题，通过双密度双树小波变换实现图像的降噪处理，并通过神经网络对降噪的非边缘区域和保留的边缘区域进行训练，增强图像的总体质量。图1是图像降噪和增强的流程。

图1 图像降噪和增强的流程

3.1 基于双密度双树小波变换的图像降噪处理

通过母小波推导双密度双树小波变换(double-density double tree wavelet transform，DDDTDWT)的方法为：对非边缘区域进行DWT变换，获得两个下采样的图像，分别经过低通滤波器和高通滤波器获得4个子带，选出其中的低频-低频成分进行分解。

DDDTDWT包含两个小波函数，因此其细节系数多于DWT。其系数包含1个低通子带和8个高通子带，对低通系数进行第2级分解，第2级分解共产生17个子带，包含1个低通子带和16个高通子带。

DDDTDWT的尺度函数为

ψhi(t),ψgi(t),i=1,2

(15)

ψh1(t)≈ψh2(t-0.5)

(16)

DDDTDWT通过式(15)解决DWT的方向限制。DDDTDWT的滤波器组结构如图2所示，小波ψhi(t) 为ψgi(t) 的1/2偏移。

图2 DDDTDWT的滤波器组结构

DDDTDWT的小波函数和尺度函数分别为

ψg1(t)≈ψg2(t-0.5)

(17)

(18)

(19)

(20)

DDDTDWT具备较好的降噪性能，将复数值分成实部和虚部分别进行降噪处理，再将实部树和虚部树融合获得最终的像素值。

3.2 基于人工神经网络的图像增强

通过人工神经网络(artificial neural network，ANN)对图像进行增强，ANN的结构包括输入层、隐藏层和输出层，隐藏层为10个神经元。降噪的非边缘区域和保留的边缘区域作为ANN的输入，ANN输出增强的图像。隐藏层神经元的激活函数为sigmoid函数。

图3是ANN训练的流程。小波降噪的输出图像作为神经网络的输入，训练过程中固定神经元的数量、权重偏置和隐层数量。

图3 ANN训练的流程

4 实验与结果分析

使用本文提出的算法建立一个面向噪声图像的降噪和增强模型，并且在常规图像和医学图像上测试了模型的有效性。

4.1 度量标准

通过PSNR评价图像的质量，PSNR的公式定义为

(21)

使用均方误差(mean-square error，MSE)作为ANN训练的目标函数，MSE的计算公式为

(22)

式中：I(i,j) 处理后 (i,j) 位置的像素值，K(i,j) 为原图像 (i,j) 位置的像素值。

4.2 数据集

第1组测试图像为两个512×512的8比特灰度图像和两个256×256的8比特灰度图像。Lena图像和Man图像为512×512，Cameraman图像和Peppers图像为256×256。采用标准偏差分别为{10,20,30,50,70}的加性高斯白噪声对每个图像分别进行处理，获得不同级别的噪声图像。

第2组测试图像来自于公开医学图像数据库(www.field-ii.dk/)的肾脏超声图像kidney图像，该图像被许多研究者用于图像降噪实验。

4.3 仿真参数

NSST的分解级数J和分解方向数Θ分别设为3和8，采用maxflat滤波器作为金字塔滤波器。Caffe是一种快速特征嵌入的卷积框架[12]，利用Caffe和2.1.2小节的内容训练CNN模型，CNN的结构如图4所示，CNN网络由2个全连接层、1个下采样层和3个卷积层构成，卷积层的步长为1，核大小为3×3，下采样层的步长为3，核大小为3×3。CNN每层的权重被初始化为均值0、方差0.02的高斯分布，每层的偏置初始化为0。从ILSVRC内随机选择50 000个图像作为CNN的训练图像[13]，将图像转化成灰度图像，对灰度图像分别进行标准差为{10,20,30,50,70}的高斯白噪声加噪处理。另外，根据3.2小节的内容训练ANN。

图4 CNN的网络结构

4.4 实验结果与分析

4.4.1 对比方法介绍

本文算法在空间域将噪声图像分割成边缘区域和非边缘区域，对非边缘区域采用双密度双树小波变换进行降噪，在保留的边缘区域和降噪的非边缘区域输入神经网络进行增强处理，本文方法简记为NeuralDWT。因此选择基于频率域和基于空间域两类图像降噪技术作为对比方法，如下是每个方法的信息介绍：

DDDT-DWT是一种基于双密度双树小波变换的图像降噪算法[14]，本文技术也采用了DDDT-DWT技术对非边缘区域进行降噪处理，通过该方法可以观察边缘检测机制是否有效。

DWT_Semi-soft是一种基于半软函数普通小波的图像降噪技术[15]，本文认为DDDTDWT优于常规的小波技术，通过该方法可以验证该理念。

NL-means&sparses是一种非局部中值滤波器和空间稀疏编码结合的图像降噪技术[16]，该技术与本文技术的思想一致，所采用的技术有所区别，通过该方法可以观察本文所采用的技术是否有效。

RNNID利用循环长短期记忆神经网络分析图像空间域的结构[17]，该算法对于医学图像的边缘进行了有效的增强。通过该方法可以观察本文边缘检测是否有效。

4.4.2 视觉效果评价

首先评价图像降噪技术的视觉效果，Man图像中同时包含了高纹理区域和平滑区域，因此采用Man图像作为视觉效果的benchmark图像，结果如图5所示，其中噪声图像被添加了标准偏差=20、均值=0的高斯白噪声。图中的降噪算法均获得了满足需要的视觉效果，NL-means & sparses和RNNID的降噪效果好于DDDT-DWT和DWT_Semi-soft，可看出多技术混合的降噪方法优于单一的小波降噪方法。本文算法也获得了较好的降噪效果，并且本文算法在高纹理区域(图中人物的帽子、头发等位置)的细节也略好于其它降噪方法。

图5 Man图像的降噪结果

然后评价了图像降噪技术对医学图像的视觉效果，图6是kidney图像的降噪处理结果，其中噪声图像被添加了标准偏差=0.07、均值=0的高斯白噪声。这些方法均获得了满足需要的视觉效果，NL-means & sparses的视觉效果低于其它的降噪方法，NL-means & sparses的降噪处理明显弱化了超声图像内的边缘，并且导致对比度出现明显的衰减。本文算法的边缘部分保留了丰富的细节信息，在局部的液体区域实现了高度的还原。

图6 kidney超声医学图像的降噪结果

4.4.3 量化指标评价

该小节定量评价了图像降噪技术的效果，统计了均值=0、标准偏差={10,30,50,70}高斯白噪声图像的降噪结果，结果如图7所示。NL-means & sparses对于低噪声的性能较好，但其性能随着噪声加重而衰减。总体而言，混合降噪技术的降噪性能优于单一小波变换技术(DDDT-DWT和DWT_Semi-soft)，而本文算法的性能略高于其它4个降噪技术。

图7 降噪算法的定量评价实验

该小节定量评价了图像降噪技术对医学超声图像的处理效果，噪声图像被添加了标准偏差=0.07、均值=0的高斯白噪声，实验结果如图8所示。NL-means & sparses的降噪性能低于其它4个算法，可见在医学图像应用中，基于频域变换的降噪技术好于基于空间域变换的降噪技术。RNNID技术通过长短期记忆网络对医学图像的局部特征进行了深度地学习，获得了较好的降噪效果。本文算法通过边缘保留机制和图像增强机制提高了总体的图像质量，最终的图像PNSR指标高于其它4个降噪算法。

图8 超声医学图像的定量评价实验

4.5 时间效率分析

本文的实验环境为：Windows 10操作系统，16 GB内存、Intel-Xeon 2.40 GHz CPU，仿真平台为Matlab Version 7.14。比较了每个算法对512×512 Lena图像降噪处理的平均时间：DDDT-DWT 为23.59 s、DWT_Semi-soft为6.54 s、NL-means & sparses 为29.07 s、RNNID 为42.16 s、NeuralDWT为29.33 s。DWT_Semi-soft仅包含基本小波变换和软阈值函数两个计算部分，其速度较快。DDDT-DWT、NL-means & sparses和本文算法的计算时间较为接近。RNNID包含复杂度的深度神经网络模型，导致降噪处理时间较长。

5 结束语

本文提出了基于神经网络和双密度双树小波的图像降噪与增强算法。利用CNN识别图像的边缘，对非边缘区域进行降噪处理，保留边缘区域的信息。在降噪过程中，采用双密度双树DWT对噪声图像进行降噪处理，再训练神经网络来降低噪声图像和原图像的均方误差，从而对图像进行增强，实验结果表明，本方法对于一般图像实现了较好的降噪和增强效果。虽然本文算法对于超声医学图像的PNSR值较高，但是在视觉效果上并未表现出明显的优势，未来将针对医学图像的特点进行深入研究和改进。