潘凯 侯亮

摘  要：遥感图像在社会治安中的作用越来越大，但由于硬件问题，遥感图像存在噪声较多的问题。为实现遥感图像的降噪重建，采用空洞卷积结构提取全局信息，该结构增大感受野的同时不会增加参数数量;结合多尺度特征以恢复图像细节，同时采用残差学习实现输入到输出的映射;最后将重建区域进行拼接以得到降噪重建结果。通过实验表明，相较于传统降噪方法，该结构可有效剔除遥感图像的噪声并对图像进行重建，且在运行效率上有较大提升。

关键词：深度学习;遥感图像;降噪;卷积神经网络

中图分类号：TP391     文献标识码：A 文章编号：2096-4706（2020）12-0060-06

Abstract：Remote sensing images are playing an increasingly important role in society security，but due to hardware and other issues，there is a problem of more noise in remote sensing images. To achieve noise reduction and reconstruction of remote sensing images，a hollow convolution structure is used to extract global information. This structure increases the receptive field without increasing the number of parameters;combines multi-scale features to restore image details，and uses residual learning to achieve input to output Mapping;finally，the reconstructed regions are stitched together to obtain the noise reduction and reconstruction results. Experiments show that，compared with the traditional noise reduction method，this structure can effectively remove the noise of the remote sensing image and reconstruct the image，and the operation efficiency has been greatly improved.

Keywords：deep learning;remote sensing image;noise reduction;convolutional neural network

0  引  言

结合作者的实际工作经验，遥感图像在社会治安方面使用率极高且发挥着重要作用，如森林防火、消防演习、逃犯追踪等众多领域均有应用。然而遥感图像经常受到各种噪声的破坏，由于大气效应和不完善的高光谱传感器等因素，遥感图像在成像过程中产生了许多类型的噪声，常见的噪声有高斯噪声、脉冲噪声、条纹噪声，它们的出现严重破坏了遥感数据，影响了遥感图像的处理与有效利用[1]，如分类、实例分割和目标检测等任务。图像去噪的目的是从噪声观测中恢复底层干净图像，这是遥感图像处理中的一个基本问题。

在过去的几十年中，学者们提出了许多用于遥感图像去噪的方法。其中一些去噪方法是基于空间滤波的，例如一些学者利用图像的局部梯度统计信息对图像进行滤波以达到平滑降噪的目的，还有宽频带滤波、散斑滤波[2]、伽马最大后验（MAP）滤波和非局部均值去噪[3]等等。由于空间滤波倾向于使遥感图像变暗，降噪的同时也降低了图像亮度，因此基于变换域的去噪算法得到了发展，近年来取得了显著的成就。这些变换域滤波器主要基于小波变换和多尺度几何变换，如小波域贝叶斯去噪、基于轮廓域的图像去噪[4]、基于剪切域的图像去噪[5]等。变换域滤波的一般过程是首先对原始图像进行变换，然后估计无噪声系数，最后通过从处理后的系数逆变换得到去噪图像。变换域算法能有效地抑制散斑。然而由于变换域的一些固有缺点，去噪算法会导致遥感图像像素失真，此外，该算法大多采用像素与其相邻像素之间的统计关系，而没有利用更广的局部区域信息或整个图像的特征来进一步提高图像去噪效果。基于块重建的方法，如三维块匹配算法[6]，是一种在图像中寻找相似块的迭代优化算法，但如果图像具有较低数量的自相似斑块，则会使该类方法效果大幅降低[7]。

随着计算机视觉领域的深度学习的发展和提高，基于图像空间特征的智能模式识别也越来越多地应用于遥感图像降噪任务[8]。与传统方法相比，基于深度学习的降噪方法可以自动提取遥感图像的抽象特征并输出像素级的去噪结果，且无需调整阈值，其抗干扰能力要优于传统算法[9]。另一方面，卷积神经网络（Convolutional Neural Networks，CNN）采用基于梯度的训练方案优化了卷积核的权重，该方案通过对大量训练图像进行训练及权重优化，充分提取了不同环境中的噪声特征，间接也考虑了整个数据集上的噪声特征相似性，而不仅是提取像素点周边的特征。魏江[10]采用CNN并结合残差学习结构在无人机图像上进行了实验并验证了深度学习相较于传统方法的有效性。Shuaiqi Liu[11]采用多通道的降噪網络对图像进行降噪，多通道的输出通过滤波进行整合实现最终的降噪目的，但是该方法网络宽度过大，而遥感图像尺寸大，该方法过度耗费算力，不适用于大尺寸图像的降噪任务。Sergey Abramov[12]通过引入高质量的参考图像来提升降噪质量，但是仍使用传统基于滤波的方法，依然存在图像亮度降低、部分像素失真的问题。Kai Zhang[8]则利用残差结构设计了新的降噪网络并在高斯噪声图像上进行了实验，与传统降噪方法相比，结合残差结构的卷积神经网络结构效果更优，但是该网络同样存在层数深、参数量大的问题，不利于大尺寸遥感图像的降噪任务。

针对以上问题，本文以结合残差结构的卷积神经网络为基础，结合空洞卷积来提升感受野，融入注意力机制将网络能力更多集中在噪声位置，空洞卷积增大感受野的同时不会增加网络参数数量，因此可消减网络层数，进一步提高遥感图像降噪任务的运算及训练速率。通过这些改进可提升遥感图像在实际工作中的使用效果，为进一步提升社会治安夯实基础

1  相关工作

1.1  降噪任务

图像去噪是从噪声观测中估计潜在干净图像的过程。除了图像去噪以及与图像加深、模糊和人工制品减少等密切相关的操作、水印去除也被认为是计算机视觉分支的预处理任务，如图像分割和模式识别。噪声模拟包括基于概率分布的高斯、泊松、伽马等方法。如果图像x被高斯白噪声模型破坏，则可以将其表述为：

y=x+n

其中y为原图加噪声后的图像，x为纯净的输入图像，n为随机高斯噪声矩阵，在残差策略下，降噪任务的模型输出可表示为R（y）≈-n，则降噪后图像为x≈y+R（y）。在采用均方误差（MSE）作为代价函数时，优化目标公式可以表示为：

其中L为指损失值，N为样本数量，Xi、Yi为对应的干净图像与加入随机噪声的图像对，F则表示F范数，优化目标则是最小化L的值。

1.2  卷积神经网络

CNN具有局部区域卷积核，与传统神经网络相比，CNN中的权重共享机制减少了模型参数数量，降低了网络复杂度，提高了网络泛化能力。相较于密集连接的传统神经网络，CNN更易利用反向传播来训练，因为其在每个卷积层中均使用了稀疏连接，参数数量更少，可以更快地拟合。与传统的稀疏表示相比，CNN在图像分辨率方面提供了更好的性能，因为它具有更高的特征表示能力，在稀疏表示中，稀疏编码是通过对图像矩阵进行矢量化来构造的，从而丢失了二维结构信息，即局部邻近区域像素的依赖性。相反，由于CNN为二维卷积核，因此能够在训练和测试阶段保持二维结构信息，从而保留相邻图像像素之间的局部上下文信息。此外，通过迁移学习来进行模型参数权重初始化，可有效提升模型效果及模型收敛速度。

通用卷积神经网络由输入层、卷积层、激活层、池化层、Softmax分类器、输出层组成，其结构如图1所示。

卷积层是卷积神经网络的核心结构，可提取局部的颜色、纹理等图像特征，通过多层卷积的叠加，则可提取到更广范围的特征。卷积操作的具体流程如图2所示，表示卷积核在输入矩阵上按照设定的步长进行滑动点积并生成一个新的特征图作为下一层的输入。

激活层则为网络引入了非线性变换关系，提升了模型的特征表征能力，常用的激活函数有ReLU、Sigmoid、tanh等。本文选用ReLU作为网络的激活函数，因为ReLU相较于其它激活函数具有计算简单且可避免梯度消失问题的优势。三种激活函数的对比如图3所示。

池化层包括最大值池化和均值池化两种，本文使用最大值池化作为池化层，表示在设定的窗口范围内选择最大值以生成新的特征图，该方法可保留突出特征，剔除一些无用的干扰特征。

Softmax分类器可生成每一个预测类别预测概率，且每个预测结果的值均为0到1之间，且和为1，选择概率值最大的一类作为最终预测结果。

2  基于CNN的遥感降噪网络

2.1  網络结构

本文所提基于CNN的遥感图像降噪器结构如图4所示，它由十层组成，包括三个不同的模块，第一部分为特征提取层，由空洞卷积（Dilated Convolution）、ReLU激活函数和批归一化（Batch Normalization，BN）组成，空洞卷积（图4中简称DConv）扩张系数分别为1、2、3、4、3、2、1;第二部分为多尺度特征融合层，通过组合不同层的特征图，同时保留低层与高层的特征，采用通道注意力来提高更优特征图的权重;最后一部分为遥感图像重构层，由卷积层与激活层组成，利用原图与噪声预测结果相加得到最终的降噪重构的干净图像。网络结构的详细参数如表1所示。

2.2  空洞卷积

在经典的CNN中，卷积核需要通过池化操作及多层卷积的堆叠获得一个更大的感受野（Receptive Field），而空洞卷积则可通过控制扩展速率来获得不同大小的感受野，相比于传统CNN，空洞卷积可用更少的参数数量达到扩展感受野的目的。假设输入为一维数据，则空洞卷积是指，对于每个位置i，相应的输出是y，特征的权重是w，则输入特征层x的卷积计算为：

其中k为卷积核大小，r为空洞卷积扩张倍率。

在空洞卷积中，卷积核被膨胀因子扩展，r-1个零在空间维数中沿相邻权值之间放置以创建稀疏滤波器。不同扩展速率的空洞卷积如图5所示。

当卷积核扩张倍率为1时，空洞卷积即为标准卷积，如图5（a）所示，一个标准的3×3卷积，其扩张倍率为1;如图5（b）所示，卷积核大小仍然是3×3，扩张倍率为2，卷积核的感受野增加到5×5，而实际参数量仍然是3×3。感受野的值receptive field可以表示为：

receptive field=（k-1）×r+1

其中k为卷积核大小，r为卷积核扩张倍率。可以看出，空洞卷积可在不增加权重参数量的同时提高卷积层的感受野。

2.3  批归一化

批归一化是由Sergey Ioffe和Christian Szegedy提出，目前已在许多研究中得到应用，是对卷积后生成的特征图进行归一化。深度神经网络的本质是学习数据的分布，而在传统网络结构中每一层的转换都会导致特征向量数据分布的改变，会增加模型的学习难度。加入批归一化层后，可保证每一层的特征向量数据分布的均衡，进而提高模型的学习效率，增强模型的泛化能力，使模型达到更好的性能，它不仅可以加快模型的收敛速度，而且更重要的是在一定程度上缓解了深层网络中梯度弥散的问题，从而使得训练深层网络模型更加容易和稳定。批归一化和残差学习是最近CNN体系结构设计中最有影响力的两种体系结构设计技术，K.Zhang[8]在其研究中指出，批归一化和残差学习的结合会使降噪任务中的效果更加明显，因为两者的结合不仅能够进行快速和稳定的训练，而且往往会产生更好的去噪性能。

2.4  多尺度特征融合

低层特征保留了更多的细节特征，而高层特征则提取了更广的全局信息，这两种特征在降噪复原的任务中均有重要作用，本文通过多尺度特征融合层将Conv5、Conv6、Conv7的输出特征图进行拼接，实现多尺度的特征融合，一方面可更好地保留图像细节，另一方面也可发挥全局上下文信息的重要性。同时本文利用注意力机制针对不同的特征，生成不同的权重系数以将模型注意力更多集中在对最终降噪更有利的特征图上，注意力的权重输入值为Conv7的输出，注意力权重可表示为：

αt=σ（G（C3×3（Conv7）））

其中σ（）为激活函数Sigmoid，G（）为全局平均池化层，C3×3则表示卷积核大小为3×3的卷积层，注意力权重αt为1×1×192的向量，与特征融合后的输出结果相对应，点乘之后即可得到特征融合层的最终输出。

2.5  图像重构层

图像重构层通过残差学习来实现。学习残差表示可以通过压缩映射范围来减少预测结果的值空间，因为噪声图像相较于原图像，像素值域更紧缩些，Pengfei Xiao研究中指出与噪声图像相比，原始图像的像素值范围要大得多，这有助于网络收敛。

3  实验与分析

3.1  数据集

为验证本文所提模型在遥感图像降噪任务中的效果，建立了遥感图像降噪数据集，由于遥感图像分辨率较大，若做较大缩放输入网络则会使模型效果大大降低，因此本文采用图像切块的方式来减小模型输入的尺寸。切分后数据集共有15 336张，其中训练集12 268张，验证集1 533张，测试集1 535张。同时为验证该模型在不同降噪任务中的降噪效果，本文针对切分后的遥感数据集分别添加了条带噪声和高斯白噪声两种不同的噪声，这两种噪声均是遥感图像中最为常见的两种噪声，具体效果如图6所示。

如图6所示，第一列为遥感图像裁剪后的原图，第二列为加入条带噪声后的图像，第三列为加入高斯白噪声后的图像，其中高斯白噪声的生成过程如下：

其中z为图像像素值，μ为均值，σ为标准差。

3.2  模型训练与实验结果

实验基于Ubuntu 18.04操作系统，网络搭建基于开源深度学习框架PyTorch。GPU（图形处理单元）为GTX 1060 Ti，CPU型号为i7-8750H，频率为2.10 GHz，内存为8 GB。在实验中，将训练集随机采样，图像大小为256像素×256像素，将每个像素值归一化到0至1之间以提高模型的数据分布学习能力，批大小为10，训练模型采用带动量的随机梯度下降算法，动量设置为0.9，初始学习率设置为0.001，并设置学习率衰减，衰减率为0.8，对输入图像做随机的裁剪、平移、翻转、旋转等处理以增加数据量，提高模型的泛化能力。实验迭代次数为4 000次，DnCNN网络与本文所提网络的模型训练过程中的损失（Loss）变化图、峰值信噪比（Peak Signal to Noise Ratio，PSNR）变化图及结构相似性（Structural Similarity，SSIM）变化图如图7所示。

实验评价指标包括Loss、PSNR、SSIM三种，PSNR和SSIM均为降噪任务中常用的评价指标，其中PSNR表示图像质量，其值越大则图像质量越高、降噪性能越好，其计算公式如下。

其中（max（x））2是指圖像中最大像素值的平方，MSE为原图与恢复后图像的均方误差。SSIM表示两张图像的相似性，包括亮度比较、对比度比较及结构比较三部分，值越大表示降噪后图像与原图相似度越高，降噪效果也就越佳。

如图7所示是DnCNN网络和本文所提出的浅层并结合空洞卷积、通道注意力、残差学习的基于CNN的降噪网络训练过程中的损失变化图、PSNR变化图、SSIM变化图。在损失方面，两个网络相差不大，本文所提网络最终收敛值接近0.020，DnCNN网络收敛值接近0.025，本文所提网络略有提升，且收敛速度方面，本文所提网络由于网络参数较少，所以收敛速度更快;在PSNR和SSIM方面，可以看出本文所提网络结构稳定性更优，波动较小，其中PSNR均接近40，SSIM也均超过了90%。且从图中可以看出，本文所提网络结构相较于DnCNN优化收敛速度要更快。另加上BM3D与NLM传统算法的数据作为对比，最终实验结果对比如表2所示。

由表2可知，本文所提遥感图像降噪模型相较于BM3D与NLM传统算法提升明显，相较于DnCNN网络Loss有0.004的降低，在PSNR上有0.40的提升，而SSIM有0.006的提升，提升幅度较小。但是本文所提网络在运算速度上有较大提升，当对宽高分别为18 192、18 000的较大遥感图像进行降噪时，本文所提网络运行时间为143.46 s，而DnCNN的运行时间为204.28 s，运行速度上提升29.77%，由此可见本文所提网络在加入空洞卷积结构、特征融合层和残差学习后，对降噪效果略有提升，而运行效率上则有较大提升。同时本文也对条带噪声进行了实验验证，实验结果如表3所示。

由表3可知，条带噪声降噪任务难度较低，处理效果更好，但传统算法在条带噪声降噪任重中效果较差。相较于高斯白噪声，本文所提网络PSNR可达到50.14，SSIM有0.997，与DnCNN网络相比基本相同，提升幅度不大。

通过以上实验可以证明本文所提网络结构在实际工作中相比传统算法具有更高的精度，同时运算速率也有较大提升，可更精确的及时发现社会治安方面的危险信息。

4  结  论

在本文中，通过结合空洞卷积、注意力机制、残差学习、特征融合等机制设计了一种新的降噪网络。空洞卷积结构可提取更广的上下文特征且不会增加参数数量，在大分辨率的遥感图像上该结构提升效果明显;同时通过特征融合层结合不同尺度的特征，在融合时利用通道注意力机制调整多尺度特征的权重系数;在图像重构阶段采用残差学习策略，提高模型的收敛速度，降低模型学习难度。在训练阶段采用多种图像变换方法来增加数据量进而提升模型效果，不论是高斯白噪声还是条带噪声，我们的方法均显示出良好的降噪能力，通过实验也证实了该网络结构的有效性。下一步要验证该网络结构在不同降噪任务中的效果，进一步优化网络结构以提升模型在不同任务中的效果，提高模型的通用性。

参考文献：

[1] MA T H，XU Z，MENG D. Remote Sensing Image Denoising via Low-Rank Tensor Approximation and Robust Noise Modeling [J].Remote Sensing，2020，12（8）：1278.

[2] LOPES A，TOUZI R，NEZRY E. Adaptive speckle filters and scene heterogeneity [J]. IEEE Transactions on Geoscience and Remote Sensing，1990，28（6）：992-1000.

[3] CHEN S X，GAO L，LI Q Y. SAR Image Despeckling by Using Nonlocal Sparse Coding Model [J].Circuits，Systems，and Signal Processing，2018，37（7）：3023-3045.

[4] PURANIKMATH S S，VANI K. Enhancement of SAR images using curvelet with controlled shrinking technique [J].Remote Sensing Letters，2016，7（1）：21-30.

[5] LIU S，SHI M，HU S，et al. Synthetic aperture radar image de-noising based on Shearlet transform using the context-based model [J].Physical Communication，2014，13：221-229.

[6] DABOV K，FOI A，KATKOVNIK V，et al. Image denoising by sparse 3-D transform-domain collaborative filtering [J].IEEE transactions on image processing ：a publication of the IEEE Signal Processing Society，2007，16（8）：2080-2095.

[7] ZHANG Q，YUAN Q Q，LI J，et al. Learning a Dilated Residual Network for SAR Image Despeckling [J].Remote Sensing，2018，10（2）：196.

[8] ZHANG K，ZUO W M，CHEN Y J，et al. Beyond a Gaussian Denoiser：Residual Learning of Deep CNN for Image Denoising [J].IEEE transactions on image processing ：a publication of the IEEE Signal Processing Society，2017，26（7）：3142-3155.

[9] DONG W S，WANG P Y，YIN W T，et al. Denoising Prior Driven Deep Neural Network for Image Restoration [J].IEEE transactions on pattern analysis and machine intelligence，2019，41（10）：2305-2318.

[10] 魏江，劉潇，梅少辉.基于卷积神经网络的遥感图像去噪算法 [J].微电子学与计算机，2019，36（8）：59-62+67.

[11] LIU S Q，LIU T，GAO L L，et al. Convolutional Neural Network and Guided Filtering for SAR Image Denoising [J].Remote Sensing，2019，11（6），702.

[12] ABRAMOV S，USS M，LUKIN V，et al. Enhancement of Component Images of Multispectral Data by Denoising with Reference [J].Remote Sensing，2019，11（6）：611.

[13] XIAO P F，GUO Y C，ZHUANG P X. Removing Stripe Noise From Infrared Cloud Images via Deep Convolutional Networks [J].IEEE Photonics Journal，2018，10（4）：1-14.

作者简介：潘凯（1978—），男，汉族，广东韶关人，中级职称，本科，研究方向：模式识别、深度学习;侯亮（1977—），男，汉族，广东韶关人，中级职称，本科，CCF会员，研究方向：深度学习、计算机通信、模式识别。