张清勇， 陈智勇， 骆潇原

(武汉理工大学自动化学院，武汉430070)

0 引言

近年来随着航天技术不断向前发展，众多商业公司也在积极地发展着火箭发射技术，将来会有越来越多的低成本商业卫星被应用于遥感图像领域。在遥感图像领域还存在许多无法避免因客观素会影响遥感图像的分辨率，例如传输过程中的噪声、光学系统的像差和大气的散射作用等［1］。为了改善低成本卫星的成像质量，提高图像的分辨率，需要采用超分辨率技术对获取的遥感图像进行处理。

图像超分辨率是从单幅或多幅低分辨率图像重构出一幅高分辨率图像(High Resolution，HR)。目前图像超分辨率研究领域主流方法有3种:插值、重建和学习。在图像超分辨率应用的早期多采用插值的算法，较为常见的有双立方插值法［2］(Bicubic interpolation)。插值的方法易产生边缘模糊及振铃效应［3］。重构的方法则是通过同一场景下的多幅低分辨率图像中提取出高频信息，减少了插值方法中出现的边缘模糊，但是存在最后解不稳定、不唯一等问题［4］。

而基于学习的超分辨率方法有着良好的重构结果，其中比较典型的有支持向量回归方法［5］、稀疏表示［6］和深度学习等方法。最初将深度学习引入图像超分辨率的是超分辨率卷积神经网络［7］(Super-Resolution ConvolutionalNeuralNetwork，SRCNN)。SRCNN细节和复杂纹理在经过修复之后依然显得有些模糊。

2017年，Ledig［8］等的超分辨率生成对抗网络(SuperResolution GenerativeAdversarialNetworks，SRGAN)取得了很好的超分辨率效果。生成对抗神经网络超分辨率在细节丰富程度上远胜SRCNN，对于图像细节部分的恢复有着良好的效果。但是SRGAN同样也需要大量的样本进行训练才能尽可能取得好的效果。通常认为深度卷积神经网络已经从包含大量图像的数据集中获取了足够的信息，所以修复效果比较好［10］。但是 Zhang等［11］发现用一个在训练集上表现良好的卷积神经网络对随机标签的测试集进行测试时出现了过拟合的现象，认为深度卷积神经网络效果之所以这么好不仅是因为有着大量数据集的训练，还有网络结构本身所发挥的重要作用。

本文针对性地采用了Ulyanov等［11］提出的生成网络进行图像超分辨率的方法。本文还针对遥感图像中地形地貌差异明显、纹理细节丰富等特点对生成网络进行改进，增加了网络参数和网络层数。网络的初始化参数是随机的，通过学习低分辨率图像的特征，并把这些特征应用在高分辨率图像中，使用不同尺度层面的自相似性放大图像，在保证恢复图像质量的同时无需使用数据集对网络进行大量预训练。生成网络模型不必通过对数据集进行预先的参数训练与学习即可实现传统意义上的图像修复［12］，例如图像去噪，图像去遮盖以及图像超分辨率等任务，网络权重是随机的，先验信息来自网络结构本身。受文献［13］中网络层数越深效果越好的启发，本文中生成器网络使用了更多的网络参数和更深的网络。

1 遥感图像超分辨率原理

1.1 遥感成像模型

首先对遥感图像的成像模型［14］描述，可以用一个线性系统对图像的成像过程进行建模:

式中:X为成像系统得到的低分图像;D为下采样过程;H为全局一致模糊算子;F为几何映射;Y为高分辨率图像;V为加性噪声。因为在成像过程本身就是下采样，还附带了不可避免的噪声，所以成像得到的图像质量必然会发生下降，而且数字图像采集本身即是一个离散化过程，如果想在硬件上进行改进来提高成像质量，需要极高的成本和代价。在成本和技术手段的限制之下必然会达到一个瓶颈，因此发展了图像超分辨率技术，通过处理算法层面上的提高，对图像进行修复，以获得质量更好的图像。

1.2 生成网络模型

单幅图像的超分辨率是一个逆问题，得到的解是不唯一的，因为一幅低分辨率图像可能对应多幅高分辨率图像。图像超分辨率属于一个基于能量最小化模型的问题:

式(2)中，E(x;x0)是一个数据项，这里选择其形式如式(3)所示;x*是网络输出的高分辨率图像;x0为生成网络输入的低分辨率图像;d(x)为生成网络输出图像的下采样过程;R(x)则是抓取图像先验知识的正则化项。这里将R(x)用一个神经网络表示，其形式为:

式中:z为随机初始化参数的网络输入;θ为生成网络的网络参数，采用Adam优化算法［15］，迭代更新网络权重参数，θ的最优值通过训练得到。当给定一个最优参数θ*之后，图像恢复的过程如式(5)所示，将输入信号z代入网络即可得到网络输出的高分辨率图像x*。其具体网络结构如图1所示，网络结构类似于沙漏形状。

图1 生成网络结构图

生成网络结构采用encoder-decoder结构［16］，也就是编码-解码模型，输入网络d和输出网络u。若图1中S快捷连接(黄色箭头所示)过多，会导致网络学习质量下降。因此网络结构主要是用全卷积结构来构造，上采样采用了双线性和最近邻上采样，下采样通过调整卷积的步幅实现。在每次训练迭代时对输入的参数z添加随机噪声，避免最终结果过多地依赖最初输入的参数z，确保网络本身学到更多的信息。不限制学习次数，最终网络会输出一个和原图像分布相同的输出图像，若限制训练迭代次数，网络则会输出一个修复后的图像。

1.3 评判标准

实验中图片相似度采用了国际通用的评判标准来衡量实验性能，即峰值信噪比［17］(Peak Signal to Noise Ratio，PSNR) 和结构相似性［18］(Structural similarity index，SSIM)。峰值信噪比是目前使用的最为广泛的客观图像品质评价标准，其定义式为:

式中:MSE为原图像和经过处理后图像的均方误差;PSNR的单位为dB，PSNR起源于香农理论，用来表示图像局部信息丢失的多少。

结构相似性SSIM是一种衡量电影、电视或者其他数字图像的主观感受的一种方法，算法在设计上充分考虑了人眼实际的视觉特性，比传统方法更符合人眼的真实感受，该算法分别从亮度，对比度和结构3个角度来评估图像的相似性，其计算式为:

式中:μX、μY分别为图像 X 和 Y 的均值;σX、σY分别为图像X和Y的方差，σXY为图像X和图像Y的协方差;C1、C2、C3为常数，避免了分母为零的情况［4］。

由于SSIM在衡量图像质量上的优秀表现，SSIM相对数值高的图像更符合人眼观看真实图像的主观感受，所以它已经被广泛应用于图像质量评价领域，在图像质量评价领域成为了一个重要的指标。

2 实验及结果分析

本实验中所有测试图像来源于美国国家地质勘探局(United States Geological Survey，USGS)的遥感图片数据集。

图2 USGS遥感图像工厂原始HR图像及各种方法重构结果

图3 USGS遥感图像湖泊原始HR图像及各种方法重构结果

在本文中利用生成网络模型，对测试数据集当中3种地质图像类型分别进行了3次图像超分辨率实验，这3种地质图像类型为工厂、湖泊和房屋(见图2～4)。这3次实验的原始图像如图2(a)～图4(a)所示;对比测试使用了双立方插值，其实验结果如图2(b)～图4(b)所示;对比测试还使用了SRCNN，其实验结果如图2(c)～图4(c)所示;最后对本文采用的生成网络图像超分辨率方法进行了测试，其实验结果如图2(d)～图4(d)所示。

对3种地质图像类别进行了3种超分辨率方法的对比，结果显示见图2(d)～图4(d)，生成网络相对于图2(b)～图4(b)以及双立方插值和图2(c)～图4(c)SRCNN，在图像超分辨率的效果更好。因为低分辨率图像经过生成网络模型处理后的输出图像的效果，相对于双立方插值处理后的输出图像和SRCNN处理后的输出图像来说，无论是在图像锐度还是在图像清晰度上都有较为明显的提升，图像在经过处理之后更加容易辨认遥感地质图像中的多种图像类别。

图4 USGS遥感图像房屋原始HR图像及各种方法重构结果

从图2中(c)和(d)房屋的屋顶部分的细节对比和图3中(c)和(d)湖泊码头部分的对比可以看出，生成网络进行超分辨率重构后的图像相较于SRCNN重构后的图像更为锐利，在遥感图像细节的修复上有着更好的表现，对受损图像中的复杂纹理修复效果更好，修复后的图像中的细节更丰富，更符合人眼的视觉特性。遥感图像在经过生成网络修复后，纹理与边缘更加清晰，输出图像中的物体更加容易辨认。

从表1中3种地质类型的平均PSNR指标的数据结果来看，生成网络模型在遥感地质图像超分辨率上的表现结果优于双立方插值的超分辨率方法，也优于SRCNN的图像超分辨率修复效果。而且使用生成网络进行图像超分辨率，修复后图像的SSIM数值比使用双立方插值和SRCNN进行修复后图像的SSIM数值更高，所以使用生成网络进行地质图像超分辨率修复，修复后图像在人眼视觉的主观感受上更为接近原图，图像超分辨率的效果更好。并且相对于SRCNN，生成网络模型无需使用大量图像数据集对网络进行训练，从始至终生成网络的输入只有一张等待修复的低分辨率图片，但是所取得的效果却优于经受过大量数据训练的SRCNN，并且经过生成网络修复过的图像在主观感受上变得更加锐利和清晰。

表1 重建HR图像的平均PSNR和SSIM值

3 结语

本文通过无预训练的生成网络对遥感地质图像进行了图像超分辨率实验。网络输入低分辨率的地质遥感图像，经过生成网络的不断迭代训练之后，最后实现单幅图像的超分辨率重建修复。实验证明了网络结构本身的结构对于遥感图像超分辨率的修复工作有很大影响，好的网络结构能够达到较好的超分辨率修复效果。下一步的工作将尝试改进模型的损失函数，希望能进一步提升超分辨率图像的细节与复杂纹理的修复效果。