张震洲 高昆* 李维 王俊伟 陈卓一 吴穹 苏云

光学遥感图像的超分辨率处理技术综述

张震洲1高昆1*李维2王俊伟1陈卓一3吴穹1苏云2

（1 北京理工大学光电成像技术与系统教育部重点实验室，北京 100081）（2 北京空间机电研究所，北京 100094）（3 中国空间技术研究院总体部，北京 100094）

光电成像系统探测器的欠采样效应、光学系统的衍射极限等诸多降晰因素影响着光学对地观测系统的分辨力。超分辨率处理技术利用信号处理的手段重建成像系统截止频率之外的信息，可以在不改变硬件设备的前提下，获得高于成像系统分辨率的图像，对于光学遥感器的设计和应用有着重要意义。文章结合了光学遥感图像退化模型和图像超分辨率处理的技术实施途径，按照基于图像重建的方法，基于学习的方法和重建与学习混合的方法进行了分类综述，对比了各种主要算法的基本特点，并对未来的发展方向进行了展望。

遥感图像 退化模型 超分辨率处理方法 评价指标 航天遥感

0 引言

自1972年第一颗地球观测卫星——陆地卫星（Landsat-1）被美国国家航空和航天局（NASA）发射升空起，对地观测技术在军事侦察，环境监测，地图绘制，全球变化分析等方面发挥着重要作用。当下，高分辨对地观测已经成为各航天大国空间技术竞争的热点，如美国“锁眼”（Keyhole，KH）系列间谍卫星，其KH-12的地面分辨率达0.1m，瞬时幅宽达40~50km[1]。然而，传输型卫星受限于成像传感器的欠采样效应与成像链路中诸多退化因素，通过在硬件水平上减小像元尺寸、改进采样模式、降低轨道高度、增大光学系统焦距等方法来提升分辨率的成本和风险都相当大[2]，因此，如何在不改变硬件的前提下获得高分辨率图像，对于遥感器的设计和应用意义重大。

超分辨率（Super-Resolution，SR）图像处理技术（简称“超分”）指在原有成像系统基础上，通过算法从单张或多张退化的低分辨率（Low Resolution，LR）图像中生成高分辨率（High Resolution，HR）图像，旨在恢复成像系统截止频率之外的信息，突破分辨率的限制。超分可分为针对欠采样效应的超分辨率重建技术（简称“超分重建”）和针对图像退化的超分辨率复原技术（简称“超分复原”）。

文献[3-4]在20世纪60年代最先提出超分的概念，从单张LR图像中重建HR图像。在此基础上，根据局部邻域相似性的多帧图像超分重建随后被提出[5]。最早的技术大多利用简单的插值，如邻近插值、双二次插值、双三次插值等。之后的研究者逐渐把超分辨率处理当成一种不适定（Ill-posed）问题，尝试通过建模求解图像采样退化的逆过程，主要在成像分析和几何分析的角度寻找解决方案。此后，结合反向传播的误差衰减方法出现[6]，为基于神经网络的方法进行了铺垫。进入90年代，基于亚像素位移的多帧超分[7]和基于多传感器图像融合[8]等开创性方法也被提出来，超分技术便开始快速发展，从单级特征增强逐渐过渡到多级特征增强。此时该领域的主要理论模型有：概率论模型、插值模型、变换域模型、机器学习和人工神经网络模型，以及一些混合模型等。2000年以后，基于深度学习（Deep Learning）的方法因具有强大的多层特征学习和表达能力而得到广泛关注，并演化出了卷积神经网络（Convolutional Neural Network，CNN）、自编码器（Autoencoder，AE）和生成对抗网络（Generative Adversarial Network，GAN）等模型。

本文将主要分析光学遥感图像的退化模型和超分辨率处理面临的挑战，分类探讨主流的算法及其对比，介绍衡量处理结果的指标，最后总结该项技术并做出展望。

1 光学遥感图像的退化模型与超分辨率处理面临的挑战

超分来源于对自然图像的研究，后被推广至遥感图像。但遥感图像包含丰富的地物类型，成像链路上存在的采样、形变、降晰、噪声等诸多退化因素以及云层、地形起伏、雾霾等光照变化导致的地面伪影等，使得遥感影像的语义信息比自然图像复杂得多，因此遥感图像的超分难度更大。

1.1 光学遥感图像的退化模型

遥感系统获取光学图像的过程可以看作是连续地物辐射信息被成像系统量化输出图像的过程。这其中辐射信息会经历一系列退化而导致图像降质，一般可归结为四个过程[9]：

1）形变过程：包含几何层面的平移、旋转、尺度变化等。光学系统产生的畸变和在成像传感器光电转换和信号扫描读出过程中，遥感平台相对地物场景的运动是导致形变的主要原因；

2）模糊过程：主要指成像模糊，可当作一个对于连续场景的低通滤波器，一般用点扩散函数（Point Spread Function，PSF）或模糊核（Blurring Kernel）描述。遥感系统成像时，探测器接收到的辐射受到大气影响，会包含地表直接反射的辐射、大气向下散射后经地表二次反射的辐射和太阳辐射向上散射的部分；此外，遥感平台振动会造成运动模糊、光学系统存在散焦模糊等，综合导致了遥感图像的模糊；

3）采样过程：包括空间和灰度级的量化，是传感器将连续景物映射到图像网格和灰度级分辨单元的过程。通常遥感图像信息量巨大，单个特征占用像素数有限，所以欠采样造成的混叠（Aliasing）效应更加明显。没有达到遥感系统最小地面分辨单元尺度的特征，会被包含在对应像素所记录的所有特征的平均亮度中无法分辨[10]；

4）噪声影响过程：遥感系统中，噪声主要由电路在转化，存储和传输信号时引入，一般用高斯噪声来表示。

上述过程如图1所示，可以表示为：

式中h和1分别表示原始HR图像和退化图像；、和分别表示采样过程、模糊过程和形变过程；表示噪声影响。式（1）可简化为式（2），其中为形变、模糊和采样的综合。

图1 HR图像到LR图像的退化过程

超分辨率处理便是求解图像降质的逆过程。由于不同HR图像采样退化后可能得到同一张LR图像，所以超分辨率处理是一个不适定问题[11]。综合来看，遥感图像比自然图像情况更复杂，但二者超分辨率处理的基本问题是相同的，所以有时会将研究自然图像的下采样退化方法迁移来应用于遥感领域[12]。

1.2 光学遥感领域中超分辨率处理面临的挑战

遥感图像的超分辨率处理主要面临以下挑战：

1）遥感成像全链路上的退化因素很多，PSF类型复杂，使得建立模型、确定先验和学习映射关系的难度增加；

2）遥感图像中光照和阴影情况复杂，语义信息丰富，针对自然图像的算法未必在遥感图像上有同样效果，特别是多帧超分中的配准和插值会受到严重影响；

3）星上应用时需要处理过程高速，输出具有时效性，这对算法的时间和空间复杂度、鲁棒性等有特别要求；

4）现有基于统计的图像质量（quality，全文同）评价指标没有很好的权衡人眼的主观感受。

2 光学遥感图像的超分辨率处理方法

超分的实现思路主要有根据采样退化模型与先验约束重建HR图像和学习LR与HR图像间的映射关系两类。本文根据算法思路和发展脉络，分类为基于图像重建的方法，基于学习的方法和重建与学习混合的方法。

2.1 基于图像重建的方法

基于图像重建的方法通过提取LR图像中的特征并将其映射到HR图像中来避免分辨率提升后产生的模糊与混叠，最终在HR尺度上获得同LR图像一样的感知属性，大致可分为基于插值的衍生方法、概率论方法和变换域方法。

（1）基于插值的衍生方法

插值衍生的方法建立在简单插值方法基础上。先配准图像，再把LR图像插值到标定好的HR网格中进行重建，最后通过去模糊和降噪提升图像质量。

迭代反向投影（Iterative Back-Projection，IBP）最初用于多帧超分重建[13]，现也可用于单帧重建。该方法先由真实LR图像猜想一个HR图像，再将估计HR图像采样退化得到估计LR图像，计算两个LR图像之间的重建误差并将其反向投影来循环优化初始猜想，直到满足收敛条件得到最终的HR图像。第次重建误差由式（3）给出：

PSF反卷积方法是站在图像复原角度的方法。其理论认为形变和模糊过程都可以归结为成像系统的PSF退化，LR图像由HR图像与PSF卷积后再采样并添加噪声得到。过程由式（5）表示：

（2）基于概率模型的方法

针对超分辨率处理的不适定性，通过先验条件和正则化约束将其转换为适定问题的基于概率模型的方法就成为一种直观的解决思路。

贝叶斯理论是结合了数据信息和先验信息的预测方法，在超分领域有广泛的应用。最大后验概率估计（Maximum A Posteriori Probability，MAP）是典型基于贝叶斯理论，把HR和LR图像当作两个随机过程来在已知LR图像的基础上估计HR图像的方法。h的概率表示为：

有学者提出基于全局隐马尔可夫树（Universal Hidden Markov Tree, Universal HMT）的最大后验概率方法来实现遥感图像超分辨率重建[18]，其通过在小波域的隐马尔可夫树理论为多帧LR图像超分提供先验，仿真结果在Landsat-7卫星的全色图片上验证了算法的有效性。还有学者提出了基于最大后验概率估计的迭代优化方法进行遥感全色图像的超分辨率处理[19]，该方法参考一个HR全色图像信息来通过灰度级映射更好地利用高频细节，同时还保持了图像的光谱特性；该方法在实现了良好效果的同时只损失了很小一部分光谱信息。

正则化约束可选择全变分正则化、Tikhonov正则化、变指数正则化等[20]。Tikhonov正则化可以较好地去除噪声，但容易过渡平滑边界信息；全变分正则化能很好的保留图像中的边界信息，但可能产生伪边界；变指数正则化兼有上述两者的优势，但计算过程更复杂[21]。此外还可以对上述方法做简单的改进，如针对遥感图像处理的区域自适应全变分正则化[22]方法能在一定程度上缓解伪边界的问题。

（3）基于变换域的方法

在频率域角度具有对图像进行像素变化分析的优势，能在相对简单的计算复杂度下控制图像不同频率分量，特别是增强图像高频分量。基于变换域的方法可分为四步：图像配准、域变换操作、图像重建和逆变换到空间域。该方法要求域变换操作尽量避免光谱混叠，但也难免在逆变换时丢失一些信息。主要的域变换方法有傅里叶变换和小波变换。超分中该方法常与其他方法结合使用，如文献[17-18]。有学者用基于离散小波变换后图像和输入图像插值的方法实现超分辨率处理，其中以稳定小波变换作为中间步骤增强变换域高频分量[23]。还有学者利用两阶段的离散小波变换并结合亚像素平移技术通过多帧全色LR遥感图像得到具有清晰细节的HR遥感图像[24]。

2.2 基于学习的方法

基于学习的方法可以拟合复杂的数学模型来近似图像块之间的映射关系，可根据其发展分为基于传统机器学习的方法和基于深度学习的方法。

（1）基于传统机器学习的方法

传统学习方法也称浅层学习方法，学习得到的映射关系往往是卷积核，对照表或图像块间的简单映射。主要步骤有数据集建立、样本学习和HR图像生成[25]。传统学习方法主要有邻域嵌入（Neighbor Embedding）、稀疏表示（Sparse Representation）和映射回归（Mapping & Regression）等。

邻域嵌入方法建立于流形学习（Manifold Learning）的基础上。其假设对应的LR与HR图像块在各自特征空间有相同的流形结构，用某一图像块的特征向量在多大程度上可以被其特征空间的邻域表示来描述。当样本足够多时，便可以先在LR样本集中找到目标LR图像块的邻近样本，学习近邻关系，再将这种关系迁移到HR样本集中，最后目标HR图像块根据其近邻样本生成。有学者在基础方法上添加HR图像的局部相容性和平滑性约束[26]。还有学者将其与稀疏编码，回归等方法结合引出更先进的方法[27]。

稀疏表示方法利用图像内在的稀疏性，通过学习HR图像块集合与LR图像块集合的字典，编码已知的LR图像，再将编码用于HR图像块字典中生成HR图像。除上述标准步骤外，往往还需后续的全局约束，如利用重建误差等。此外，还可以改进训练数据预处理方法以及在图像生成阶段施加正则化约束[28]。文献[29]采用引入了分类字典概念的字典学习提升最终效果；文献[30]用稀疏字典和残差字典共同学习，前者帮助重建初始HR图像，后者修补前者损失的信息。

映射回归方法把超分当作HR和LR空间的回归问题，目的在于直接学习LR图像到HR图像的映射来实现超分。不过该方法容易陷入过拟合的情况，一般要通过正则项约束。典型应用有利用核脊回归（Kernel Ridge Regression，KRR)[31]和支持向量回归（Support Vector Regression，SVR）的方法。有学者用SVR方法学习遥感图像中高频分量的先验知识，用Landsat ETM+卫星图像生成ASTER卫星图像，该方法在较少样本数的情况下依然能实现良好的效果[32]。

（2）基于深度学习的方法

深度学习方法是基于人工神经网络的新兴方法，也是现在超分辨率处理的主要研究方向。深度神经网络可以学习大量数据的分层表示，能提取有效的高层特征拟合复杂的数学模型来实现LR图像空间到HR图像空间的复杂映射。其通过优化函数利用被反向传播到各层处的误差来优化各层参数，从而不断提升映射的准确性。相比传统算法，深度学习方法在量化指标和感知指标上都有更好的提升，但是对计算机算力和存储资源要求较高，本文将深度神经网络分为卷积神经网络CNN，生成对抗网络GAN和自编码器AE来介绍。

卷积神经网络由卷积层搭建而成，卷积层以卷积操作为基本运算函数，另外CNN还利用激活函数、池化层、正则化层等增强网络性能并加快网络收敛速度。用神经网络进行图像超分辨率处理的先例超分辨CNN（Super-Resolution Convolutional Neural Network，SRCNN）[33]是一个简单的三层卷积神经网络，先对输入LR图像提取特征，再通过非线性映射得到HR图像特征，最后重建HR图像（如图2所示），首次基于神经网络实现了端到端映射的超分辨率处理。在此基础上，快速SRCNN（Fast SRCNN，FSRCNN）[34]被提出来，其利用反卷积层提升分辨率来避免一些直接插值的副作用。亚像素卷积神经网络（Efficient Sub-Pixel Convolutional Neural Network，ESPCN）[35]则采用多层特征提取和亚像元卷积提升分辨率，可在减小运算量的同时提升上采样效果。之后，深度超分辨网络（Very Deep Super Resolution Network，VDSR）[36]证明了网络深度越深，学习高维特征的能力越强，超分能力也越强。不过更深的网络训练起来更加困难，所以需要一些技巧来促进网络的收敛，如利用残差结构，循环结构等。从此基于深度学习的超分辨率处理迎来了爆发式发展，各式各样的网络被提出来，同时应用也由自然图像发展至遥感图像。针对遥感图像的深度残差网络（ResNet-Deep Residual Network，RS-DRL）[37]就是基于SRCNN网络来提取特征，并取得了比VDSR更好的效果。此后，为了进一步增强网络针对遥感图像的处理能力，具有各种特殊结构的网络涌现出来，如具有自适应多尺度特征融合结构的网络[12]，具有局部和全局特征联合结构的网络[38]，具有混合高阶注意力结构的网络[39]和具有深度循环结构的网络[40]等等。这些方法都在特定的数据集上取得了很好的效果。

图2 SRCNN结构图

生成对抗网络是基于生成网络发展而来的非监督学习方法[41]。由两部分构成：生成网络和判别网络，应用于超分领域时，前者以LR图像作为输入，输出模仿真实HR图像的样本，而后者接受生成的样本和真实的样本，并将它们尽可能分辨开，两个网络相互博弈对抗，共同训练最后达到平衡。最初采用该方法的超分辨GAN（Super-Resolution GAN，SRGAN）[42]，便迁移了原始的生成对抗原理，通过GAN训练出强大的生成器，结构如图3所示。在此基础上，针对遥感图像边界信息增强的GAN被提出来[43]，该网络对轮廓处的噪声鲁棒性很强，能生成增强了轮廓信息的HR图像，其结果优于SRCNN和SRGAN。此后，多种借鉴了自然图像超分的GAN被用于遥感领域[44]。但遥感图像中的低频信息显著多于自然图像，所以直接迁移用于自然图像的GAN容易造成判别器迷惑，对此有学者提出联合式对抗训练来解决上述问题[45]。总体来看，GAN优势在于生成高频细节的能力更强，但是训练更加困难且不稳定，另外有时生成的细节会偏离真实性，这在遥感领域是要避免的。

图3 SRGAN网络结构[33]

自编码器结构类似普通的神经网络，但是要求输入层与输出层的神经元数量相等，并且在中间神经元较少的隐藏层部分提取高维特征，结构如图4所示。通过AE将LR图像和HR图像分别编码，得到各自的高维特征并建立二者的映射关系，最后便可通过：LR图像→LR图像高维特征→HR图像高维特征→HR图像的步骤实现超分辨率处理。基于AE的方法在超分领域应用相对较少。有学者提出基于独立堆叠AE的两段式神经网络来实现多分辨率分析[46]：第一阶段通过两个AE借助真实HR图像构建全色LR图像，其中第二个AE的训练特征来自于前一个AE的输出；第二阶段再通过图像间的关系和LR图像生成HR多光谱图像。由于稀疏编码算法在减轻网络模型和缓解训练压力的问题上有优越性，结合了深度网络的稀疏编码器突出了提取深层特征的能力，故在遥感领域表现好于浅层稀疏编码，如全局联合字典模型[47]和联合稀疏自编码器[48]等。

图4 自编码器网络结构[42]

2.3 重建和学习的混合方法

混合方法兼有图像重建方法和学习方法的特征，目的在于互补两者的缺点[11]：基于图像重建的算法将LR图像插值到HR图像的分辨率不能生成缺少的高频细节，而且会不可避免地产生模糊；基于学习的算法能生成缺失的高频细节，但是需要大量的图像数据且效果非常依赖于训练数据集的质量。总体上混合方法是这两者的一种权衡。

基于图像重建和传统机器学习的混合方法大多探索图像内容的冗余信息，如相同或不同尺度上的重复纹理结构等[11]，生成模型利用冗余信息重建HR图像[49-50]，区别大多在于信息的搜索和利用方法上。也有一些混合方法结合了多类方法，如利用最大后验概率-马尔可夫随机场（Markov Random Field, MRF）模型来缓解不适定性、混叠、噪声、模糊等问题[51]：先训练得到HR图像的近似，进而估计一个离散马尔可夫随机场并以此作为先验，再通过粒子群优化算法优化上述模型来生成HR图像。前文所述方法[18]也有类似的特性。

深度学习在混合方法中应用较少，大多与变换域方法结合。如利用小波变换并训练多个频率段的CNN来实现超分辨率处理[52]，类似还有利用小波变换和局部与全局残差结合的CNN生成HR图像[53]。总结大致过程为：小波变换分解LR图像为不同频率分量，利用神经网络预测高频分量，通过逆小波变换得到HR图像。

2.4 超分辨率处理方法对比分析

基于图像重建的方法在特定采样退化情况下可以实现很好的效果，特别在缓解模糊和增强图像边界信息的层面上。这类方法通过数学模型分析图像退化过程，需要先验知识作为约束。但弊端也很明显：遥感图像的退化过程非常复杂，很难用数学模型来模拟，而且复杂的模型求解十分困难。在大尺度超分辨率处理时，由于先验条件不足，效果会很差。此外，这类方法无法生成原本没有的高频细节，只适合简单特定的应用场景。基于传统学习的方法通过学习浅层映射关系，一定程度上避免了建立数学模型的困难，在特定领域的小数据集上可以实现很好的效果，而且能生成缺失的细节信息。但缺点是习得的映射关系基于浅层特征，往往需要专业知识人为设计特征，此外还倾向于过拟合训练数据，不适合将学习结果直接应用到多样的图像数据中。这种方法适用于有一定训练数据的特定类型场景。基于深度学习的方法可以提取图像多层次的特征并在更高层次学习图像特征间的映射关系，从而得到表征能力强的映射。这种方法效果最好，同时对图像类型泛化能力强，且适用于多尺度的超分辨率处理。特别是CNN和GAN，前者在统计量化指标上表现突出，后者在感知指标上表现突出。但这种方法对数据集的要求非常高，表现强烈依赖于数据集质量，对系统算力和存储量的要求也很高，且网络的设计和训练难度较大。这种方法适用于对处理效果要求较高的场景。虽然如此，深度学习的突出优势使得其已经成为当前研究的主流方向。混合方法主要以结合传统学习方法为主，其综合了图像退化建模和学习映射的优势，权衡了图像重建产生模糊和学习方法依赖数据集的问题，在特定类型的图像数据上进一步提升效果。但这种方法依然对退化及图像类型有依赖性，泛化能力不强。结合了深度学习的混合方法表现趋近于深度学习的效果。

总结各类方法如表1，混合方法随具体算法不同，指标变化较大，表中不做说明。

表1 基于图像重建的方法与基于学习的方法对比

3 超分辨率处理结果的评价方法

超分辨率处理结果的评价方法有主观和客观两类。主观评价方法依据人眼主观感知评价图像，如平均意见得分测试。客观评价方法利用基于数学统计的量化指标给图像打分。客观评价方法又可根据是否需要参考图像分为有参评价方法和无参评价方法。所有评价方法中，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似度（Structural SIMilarity，SSIM）是使用最广泛的方法。

3.1 有参评价方法

（1）峰值信噪比PSNR

由像素值可能的动态范围和均方误差来定义，公式如下：

式中 MSE为均方误差，公式为：

（2）结构相似度SSIM

式中1=0.01，2=0.03。SSIM越高，结果越好。

（3）特征相似性（Feature SIMilarity，FSIM）

FSIM考虑到人眼依赖中低级特征信息理解图像，衡量与结构信息有关的一致性[55]。公式为：

（4）全局图像质量评价（Q-index）

Q-index基于图像的相关性，亮度和对比度进行评价[56]，分别对应公式右端三个部分：值越高，结果越好。

3.2 无参评价方法

无参评价方法分为基于退化的方法和基于训练的方法，前者需事先确定退化模型，后者需事先训练得到HR图像的统计信息。一般基于训练的方法更符合人的主观判断[57]。

（1）盲/无参考图像质量评估（Blind/Referenceless Image Spatial Quality Evaluator，BRISQUE）

BRISQUE[58]基于图像亮度符合高斯分布这一假设。首先提取规定化图像的像素统计特性，再用高斯分布拟合，得到大量图像统计特性的特征向量，最后用习得的特征向量预测图像得分。得分越高，图像质量越好。原论文作者用支持向量机（Support Vector Machines，SVM）实现。

（2）基于感知特征的无参考图像质量评价（Perception based Image Quality Evaluator，PIQE）

PIQE[59]先分块图像，用其中像素变化较大的块进行畸变角度和噪声角度的评估，将存在失真的块分为畸变块和噪声块，再分别用畸变评价标准和噪声评价标准评判，最后综合衡量图像的退化水平并得出结果。PIQE越低，图像质量越好。

（3）自然图像质量评价模型（Natural Image Quality Evaluator，NIQE）

NIQE[60]使用无畸变训练集，提取像素统计特性拟合一个多变量高斯分布，再用这种分布和输入图像统计特征的距离作为评价得分。NIQE越低，图像质量越好。

4 结束语

超分辨率处理一直以来是图像处理领域的一大热点，特别在遥感领域有非常重要的应用价值。本文综述了遥感领域图像超分辨率处理技术，将其归类为基于图像重建的方法，基于学习的方法和重建与学习混合的方法。目前，基于图像重建的方法相对成熟，基于学习的方法的视觉效果较好，但距离实用还有较大差距。笔者认为光学遥感图像超分辨率处理方法主要有如下几个发展方向：

1）寻求更准确和全面的遥感全链路图像退化模型（如考虑了空间移变效应的退化模型）。这不仅利于估计点扩散函数和噪声，也使结果更符合实际；

2）压缩域的超分辨率重建。受限于天–地数据传输的带宽，原始遥感图像数据需经过有损压缩后传输到地面，很多图像细节信息因此丢失；而未来以压缩感知（Compressed Sensing，CS）为代表的压缩采样技术如果能应用在遥感成像，就意味着超分辨率处理算法需要综合考虑成像模型和压缩算法带来的图像降质、运动补偿、编码传输机制等来实现压缩域的图像处理；

3）设计面向复杂场景的深度网络模型及建立高质量数据集。遥感图像在较小视域内压缩了大量的地理信息且场景富于变化，因此复杂场景下描述遥感图像语义特征非常困难。目前基于深度学习的超分算法效果强烈依赖于训练数据集的规模和质量，对于数据集以外的场景难以取得理想效果，或者虽能生成符合人眼感官的清晰细节，但与真实地物细节有较大差异。因此设计高性能的深度学习网络，特别是研究面向乏样本的少量学习（Few-shot Learning）网络，解决超分问题的不适定性，实现对复杂遥感图像端对端的准确映射，是未来学习类算法研究的重要内容；

4）效率和鲁棒性问题。目前效果较好的算法往往计算复杂度较高，不利于快速处理。如何减少计算量，提高算法速度，实现星上处理等问题非常值得研究。此外，很多算法做了各种假设，如照度不变等，这在实际成像中难以满足，因此算法的鲁棒性也需要深入研究；

5）超分算法评价指标的研究。主流的PSNR、SSIM等指标并不能与人主观感受一致，这对结果评判带来很大的困扰，因而适用于超分辨率处理的图像质量评价标准仍然需要进一步研究。

[1] 宋宏伟, 郑团结. 新型卫星成像系统的进展与思考[J]. 影像技术, 2011, 23(1): 40-44.SONG Hongwei, ZHENG Tuanjie. Advancement and Consideration of Novel Satellite Imaging Systems[J]. Image Technology, 2011, 23(1): 40-44. (in Chinese)

[2] 孙涛, 林立宇, 孙夫雄, 等. 光学遥感影像复原与超分辨重建[M]. 北京: 国防工业出版社, 2012: 55-63.SUN Tao, LIN Liyu, SUN Fuxiong, et al. Optical Remote Sensing Image Restoration and Super-resolution Reconstruction[M]. Beijing: National Defense Industry Press, 2012: 55-63. (in Chinese)

[3] HARRIS J L. Diffraction and Resolving Power[J]. Journal of the Optical Society of America, 1964, 54(7): 931-933.

[4] GOODMAN J W. Introduction to Fourier optics[M]. Roberts & Company Publishers, 2004.

[5] TSAI R, HUANG T. Multiframe Image Restoration and Registration[J]. Advances in Computer Vision and Image Processing, 1984, 1(2): 317-339.

[6] RUMELHART D E, HINTON G E, WILLIAMS R J. Learning Representations by Back-propagating Errors[J]. Nature, 1986: 533-536, 323.

[7] PELEG S, KEREN D, SCHWEITZER L. Improving Image Resolution Using Subpixel Motion[J]. Pattern Recognition Letters, 1987, 5(3): 223-226.

[8] NGUYEN N, MILANFAR P, GOLUB G. A Computationally Efficient Superresolution Image Reconstruction Algorithm[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 2001, 10(4): 573-583.

[9] PAPATHANASSIOU C, PETROU M. Super Resolution: An Overview[C]// 2005 IEEE International Geoscience & Remote Sensing Symposium, July 25-29, 2005, Seoul, South Korea. IEEE, 2005.

[10] ROHITH G, KUMAR L S. Paradigm Shifts in Super-resolution Techniques for Remote Sensing Applications[J]. The Visual Computer, 2020(9). DOI:https://doi.org/10.1007/s00371-020-01957-8.

[11] FERNANDEZ-BELTRAN R, LATORRE-CARMONA P, PLA F. Single-frame Super-resolution in Remote Sensing: A Practical Overview[J]. International Journal of Remote Sensing, 2017, 38(1/2): 314-354.

[12] WANG X, WU Y, MING Y, et al. Remote Sensing Imagery Super Resolution Based on Adaptive Multi-scale Feature Fusion Network[J]. Sensors (Basel, Switzerland), 2020, 20(4): 1919-1922.

[13] IRANI M, PELEG S. Improving Resolution by Image Registration[J]. GVGIP: Graphical Models and Image Processing, 1991, 53(3): 231-239.

[14] LI F, DONALD F, JIA X. Improved IBP for Super-resolving Remote Sensing Images[J]. Geographic Information Sciences, 2006, 12(2): 106-111.

[15] OSKOUI-FARD P, STARK H. Tomographic Image Reconstruction Using the Theory of Convex Projections[J]. IEEE Transactions on Medical Imaging, 2002, 7(1): 45-58.

[16] AGUENA, MLS, MASCARENHAS, NDA. Multispectral Image Data Fusion Using POCS and Super-resolution[J]. Computer Vision & Image Understanding, 2006, 102(2): 178-187.

[17] ZHAO N, WEI Q, BASARAB A, et al. Fast Single Image Super-resolution[EB/OL].[2020-20-20]. https://www.researchgate. net/publication/282402920_Fast_Single_Image_Super-Resolution.

[18] LI Feng, JIA Xiuping, FRASER D. Universal HMT Based Super Resolution for Remote Sensing Images[C]// Proceedings - International Conference on Image Processing, October 12-15, 2008, San Diego, 2008. IEEE, 2008.

[19] WANG S, ZHUO L, LI X. Spectral Imagery Super Resolution by Using of a High Resolution Panchromatic Image[C]//2010 3rd International Conference on Computer Science and Information Technology, July 9-11, 2010, Chengdu, China. IEEE, 2010. DOI:10.1109/ICCSIT.2010.5565205.

[20] TIKHONOV A N. Regularization of Incorrectly Posed Problems[J]. Soviet Mathematics Doklady, 1963, 4(6): 1624-1627.

[21] GAO K, ZHU Z, DOU Z, et al. Variable Exponent Regularization Approach for Blur Kernel Estimation of Remote Sensing Image Blind Restoration[J]. IEEE Access, 2018, 6(1): 4352-4374.

[22] YUAN Q, YAN L, LI J, et al. Remote Sensing Image Super-resolution via Regional Spatially Adaptive Total Variation Model[C]// IGARSS 2014–2014 IEEE International Geoscience and Remote Sensing Symposium, July 13-18, 2014, Quebec City, Canada. IEEE, 2014. DOI:10.1109/IGARSS.2014.6947126.

[23] DEMIREL H, ANBARJAFARI G. IMAGE Resolution Enhancement by Using Discrete and Stationary Wavelet Decomposition[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 2011, 20(5): 1458-1460.

[24] ROHITH G, VASUKI A. A Novel Approach to Super Resolution Image Reconstruction Algorithm from Low Resolution Panchromatic Images[C]//2015 3rd International Conference on Signal Processing, Communication and Networking (ICSCN), March 26-28, 2015, Chennai, India. IEEE, 2015.

[25] 谢海平, 谢凯利, 杨海涛. 图像超分辨率方法研究进展[J]. 计算机工程与应用, 2020, 56(19): 34-41.XIE Haiping, XIE Kaili, YANG Haitao. Research Progress of Image Super-resolution Methods[J]. Computer Engineering and Applications. 2020, 56(19): 34-41. (in Chinese)

[26] CHANG H, YEUNG D Y, XIONG Y. Super-resolution Through Neighbor Embedding[EB/OL]. [2020-10-20]. https://www. researchgate.net/publication/4082219_Super-resolution_through_neighbor_embedding.

[27] TIMOFTE R, DE V, GOOL L V. Anchored Neighborhood Regression for Fast Example-based Super-resolution[C]// IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, NSW, Australia. IEEE, 2014.

[28] DONG W, ZHANG L, SHI G, et al. Image Deblurring and Super-resolution by Adaptive Sparse Domain Selection and Adaptive Regularization[J]. IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[29] 王超,孙权森, 刘亚洲, 等. 基于分类字典学习的遥感图像超分辨率方法[J]. 航天返回与遥感, 2015, 36(6): 72-79.WANG Chao, SUN Quansen, LIU Yazhou, et al. Remote-sensing Image Super-resolution Algorithm Based on Classified Dictionary Learning[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(6): 72-79. (in Chinese)

[30] ZHANG Y, WU W, DAI Y, et al. Remote Sensing Images Super-resolution Based on Sparse Dictionaries and Residual Dictionaries[C]// 2013 IEEE International Conference on Dependable, December 21-22, 2013, Chengdu, China. IEEE, 2014.

[31] KIM K I, KWON Y H. Single-image Super-resolution Using Sparse Regression and Natural Image Prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 32(6): 1127-1133.

[32] ZHANG H, HUANG B. Scale Conversion of Multi Sensor Remote Sensing Image Using Single Frame Super Resolution Technology[C]// 2011 19th International Conference on Geoinformatics, June 24-26, 2011, Shanghai, China. IEEE, 2011.

[33] DONG C, LOY C C, HE K, et al. Image Super-resolution Using Deep Convolutional Networks[J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 2016, 38(2): 295-307.

[34] DONG C, LOY C C, TANG X. Accelerating the Super-resolution Convolutional Neural Network[EB/OL].[2020-10-20]. https://link.springer.com/chapter/10.1007/978-3-319-46475-6_25.

[35] SHI W, CABALLERO J, FERENC HUSZAR, et al. Real-time Single Image and Video Super-resolution Using an Efficient Sub-pixel Convolutional Neural Network[J]. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1874-1883.

[36] KIM J, LEE J K, LEE K M. Accurate Image Super-resolution Using Very Deep Convolutional Networks[J]. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1646-1654.

[37] HUANG N, YANG Y, LIU J, et al. Single-image Super-resolution for Remote Sensing Data Using Deep Residual-learning Neural Network[C]// 24th International Conference on Neural Information Processing, October 10-26, 2017 Guangzhou, China. Springer, 2017.

[38] LEI S, SHI Z, ZOU Z. Super-resolution for Remote Sensing Images via Local-global Combined Network[J]. IEEE Geoscience & Remote Sensing Letters, 2017(8): 1-5.

[39] ZHANG Dongyang, SHAO Jie, LI Xinyao, et al. Remote Sensing Image Super-resolution via Mixed High-order Attention Network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020: 1-14. DOI: 10.1109/TGRS.2020.3009918.

[40] JIANG K, WANG Z, YI P, et al. Deep Distillation Recursive Network for Remote Sensing Imagery Super-resolution[J]. Remote Sensing, 2018, 10(11): 1700.

[41] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative Adversarial Networks[EB/OL]. [2020-10-20]. https://www.researchgate.net/publication/263012109_Generative_Adversarial_Networks.

[42] LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic Single Image Super-resolution Using a Generative Adversarial Network[EB/OL]. [2020-10-20]. https://www.researchgate.net/publication/308152499_Photo-Realistic_Single_Image_Super- Resolution_Using_a_Generative_Adversarial_Network.

[43] JIANG K, WANG Z, YI P, et al. Edge-enhanced GAN for Remote Sensing Image Superresolution[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019: 5799-5812.

[44] MA W, PAN Z, GUO J AND LEI B, Super-resolution of Remote Sensing Images Based on Transferred Generative Adversarial Network[C]// 2018 IEEE International Geoscience and Remote Sensing Symposium, November 5, 2018,Valencia, Spain. IEEE, 2018: 1148-1151.

[45] LEI S, SHI Z, ZOU Z. Coupled Adversarial Training for Remote Sensing Image Super-resolution[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 58(5): 3633-3643.

[46] AZARANG A, GHASSEMIAN H. A New Pansharpening Method Using Multi Resolution Analysis Framework and Deep Neural Networks[C]// 2017 3rd International Conference on Pattern Recognition & Image Analysis, April 19-20, 2017, Shahrekord, Iran. IEEE, 2017.

[47] HOU B, ZHOU K, JIAO L. Adaptive Super-resolution for Remote Sensing Images Based on Sparse Representation with Global Joint Dictionary Model[J]. IEEE Transactions on Geoscience & Remote Sensing, 2017, 56(4): 2312-2327. DOI: 10.1109/TGRS.2017.2778191.

[48] SHAO Z, WANG L, WANG Z, et al. Remote Sensing Image Super-resolution Using Sparse Representation and Coupled Sparse Autoencoder[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(8): 2663-2674.

[49] GLASNER D, BAGON S, IRANI M. Super-resolution from a Single Image[C]// 2009 IEEE International Conference on Computer Vision, September 29-October 2, Kyoto, Japan. IEEE, 2009.

[50] HUANG J B, SINGH A, AHUJA N. Single Image Super-resolution from Transformed Self-exemplars[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition, June 7-12, 2015, Boston, MA, USA. IEEE, 2015.

[51] GAJJAR P P, JOSHI M V. Zoom Based Super-resolution: A Fast Approach Using Particle Swarm Optimization[C]// 4th International Conference on Image and Signal Processing, ICISP, 2010, Trois-rivières, Qc, Canada. Berlin: Springer-Verlag, 2010.

[52] WANG T, SUN W, QI H, et al. Aerial Image Super Resolution via Wavelet Multiscale Convolutional Neural Network[EB/OL]. [2020-10-20].https://www.researchgate.net/publication/323791121_Aerial_Image_Super_Resolution_via_Wavelet_Multiscale_ Convolutional_Neural_Networks.

[53] MA W, PAN Z, GUO J, et al. Achieving Super-resolution Remote Sensing Images via the Wavelet Transform Combined with the Recursive Res-net[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(6): 3512-3527.

[54] WANG Z, BOVIK A C, SHEIKH H R, et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 1-14.

[55] ZHANG L, ZHANG L, MOU X, et al. FSIM: A Feature Similarity Index for Image Quality Assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

[56] WANG Z, BOVIK A C. A Universal Image Quality Index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84.

[57] BOVIK A C. Perceptual Video Processing: Seeing the Future [J]. Proceedings of the IEEE, 2010, 98(11): 1799-1803.

[58] MITTAL A, MOORTHY A K, Fellow, et al. No-reference Image Quality Assessment in the Spatial Domain[J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695-4708.

[59] VENKATANATH N, PRANEETH D, MARUTHI C B, et al. Blind Image Quality Evaluation Using Perception Based Features[C]// 2015 Twenty First National Conference on Communications (NCC), February 27-March 1, 2015, Mumbai, India. IEEE, 2015.

[60] MITTAL A. Making a Completely Blind Image Quality Analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

A Survey on the Optical Remote Sensing Image Super-resolution Technology

ZHANG Zhenzhou1GAO Kun1*LI Wei2WANG Junwei1CHEN Zhuoyi3WU Qiong1SU Yun2

（1 Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education, Beijing Institute of Technology, Beijing 100081, China）（2 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（3 Institute of Spacecraft System Engineering, CAST, Beijing 100094, China）

The under-sampling effect of detectors in the photoelectric imaging system, the diffraction limit of the optical system, and many other degradation factors affect the resolving power of the optical earth observation system. The super-resolution technology can reconstruct the information beyond the cut-off frequency of the imaging system through signal processing, and can obtain images with higher resolution without changing the hardware, which is of great significance to the design and application of optical remote sensors. Combining the optical remote sensing image degradation model and the implementation method of the super-resolution technology，the basic characteristics of the various super-resolution algorithms are summarized and compared according to the classification method based on image reconstruction, the learning-based method and hybrid methods. Also, a prospect for the future development direction is given.

remote sensing image; degradation model; super-resolution method; evaluation metric; space remote sensing

P407.8

A

1009-8518(2020)06-0021-13

10.3969/j.issn.1009-8518.2020.06.003

2020-10-25

国家自然科学基金（61875013）；装备预研航天科技联合基金（6141B061004）

张震洲, 高昆, 李维, 等. 光学遥感图像的超分辨率处理技术综述[J]. 航天返回与遥感, 2020, 41(6): 21-33.

ZHANG Zhenzhou, GAO Kun, LI Wei, et al. A Survey on the Optical Remote Sensing Image Super-resolution Technology[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(6): 21-33. (in Chinese)

张震洲，男，1996年生，现在北京理工大学光电学院光学工程专业攻读硕士学位。研究方向为遥感图像处理。E-mail：zhangzz@bit.edu.cn。

（编辑：毛建杰）