王超 孙权森 刘佶鑫 贺金平 张从梅

（1 南京理工大学图像工程实验室，南京 210094）

（2 南京邮电大学宽带无线通信技术教育部工程研究中心，南京 210094）

（3 北京空间机电研究所，北京 100094）

0 引言

随着航天技术的发展以及遥感器性能的不断改进，卫星遥感图像的空间分辨率[1]已发展到一个崭新水平。然而，在遥感图像获取过程中，有很多因素会造成分辨率的下降，例如大气扰动、频率混叠，以及成像、传输过程中引入的噪声等[2]。由于硬件方法受到制造工艺和生产成本的限制，因此利用数字信号处理技术提高图像分辨率的方法近年来受到广泛关注，相关的方法被称为超分辨率（super resolution，SR）图像重构[3-4]。

现有的超分辨率方法大致分为三个主要研究方向：基于插值的方法、基于重建的方法和基于学习的方法。其中，基于学习的超分辨率方法由于其良好的重构结果，成为目前的研究热点。比较典型的有基于样本（example-based）的方法[5]、邻域嵌入（neighbor embedding）的方法[6]、支持向量回归方法（support vector regression，SVR）[7]和稀疏表示的方法。基于稀疏表示的超分辨率重建方法最早由Yang等在2008年提出[8]，此方法具有一定的自适应性，取得了引人瞩目的结果。Yang等又在2010年对此方法进行了改进，加入了字典训练的过程[9]，确保了高低分辨率图像块表示系数的一致性，并降低了重建的复杂度。但其缺点在于重构图像边缘相对光滑，一些细微的图像结构没有得到恢复，重构过程中稀疏系数获取速度过慢。

Elad等在Yang提出方法的基础上，在字典训练过程中采取了K-奇异值分解（K-singular value decomposition，K-SVD，其中K表示最近邻个数）算法[10]，并采用主成分分析法（principal component analysis，PCA）降低了字典的维数，重构过程中采取正交匹配追踪（orthogonal matching pursuit，OMP）的方法等，提高了超分辨率重建算法的速度和重构图像的质量（quality，以下同）。

然而遥感图像的观测范围大，纹理信息丰富，不同地物类型都有非常丰富的地貌特征。从目前稀疏编码在遥感图像重构中的应用效果来看，尽管通过一些措施（如选择度量性能较好的目标函数）能够在一定程度上提高成像质量，但由于遥感图像尺寸不断增加导致的数据海量化，以及需要引入过完备字典导致运算开销大幅增加等问题，大大降低了遥感图像稀疏重构方法的实用性。因此，如何利用现有的条件提高重构运算的效率是具有重要研究价值的课题。

本文根据遥感图像地貌特征差异的特点，在字典学习的过程中，根据地物类型的不同，训练多个字典；在重构过程中，我们先对原始图像的纹理特征进行分类，再使用维数较小的对应类别字典进行重构。这样可以在保证恢复图像质量的同时，大幅提高重构运算效率。

1 基于稀疏表示的图像超分辨率重建算法

在本节中，首先要介绍遥感图像的退化过程，然后介绍已有的基于稀疏表示的遥感图像超分辨率重建算法。

1.1 遥感图像的退化模型

低分辨率遥感图像的获取过程可表示为

式中 yL∈RNL为获取的低分辨率遥感图像，NL为低分辨率图像的维度； yH∈RNH为原始高分辨率图像，NH为高分辨率图像的维度； H:RNH→RNH为低通滤波器； S:RNH→RNL为下采样算子；v~N（ 0，σ2I）为高斯白噪声。

由此可知低分辨率遥感图像从理想高分辨率遥感图像获取的过程。根据公式（1）中的成像模型，超分辨率的问题可描述为

式中 yˆH为高分辨率图像的估计。

1.2 稀疏表示模型

设A ∈RM×τ表示过完备字典，其中M表示字典中原子的维度，τ表示字典中基原子数目，则图像块x ∈Rm（m表示图像块向量的维度）的稀疏表示模型为：

式中 α为x关于字典A的稀疏表示系数，α含有T个非零项，且满足T ＜ M ≪ τ，即α中的大部分系数等于或接近零，只有少数不等于零的大系数。

根据流行理论，图像块的局部特征在投影后基本不变，因此在α充分稀疏的条件下，高分辨率图像块可由其对应的低分辨率图像块的稀疏表示以较高的概率恢复[11]。

1.3 联合字典训练

为了保证稀疏系数的一致性，Yang提出了采用联合字典训练的方法[9]：

Elad等针对Yang的方法的缺点，提出了改进的超分辨率方法[10]。在联合字典训练过程中，对低分辨率图像块采用PCA进行降维得到低分辨率图像块集，其中nL表示低分辨率图像块的维度。然后使用K-SVD[12]对低分辨率图像块进行训练，这样可以得到对应的训练图像块集的稀疏表示系数向量｛αi｝和低分辨率字典DL，其中i表示图像块在图像中的位置。

得到低分辨率图像块稀疏表示系数向量后，我们可以得到高分辨率字典DH：

式中 PH由高分辨率训练图像块集组成； Φ =[α1,α2,…αi]为稀疏系数矩阵；αi为高分辨率图像块的稀疏表示向量。这里Φ是行满秩的，所以这里可以使用广义逆求解

这样由低分辨率图像块和高分辨率图像块位置对应的关系即可得到高分辨率字典DH。在重构过程中使用了贪婪算法中的OMP算法[14]，构建稀疏系数表示向量｛αi｝，从而得到高分辨率图像。Elad提出的方法在重构的速度及重构图像的质量方面都有了一定程度的提升。

2 基于LBP特征的分类字典学习和遥感图像超分辨率重构

遥感图像重构运算效率低的原因，主要有两方面。一方面，对于本身已经维度很高的遥感图像信号而言，引入字典虽然能解决信号稀疏性的问题，但是由于需要对整个字典进行全面遍历，这就使得运算量大幅增加。事实上，如果能够有效利用遥感图像所包含的不同地物类型的先验知识，来进一步减小字典的规模，理论上是可以大幅降低稀疏表示这一环节的运算开销的。

另一方面，遥感图像尺寸较大造成的数据海量化也是阻碍稀疏重构的一个重要因素。上面的分析也提到，作为高维信号的遥感图像，将直接导致稀疏字典规模的增长。而在稀疏编码的框架下，如果对图像数据先进行识别处理，不仅能有效获取信号的先验信息，而且其运算开销也不会对整个过程造成太大负担。

结合上述两方面，本文将遥感图像的不同地物类型作为先验类别信息，利用图像的局部二值模式（local binary pattern，LBP）特征得到分类字典，在保证重构质量的同时极大地优化了稀疏编码的搜索过程，从而达到降低运算开销的目的。

2.1 基于地物类型的遥感图像分类

进行超分辨率重构之前，需要先对所要重构的遥感图像进行分类，确定它的类别，然后使用对应类别的分类联合字典进行重构。针对遥感图像纹理信息丰富，不同地物类型的纹理信息差异大的特点，我们选择LBP特征进行分类[14]。

每个像素与邻近像素点比较灰度值大小，如果大于则置于1，如果小于则置于0，然后从确定的起始位置按照顺时针读出1或0。这样，3×3邻域内的8个点经比较可产生8位二进制数。将得到的二进制数转换为十进制数即为该像素点的LBP特征。将一幅图片划分为若干的子区域，对每个子区域内的每个像素提取LBP特征，然后，在每个子区域内建立LBP特征的统计直方图。对该直方图进行归一化处理，并将每个子区域的统计直方图进行连接成为LBP纹理特征向量。

为了对遥感图像的LBP特征进行分类，选取支持向量机（support vector machines，SVM）方法来进行分类器训练[15-16]。

使用LBP编码规则提取遥感图像的LBP纹理特征向量后，使用SVM根据遥感图像的不同类别，训练多个分类器。本文将遥感地物分为五类，经过测试，得出每一类典型地物的识别准确率，见表 1。在实际应用中，典型遥感地物的类别可以根据不同的应用需求进行确定。

表1 遥感图像LBP特征分类测试结果Tab.1 LBP features of remote sensing image classification test results

2.2 分类字典学习及超分辨率重构

根据不同的地物类型对构建的遥感图像训练库进行分类，得到多个类别的遥感图像训练库，在每个训练库上使用K-SVD的字典学习方法，训练得到分类联合字典｛D,HDL｝ω，其中ω为字典类别。

对于低分辨率遥感图像yL，首先对其进行分类，确定它的类别ω后，即可确定重构过程中需要使用的分类联合字典。然后使用双立方插值方法得出插值图像，按照字典学习过程中的方法，经过特征提取和降维后，提取出图像块集，其中i表示图像块的位置。

接下来，使用贪婪算法中的 OMP算法，构建稀疏系数表示向量｛αi｝。这样可得出高分辨率图像块估计

式中 Ri为选取图像块的线性算子。

由式（7）得出的高分辨率图像的估计与Elad方法中对高分辨率图像的估计相近。如果将高分辨率块置于适当位置，对于重叠区域取平均，然后叠加z，这样得到的结果是与Elad方法中对高分辨率L图像的估计等价的。

3 试验与评价

为了验证本文方法的超分辨率重构效果以及时间效率，使用卫星获取的遥感图像，形成了五类地形的遥感图像测试集，包括农田、城市、河流、机场、山脉，并从中选出部分图像进行测试。首先进行分类联合字典学习；然后对测试集中的部分真实遥感图像进行超分辨率重构；最后将重构的结果与不同方法进行对比，并使用客观评价指标定量分析[17]。

试验中，通过降采样后得到低分辨率遥感图像，然后使用本文提出的方法对低分辨率遥感图像进行超分辨率重构。

本文采用了峰值信噪比（peak singal to noise ratio，PSNR）和结构相似度索引（structural similarity index measurement，SSIM）为超分辨率重构结果的定量质量评价指标。PSNR值越大，SSIM值越大（最大为1），则重构图像与参考图像就越逼近，说明算法效果越好。

试验中，超分辨率重构比例为3︰1，块的大小为9×9，特征采样因子为3，字典学习过程中使用K-SVD算法，迭代次数为40次。

为了直观地比较试验结果，本文从测试集中选取了一幅城市图像展示了试验效果。图1（a）为输入的待处理低分辨率图像，图1（b）为原始的高分辨率图像。

图1 输入的低分辨率图像及原始高分辨率图像Fig.1 Input of the low resolution image and the original high-resolution image

图2为分别使用双三次插值、基于稀疏的方法和本文方法的超分辨率重构图像截取左下角区域放大后的结果，从中可以更加清楚的对比重构算法的效果。

图2 超分辨重构图像左下角放大区域效果比较Fig.2 The super-resolution image magnification of the lower left corner area

本文还测试了使用维数更大的通用字典的方法，其中试验选取的五个类别（城市、河流、农田、机场、山脉）图像各两张，对应的对比分析结果如下（样本1和2是城市，样本3和4是河流，样本5和6是机场，样本7和8是农田，样本9和10是山脉）：

图3给出了各种方法的PSNR值、SSIM值和重构时间。对比可以看出，相对于Yang的方法，本文提出的方法在重构阶段与使用通用字典的方法无论是PSNR值还是SSIM值，都要较高一些，同时运行时间大大的缩短。原因是重构时使用OMP算法，而不是Yang使用的最小绝对收缩选择算子（least absolute shrinkage and selection operator，LASSO），从而有效提高了运算速度；字典训练时使用K-SVD算法学习低分辨率字典，使用广义逆的方法学习高分辨率字典，有效提取了遥感地物的特征信息，从而使得字典更适合表示高频细节信息，最终有效提高了重构质量。与使用通用字典相比，PSNR值和 SSIM值十分接近。由图3可以看出，在保证了重构图像质量的同时，由于使用的分类字典维数比通用字典小很多，运行时间也相对缩短了很多，效率上大大提升。

图3 三种重构方法比较Fig.3 Comparison of three reconstruction methods

4 结束语

基于稀疏表示理论，本文提出了一种新的遥感图像超分辨率方法。该方法在联合字典学习的基础上引入了分类字典的概念。在超分辨率重构的过程中，首先通过插值的方法获得准高分辨率图像。然后，利用LBP特征对遥感图像进行分类识别，从而确定图像的类别。最后，使用对应的分类字典在稀疏表示的框架下完成超分辨率重构。基于真实遥感图像的对比试验表明，该方法提高了字典有效原子的比例，大大降低了字典的维数，在保证超分辨率重构效果的同时，在运行时间方面表现出了较大的优势。

References)

[1] 徐青, 遥感图像融合与分辨率增强技术[M]. 北京: 科学出版社, 2007. XU Qing. Remote Sensing Images Fusion and Resolution Enhancement Technology[M], Beijing: Science Press, 2007. (in Chinese)

[2] FARSIUS S, ROBINSON M, ELAD M. Fast and Robust Multiframe Super Resolution[J]. IEEE Trans. on Image Processing, 2004, 13(10): 327-134.

[3] HARRIS J L. Diffraction and Resolving Power[J]. JOSA, 1964, 54(7): 931-933.

[4] HUNT B R. Super-resolution of Imagery: Understanding the Basis for Recovery of Spatial Frequencies Beyond the Dif-fraction Limit[C].Proceedings of Information and Control, Adelaide, Australia, 1999: 243-248.

[5] FREEMAN W T, PASZTOR E C, CARMICHAEL O T. Learning Low-level Vision[J]. International Journal of Computer Vision, 2000, 40(1): 25-47.

[6] CHANG H, YEUNG D Y, XIONG Y, Super-resolution Through Neighbor Embedding[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2004, 1(1): 275-282.

[7] LI D, SIMSKE S, MERSEREAU R M. Single Image Super-Resolution Based on Support Vector Regression[C]. IEEE International Joint Conference on, 2007:2898-2901.

[8] YANG J, WRIGHT J, HUANG T, et al. Image Super-resolution as Sparse Representation of Raw Image Patches[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2008: 1-8.

[9] YANG J, WRIGHT J, HUANG T S, et al. Image Super-resolution Via Sparse Representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[10] ELAD M. Sparse and Redundant Representations: from Theory to Applications in Signal and Image Processing[M]. Springer, 2010: 231-237.

[11] HE Xiaofei, NIYOGI P. Locality Preserving Projections[C]. Advances in Neural Information Processing Systems. Vancouver, Canada, 2003:153-160.

[12] AHARON M, ELAD M, BRUCKSTEIN A. The K-SVD: An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representation[J], IEEE Trans. on Signal Processing, 2006, 54(11): 4311-4322.

[13] TROPP J, GILBERT A. Signal Recovery from Random Measurements Via Orthogonal Matching Pursuit[J]. Theory, 2007, 53(12): 4655-4666.

[14] 宋本钦, 李培军. 加入改进LBP纹理的高分辨率遥感图像分类[J]. 国土资源遥感, 2010, 22(4): 40-45. SONG Benqin, LI Peijun. High Resolution Remote Sensing Image Classification Based on Improved LBP Texture[J]. Land and Resources Remote Sensing, 2010, 22(4): 40-45. (in Chinese)

[15] 骆剑承, 周成虎, 梁怡, 等. 支撑向量机及其遥感影像空间特征提取和分类的应用研究[J]. 遥感学报, 2002, 6(1): 50-55. LUO Jiancheng, ZHOU Chenghu, LIANG Yi, et al. Support Vector Machine for spatial Feature and Classification of Remotely Sensed Imagery[J]. Journal of Remote Sensing, 2002, 6(1): 50-55. (in Chinese)

[16] 刘佶鑫, 孙权森, 曹国. 压缩感知稀疏识别用于多视角图像目标分类[J]. 应用科学学报, 2013, 31(2): 177-182. LIU Jixin, SUN Quansen, CAO Guo. Compressed Sparse Perception Recognition for Perspective Image Target Classification[J]. Journal of Applied Sciences, 2013, 31(2): 177-182. (in Chinese)

[17] 贺金平, 阮宁娟, 何红艳. 基于EMD的无参考图像清晰度评价方法[J]. 航天返回与遥感, 2013, 34(5): 78-84. HE Jinping, RUAN Ningjuan, HE Hongyan. No Reference Image Sharpness Evaluation Method Based on EMD [J], Spacecraft Recovery & Remote Sensing, 2013, 34(5): 78-84.( in Chinese)