康军梅，隋立春，2，李 丽，杨振胤，丁明涛，王 君

KANG Junmei1,SUI Lichun1，2,LI Li1,YANG Zhenyin1,DING Mingtao1,WANG Jun1

1.长安大学，西安 710054

2.地理国情监测国家测绘地理信息局工程中心，西安 710054

1.Chang’an University,Xi’an 710054,China

2.National Geographic Condition Monitoring National Mapping Geographic Information Bureau Engineering Center,Xi’an 710054,China

1 引言

遥感技术作为获取地物信息的重要手段，在国民经济、对地观测等领域起着重要的作用。遥感影像的空间分辨率是衡量遥感影像质量的关键性指标，利用分辨率高的影像可获得更为丰富和精致的地物细节，提高遥感影像的应用潜力。然而在遥感领域，受成像环境、成像平台、传感器成本等多方面的制约，通常难以获得满足实际应用的影像。超分辨率（Super Resolution，SR）方法不仅可以提高遥感影像的空间分辨率，而且成本较低，已成为遥感影像分辨率提升领域研究的热点。SR方法通过一幅或多幅低分辨率（Low Resolution，LR）图像重建高分辨率（High Resolution，HR）图像，从而提高图像的空间分辨率[1]。其关键技术是获得额外附加信息来弥补降质过程中损失的细节信息[2]。

SR方法可分为基于插值的、基于重建的和基于学习的方法，其中基于学习的方法[3-4]通过训练样本图像学习LR图像与HR图像之间的关系，从输入LR图像上重建出需要的HR图像。此类方法充分运用了图像的先验知识，对图像细节恢复较好。目前，由于机器学习和压缩感知研究不断深入，基于稀疏编码以及字典学习的SR重建已成为学者们研究的热点[5]。Glasner等[5]提出利用图像自身冗余信息来建立样本库的SR算法，将测试图像采用不同尺度进行插值运算组成样本库。该算法虽然充分利用图像的冗余信息，但其自适应能力差。Yang等[6-8]提出一种基于稀疏表示的SR算法，其中利用大量的HR图像构成图像库组成字典学习的训练样本，通过联合字典训练学习。该算法重建的图像具有较好的视觉效果，但是运算复杂度高，需消耗大量时间进行字典学习，降低了SR重建的速度。Zeyde等[9]提出一种单幅图像超分辨率（Single Image Scale-up Super-Resolution，SSSR）算法，其中HR字典和LR字典单独进行学习，且在LR字典学习时对图像块进行降维，在HR字典学习时利用伪逆式简化，大幅提高了SR重建的速度。倪浩等[10]提出一种基于双正则化参数的在线字典学习SR算法，该算法利用在线字典学习方法，将两个不同的正则化参数运用于字典学习阶段以及图像重建阶段。该算法使字典训练精度有所提高，且字典学习阶段稀疏系数以及图像重建阶段稀疏系数独立可调。本文借鉴文献[9]和文献[10]的方法，提出了一种基于双稀疏度的K-SVD字典学习SR重建算法。算法通过K-SVD学习LR字典及其稀疏系数，将得到的稀疏系数引入至HR字典学习中，实现对高分辨率字典的优化更新。在LR、HR字典学习阶段及SR重建阶段，均采用正交匹配追踪（Orthogonal Matching Pursuit，OMP）算法[11]进行稀疏编码，在字典学习和稀疏重建过程中设置了不同的稀疏度，使两者的稀疏系数独立可调，提升了SR重建效果。通过真实遥感影像进行实验，将本文算法与插值算法以及SSSR算法进行了比较，本文算法提高了字典学习效率，且重建影像质量均优于插值算法以及SSSR算法。

2 基于K-SVD字典学习的超分辨率重建

基于稀疏表示的SR重建是基于LR图像局部区域低频信号求一组基元来恢复对应HR图像高频细节信息。对于某一图像信号x∈RN，可由过完备字典D及向量α线性表示[12]为：

其中，D=[d1,d2,…,dM]∈RN×M(M＞N)，α=[α1,α2,…,αM]T∈RM，α为稀疏表示系数。SR重建关键在于：（1）采用何种字典学习方法得到最优的过完备字典；（2）如何利用LR、HR字典重建HR图像。基于K-SVD字典学习的SR重建主要包括训练样本处理、字典学习和稀疏重建三部分。

2.1 训练样本处理

字典学习阶段的训练样本包括HR和LR两种图像，其中LR图像由HR图像降采样得到。字典学习的训练样本为一系列遥感图像，训练过程中将图像划分为3×3大小的块，当训练图像越多时，图像块数量越多，由此学习的字典相对精确，但消耗时间较长。本文选取合适的图像块数来平衡SR重建的速度与质量。为了在SR重建时精确得到HR图像丢失的高频信息，对于LR图像的高频部分，本文采用与SSSR算法中一样的方法来获取LR图像特征块，即利用一次梯度和拉普拉斯算子提取，具体提取算子为：

其中，T代表转置。上述4个算子求出4个特征向量后组合成一个向量，将其作为LR图像块的表示向量。本文将LR图像利用双三次插值得到的图像与HR图像作差，将其差值图像作为HR图像的高频信息[13]，然后提取图像块组成HR特征向量。

2.2 字典学习

目前，字典构造主要是基于学习的方法，该方法基于机器学习思想，通过样本学习构造过完备字典对目标信号进行稀疏表示[14]。对于一个训练样本X，过完备字典D以及对应的稀疏系数阵A，字典学习实质上是下式的优化求解：

其中，αi是A的第i列；T为稀疏度。通过已知的X求解D和A一般通过交替优化求解，先给定字典，利用不同的优化算法求解稀疏系数，本文利用OMP算法求解。基于求解的稀疏系数通过字典学习算法对字典原子更新，常用的字典学习算法有在线字典学习算法[15-16]、最优方向算法[17]及K-SVD算法。考虑算法的快速性和有效性，本文采用K-SVD算法学习字典。该算法通过奇异值分解更新字典原子，且分解K次。设样本图像块对P=[X,Y]，其中X=[x1,x2,…,xn]为LR图像特征块，Y=[y1,y2,…,yn]为HR图像块的高频部分，n为样本数。为加入先验信息，本文采用耦合字典学习方法进行字典学习，主要分为两个阶段：第一阶段为低分辨率字典学习；第二阶段为高分辨率字典学习。字典学习过程中将第一阶段学习的稀疏系数作为HR特征块的稀疏系数，从而保证高低分辨率字典具有相同的稀疏系数。具体字典学习过程如下：

（1）低分辨率字典Dl的学习。数学目标函数为：其中，A代表与Dl对应的稀疏系数矩阵。本文采用KSVD算法学习Dl，详细步骤见算法1。

算法1 K-SVD字典学习算法

1.初始字典D0∈Rn×m的随机生成，且归一化每个原子，迭代次数k初始为0。

2.迭代：将k递增1。

3.利用OMP算法求解：

4.更新字典原子，求Dl。定义以下变量：样本集Pj0，且，过完备字典原子dj0，基于误差阵选择Ej0与Pj0相同的列求，然后进行奇异值分解对原子dj0=u1和稀疏系数进行更新。

6.输出字典Dl。

（2）高分辨率字典Dh的学习。高分辨率字典学习数学函数为：

本文在保证重建效果以及重建速度的基础上，利用伪逆式简化高分辨率字典学习，公式如下：

通过上述过程求出字典Dl和Dh。

2.3 稀疏重建

稀疏重建过程中，为得到较好的重建结果，需根据空间邻域之间的相关性，通过稀疏先验求解每个图像块局部的稀疏表示，然后通过重建约束求解高分辨率图像。上述K-SVD字典学习分别得到Dl、Dh及A，根据式（1），在SR重建阶段，目标高分辨率图像块可由稀疏系数与高分辨率字典相乘得到，但前提是字典学习过程以及SR重建过程的稀疏度必须相同。通过实验验证，上述两个过程的稀疏度可以不同，设置为：

其中，α、T1代表字典学习过程的稀疏系数和稀疏度；β、T2代表重建过程的稀疏系数和稀疏度。本文通过大量实验灵活调整T1、T2的值，应用到不同类型的遥感图像，选取其中的最优值。设置双稀疏度的优点在于，可灵活调整字典学习以及重建两个过程的稀疏度，来重建出最佳的高分辨率图像。图像超分辨率重建详细步骤如下。

步骤1输入LR图像xl以及高低分辨率字典，且对xl用Bicubic方法放大到目标HR图像大小，记为yl。

步骤2利用前述的一阶梯度和拉普拉斯特征提取算子对yl进行特征提取，得特征图像。

步骤3在保持相邻块之间有一定的像素重叠的前提下对特征图像分块，获得数据集

步骤4利用OMP算法求解稀疏系数βk，目标函数如下：

步骤5基于上述稀疏系数及高分辨率字典估计HR图像块高频信息，求得

步骤6求解下式最小化问题得HR图像yh：

其中，Rk为块提取算子。式（10）闭合形式的最小二乘解为：

式（11）中，将高频信息块放在对应位置，且对重叠区域求平均，最后将低频信息叠加，获得最终的HR图像。

3 实验结果及分析

本文通过两组实验来验证本文算法的有效性。实验采用影像为两幅TM5影像、两幅资源三号（ZY3）影像以及USC_SIPI图像库中的6幅遥感影像。为进行定量评价，将HR影像作为参考影像，需重建的LR影像由HR图像通过相应的倍数降采样获得。采用定量评价指标峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似性（Structural Similarity，SSIM）来比较本文算法、Bicubic方法以及SSSR方法重建效果。对于测试遥感影像，由于人们对影像的亮度变化更加敏感，实验中只对影像的亮度部分进行SR重建。实验过程中的相关参数设置如下：选取100幅HR训练样本，通过2倍降采样得对应的LR训练样本，然后随机提取100000个3×3大小的影像块对进行字典学习，像素重叠为2，字典大小为2048，字典学习过程中稀疏度为3，重建过程中稀疏度为16，迭代次数为40。实验在CPU为四核2.5 GHz，内存为4 GB的计算机上进行，软件为MATLAB R2012b。

实验1原始高分辨率影像不进行加噪处理时各算法重建效果对比。图1和图2分别为一幅市区影像和山区影像2倍重建结果图。由图1、图2可得，Bicubic重建影像边缘模糊，视觉效果较差。SSSR算法重建效果与Bicubic相比，恢复了部分高频细节信息，视觉效果有一定提高，但在图1中重建影像的建筑物和道路边缘以及图2中山脊线边缘均较为模糊。与前两种方法相比，本文算法重建效果较好，在影像边缘锐化以及恢复高频细节信息方面都取得了较好的结果，尤其是道路边缘、山脊线边缘恢复较明显，整体重建效果较Bicubic和SSSR算法好。

图1 影像2.1.02不同SR算法重建结果比较

图2 影像TM5-1不同SR算法重建结果比较

图3 影像2.1.05不同SR算法重建结果比较

图4 影像ZY3-2不同SR算法重建结果比较

表1为Bicubic、SSSR以及本文算法重建的SSIM和PSNR定量评价结果。综合表1中的10幅遥感影像求其平均值，对于PSNR指标，本文算法比Bicubic算法高1.465，比SSSR算法高0.217；对于SSIM指标，本文算法比Bicubic算法改善0.045，比SSSR算法改善0.003。综合多幅影像的定量评价指标值以及主观评价，本文算法重建效果比Bicubic算法有较大幅度的提升，比SSSR算法有一定的改善，证明了本文算法的有效性。

实验2原始高分辨率影像进行加噪处理时各算法重建效果以及时间对比。实验采用均值为0，标准差为10的高斯噪声。图3是USC_SIPI图像库中2.1.05影像重建效果，图4是ZY3-2影像重建效果。从图3、图4可得，对于加入噪声的遥感影像，Bicubic算法重建影像存在较多的噪声且轮廓不清晰，视觉效果较差。SSSR算法重建效果与Bicubic算法相比，噪声有所减少，但重建影像边界较模糊。与前两种算法相比，本文算法重建效果较好，噪声减少，影像地物纹理丰富，轮廓特征明显。

表2列出了各种算法重建的平均时间，表3列出了各种算法重建图像的SSIM和PSNR指标。由表2可得，Bicubic重建时间为0.010 s，SSSR算法重建时间为24.652 s，本文算法重建时间为112.486 s，本文算法消耗时间最长。综合表3中的10幅遥感影像求其平均值，对于PSNR指标，本文算法比Bicubic算法高0.598，比SSSR算法高0.101；对于SSIM指标，本文算法比Bicubic算法改善0.030，比SSSR算法改善0.005。本文算法虽然消耗最长的时间重建影像，但算法重建效果优于Bicubic、SSSR算法。

表1 无噪影像不同SR算法重建结果

表2 不同SR算法重建时间

表3 加噪影像不同SR算法重建结果

4 结束语

本文提出了一种基于双稀疏度K-SVD字典学习的遥感影像超分辨率重建算法。本文算法结合稀疏表示理论和K-SVD字典学习算法来重建影像，通过在字典学习及稀疏重建两个过程设置了不同的稀疏度，能较好地恢复图像高频信息，重建出最佳的高分辨率图像。为验证本文算法的有效性，采用三种不同类型的遥感影像进行实验验证。实验表明，不管是有噪声还是无噪声的测试影像，本文算法在视觉效果上均较Bicubic及SSSR算法清晰，纹理结构更加显著；在定量评价中，本文算法指标值较其他两种算法有一定提高，证明本文算法具有较好的遥感影像空间重建效果。