一种改进的稀疏表示超分辨率重建算法

2016-07-04张晓燕秦龙龙

重庆邮电大学学报(自然科学版) 2016年3期

关键词：稀疏表示

张晓燕，秦龙龙，钱　渊，单　勇

(空军工程大学，西安 710077)

一种改进的稀疏表示超分辨率重建算法

张晓燕，秦龙龙，钱渊，单勇

(空军工程大学，西安 710077)

摘要：针对稀疏表示超分辨率重建算法中稀疏表示系数正则化效果不明显、字典完备性弱以及重建图像存在虚边缘等问题，提出了一种改进的稀疏表示超分辨率重建算法。首先对正则化正交匹配追踪(regularized orthogonal matching pursuit，ROMP)稀疏表示系数求解算法进行了改进，通过引入局部约束加权来提高稀疏表示系数的精度、增强图像的纹理特性；然后，将Huber影响函数用于提取图像的先验特征信息，以增强图像特征、提升高分辨率字典的表示能力；最后，提出了基于学习的迭代反投影方法，提高了图像后处理阶段预测误差的准确性，进一步改善了高分辨率重建图像效果。实验结果表明，该方法在峰值信噪比和视觉效果上都有所提高，重建图像的纹理特性和质量得到了有效增强。

关键词：超分辨率重建；稀疏表示；字典训练；图像特征；迭代反投影

0前言

目前，超分辨率重建技术主要包括基于插值、基于重建以及基于学习等方法。基于学习的方法能够通过学习从样本库获取先验信息，方法灵活、准确性较高，已成为目前超分辨率算法中最流行的一类。其中经典的方法有：Example-based方法[1]、邻域嵌入方法[2]、支持向量回归方法[3]、稀疏表示方法[4]等。在这些方法中，稀疏表示方法不仅解决了如何灵活方便选取先验信息的问题，而且节省了空间，提高了效率。因此，该方法被认为是超分辨率领域中最有前途、实用性最好的方法。

稀疏表示的方法是由Yang将压缩感知的部分思想引入到超分辨率重建而提出的[4]，该方法加入了字典训练的过程，在确保高低分辨率图像块表示系数一致性的同时降低了重建复杂度，取得了更好的重建效果，但该算法字典训练过程采用的特征标志搜索算法复杂度高、速度慢，而且重建图像边缘相对光滑，纹理结构没有得到很好恢复。Zeyde等[5]在基于稀疏表示超分辨率重建的框架上，进行了一些重要的改进，比如采用K奇异值分解 (singular value decomposition，K-SVD) 算法[6]来提升字典训练速度；超分辨率重建过程采取正交匹配追踪 (orthogonal matching pursuit，OMP)方法[7]降低求解稀疏表示系数的复杂度；运用主成份分析(principal component analysis，PCA) 法[8]进行字典的降维等，提高了超分辨率重建算法的速度和重建图像的质量。Figueiredo等提出的正则化正交匹配追踪(regularized orthogonal matching pursuit，ROMP)算法[9]在每次的迭代过程中进行2次原子选择，实现时比OMP算法更快、更加有效，但是算法中2次原子的选择都是基于相关性进行的，正则化效果并不明显。邓承志[10]借鉴局部约束线性编码[11]的思想，针对低分辨率图像中局部像素灰度分布集中, 导致图像纹理模糊的问题，提出了一种基于局部约束的群稀疏表示模型，但其在稀疏表示系数求解上很难与常用的快速稀疏表示系数求解算法相结合。刘梓等[12]采用多成分字典分别表示图像的不同结构特征，对单幅图像的超分辨率重建具有较好的通用性，但高分辨率字典的完备性依然较弱，重建图像仍没能很好地利用先验信息。

综上所述，虽然国内外学者对稀疏表示超分辨重建提出了诸多改进，但是稀疏表示系数的稀疏度与精度难以平衡、字典完备性弱及虚边缘等问题依然没有得到有效解决。因此，本文主要从稀疏表示系数求解、图像特征提取以及图像后处理等方面着手，提出了一种改进的稀疏表示超分辨率重建算法。

1稀疏表示的超分辨率重建原理

1.1图像的稀疏表示

图像的稀疏表示是指图像块S可以完全或者近似地由样本库特征集合中数目较少的图像原子线性组合来表示，其数学描述表示为下列最小化问题。

(1)

(1)式中：D为过完备字典，是由所有图像原子组成的集合；‖α‖0是稀疏表示系数α的0范数，即α中非零元素的个数；S是待表示图像块。

对稀疏系数α的求解本质上是NP-hard的组合优化问题，一般将其转化为(2)式无约束的优化问题求解

(2)

(2)式中，λ1为稀疏表示系数的正则化参数。

1.2超分辨率重建

稀疏表示的超分辨率重建可分为2个阶段：字典训练阶段和稀疏重建阶段。

1.2.1字典训练

字典训练阶段的主要目的是获得高完备性的低分辨率字典Dl和高分辨率字典Dh，其实现步骤为

2)训练低分辨率字典Dl。首先将样本库低分辨率图像特征集{Pl}对应位置的n×n大小的块转换成n·n×1的列向量，然后对列向量按次序纵向拼接得spl，并将所有的列向量spl组成特征矩阵SPl，再用SPl代替(2)式中的S得到(3)式，对(3)式采用交替迭代的方式求出低分辨率图像特征集{Pl}下的Dl和稀疏表示训练系数α。

(3)

交替迭代过程为：先预先设定出低分辨率字典Dl，然后用ROMP算法求出稀疏表示训练系数α，再对预定的Dl和求出的α采用K-SVD算法进行迭代优化，得到最优解。

3)训练高分辨率字典Dh。首先将样本库高分辨率图像集Y中每幅图像和自身降采样再插值后的图像相减得到样本库高分辨率图像补偿集Yb，然后，利用与低分辨率图像特征提取类似的方法提取样本库高分辨率图像补偿集Yb的特征集{Ph}，并将其转换为特征矩阵SPh，再利用(4)式求解高分辨率字典Dh。

(4)

(4)式中，α+代表稀疏表示系数α的伪逆。

1.2.2稀疏重建

2改进的稀疏表示超分辨率重建

2.1字典训练

本文对上述字典训练算法进行了改进，首先依照1.2.1提取低分辨率图像特征集{Pl}，在训练字典Dl时，提出了改进的ROMP算法求解稀疏表示训练系数α，提高求解过程的正则化效果；在训练字典Dh时，提出用Huber影响函数提取的图像先验特征信息，进一步增加高分辨率图像特征Ph，以有效增强字典完备性。

2.1.1改进ROMP算法的稀疏表示系数求解

稀疏表示系数直接影响着训练字典的性能与超分辨率重建结果的质量，因此对于稀疏表示系数算法的优化与改进尤为重要。目前，通常采用贪婪算法进行稀疏系数的求解，其中包括匹配追踪(marching pursuit ，MP)算法[13]、OMP算法、ROMP算法等。但这些算法的稀疏度与精度难以平衡，正则化的优势不明显，本文提出了基于局部约束对相关系数加权的ROMP算法，其具体步骤如下。

输入：待重建图像块s，字典D，选择的原子数k。

输出：稀疏表示系数α。

步骤1初始化。残差r0=s，索引集Λ=Θ，J=Θ，迭代次数t=1；

步骤2第1次原子选择。计算残差rt与字典D中原子相关系数u，从中寻找处k个最大值，将与其坐标对应的索引加入J中；

步骤3第2次原子选择(正则化)。计算局部约束加权系数ω=dist(s,D)，其中ω表示残差s与D之间相似性，dist(s,D)=[dist(s,d1),…,dist(s,dm)]T表示残差s与字典di(i=1,…,m)间的欧式距离。然后对k个最大相关系数u进行加权，并将相关系数满足条件2|ui|≥|umax|的原子加到Λ，以更新支撑集；

步骤4更新残差。采用最小二乘法进行信号逼近：αt=arg min‖s-DΛαt-1‖2，计算新支撑集下的残差rt=s-DΛαt；

步骤5停止条件。如果‖rt‖2<10-1或者稀疏系数个数num(Λ)≥6，则跳转至步骤6)；否则返回重复步骤(2)，直到满足停止条件；

步骤6输出。稀疏表示系数α。

改进的ROMP算法通过对相关系数进行局部约束加权，提高了原子选择的正则化，从而得到更准确的α，在此基础上可迭代优化出高性能的Dl。

2.1.2高分辨率图像特征增强

(5)

(6)

(6)式中，α为阈值参数，控制着模型的不连续性。

2.2超分辨率图像重建及后处理

(7)

迭代反投影通过多次迭代能使得重建图像误差最小，但是它只是将预测误差插值后从预测结果中去除，没有充分利用高低分辨率字典间的有用信息。考虑到稀疏重建与迭代反投影之间的相似性，本文提出了基于学习的迭代反投影方法。

(8)

(9)

3实验及结果分析

选用WindowsXP操作系统、Matlab2013b软件、2GB内存、PentiumDual-Core处理器的作为实验平台，并选定ZEYDE实验样本库的前45张图像作为样本库，对待测试图像从平均峰值信噪比(peaksignaltonoiseratio，PSNR)和视觉效果2个方面进行比较分析。

表1　超分辨率重建图像的PSNR

(注：Bicubic表示双三次插值重建；ROMP表示采用ROMP求解稀疏表示系数的稀疏重建算法(文献[9])；Proposed(1)表示采用改进的ROMP求解稀疏表示系数的稀疏重建算法；Proposed(2)表示在Proposed(1)的基础上加入高分辨率特征增强方法进行重建；IBP表示对Proposed(2) 采用文献[14]迭代反投影后处理；本文算法表示在Proposed(2)基础上采用基于学习的迭代反投影后处理方法。)

从表1可以看出，所列重建方法中插值效果最差，而ROMP因利用了学习获得的先验信息得到了较好的重建效果。相比ROMP的重建结果，改进的ROMP算法对于大部分图像而言，重建结果都有所提高，但对于flowers这样细节较多的图像容易造成纹理过重，导致重建质量下降。由Proposed(2)的重建结果可知，经过高分辨率图像特征增强处理后的重建效果都得到了提高，表明了通过增强高分辨率图像特征来增加字典的先验信息、保证字典完备性和必要性。在对重建图像结果虚边缘的处理中，本文提出的基于学习的迭代反投影比IBP方法效果更好，这就表明利用字典中含有的先验信息能够提高迭代误差的准确性，有效消除重建图像中的虚边缘。

在客观验证的基础上，本文比较了Bicubic，ROMP以及本文算法重建图像的主观视觉效果，实验结果如图1所示。

从图1中可以看出，利用Bicubic重建的结果过于平滑，同时细节比较模糊；ROMP重建效果有所提升，但细微的图像结构仍没有得到恢复;本文算法重建的结果在纹理上要比ROMP重建结果清晰，从图像zebra鬃毛局部细节、flowers花瓣上的斑点以及foreman墙面污点放大的局部均可以看出。

在对本文算法的主客观验证之后，我们又对表1中提及的各种算法的运行时间进行比较分析，如表2所示。

图1　三种不同算法的重建结果Fig.1　Reconstruction results of three different algorithms

算法BicubicROMPProposed(1)Proposed(2)IBP本文算法运行时间/s0.28154.46454.69461.37361.46164.427

通过表2可以看出，插值算法简单，运行时间短，常用在实时性要求较高的应用中；ROMP算法所需的训练字典通常是利用庞大的样本库图像训练而成，该字典纹理特征丰富，但需要花费很长的时间；本文的Proposed(1)算法对ROMP算法中稀疏系数过程进行了改进，采用局部约束加权系数对原子进行正则化约束，提高了原子选择的准确性，但是引入了计算残差与字典原子间欧式距离的过程，耗费了一定时间；其他算法都是在此基础上的进一步改进，所以运行时间也相应增加，本文算法有效提高了准确性，但实时性稍有降低。

4结束语

本文提出了一种改进的稀疏表示超分辨率重建算法，该方法主要从稀疏表示系数求解、图像特征提取以及图像后处理等方面进行了改进与完善。通过实验对比分析可知，本文算法能够有效提高稀疏表示重建算法的性能。但是本文算法提出的改进ROMP算法仍具有一定的局限性，特别是对于细节较多的图像，容易造成纹理过重，导致重建质量下降。因此，增强改进ROMP算法的适用性，进一步提高算法性能仍需做进一步研究。

参考文献：

[1]FREEMAN W, JONES T, PASZTOR E. Example based super resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65.

[2]CHANG H,YEUNG D,XIONG Y.Super-resolution through neighbor embedding[C]∥Proceedings of IEEE Conf CVPR.Washington,DC:IEEE Press,2004:275-282.

[3]NI K, NGUYEN T Q. Image super resolution using support vector regression[J]. IEEE Transactions on Image Processing, 2007, 16(6): 1596-1610.

[4]YANG J, WRIGHT J, MA Y, et al. Image super-resolution as sparse representation of raw image patches[C]∥Proceedings of IEEE Conf CVPR. Anchorage, Alaska: IEEE Press, 2008:1-8.

[5]ZEYDE R, ELAD M, PROTTER M. On Single Image Scale-up using Sparse Representations[C]∥Proceedings of the 7th International Conference on Curves and Surfaces.Avignon，France:[s.n.],2012(6920):711-730.

[6]AHARON M, ELAD M, BRUCKSTEIN A. K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation[J]. IEEE Transaction on Image Processing, 2006, 54(11): 4311-4322.

[7]TROPP J,GILBERT A.Signal recovery from random measurements via orthogonal matching pursuit[J].Transactions on Information Theory,2007,53(12):4655-4666.

[8]TURK M, PENTLAND A. Face recognition using eigenfaces[C]∥Computer Vision and Pattern Recognition, 1991. Proceeding CVPR 91. IEEE Computer Society Conference on. [s.l.]: IEEE, 1991: 586-591.

[9]FIGUEIREDO M, NOWAK R, WRIGHT S. Gradient projection for sparse reconstruction: application to compressed sensing and other inverse Problems[J]. IEEE Journal of Selected Topics in Signal processing, 2007, 1(4): 586-597.

[10] 邓承志，田伟，陈盼, 等. 基于局部约束群稀疏的红外图像超分辨率重建[J]. 物理学报，2014,63(4), 044202-1-044202-8.

DENG C Z, TIAN W, CHEN P, et al. Infrared image super-resolution via locality-constrained group sparse model[J]. Acta Phys Sin, 2014, 64(4): 044202-1-044202-8.

[11] WANG J, YANG J, YU K, et al. Locality constrained linear coding for image classification[C]∥IEEE Conference on Computer Vision and Pattern Recognition(CVPR). San Francisco, USA: IEEE Press, 2010: 3360-3367.

[12] 刘梓,宋晓宁,於东军, 等. 基于多成分字典和稀疏表示的超分辨率重建算法[J]. 南京理工大学学报, 2014,38(1):1-5.

LIU Z, SONG X N, YU D J, et al. Super-resolution reconstruction algorithm based on multi-component dictionary and sparse representation[J]. Journal of Nanjing University of Science and Technology, 2014, 38 (1):1-5.

[13] 汪雄良,冉承其,王正明. 基于紧致字典的追踪方法在SAR图像超分辨率中的应用[J]. 电子学报,2006, 34(6): 996-1001.

WANG X L, RAN C Z, WANG Z M. Super-resolution processing of SAR images by basis pursuit method based on compacted dictionary[J]. Acta Electronica Sinica, 2006, 34(6): 996-1001.

[14] 陈华华,姜宝林,刘超,等. 基于残差的图像超分辨率重建[J].中国图象图形学报, 2013 ,18(1): 42-48.

CHEN H H, JIANG B L, LIU C, et al. Image super-resolution reconstruction based on residual error[J]. Journal of Image and Graphics, 2013, 18(1):42-48.

An improved sparse representation of super resolution reconstruction algorithm

ZHANG Xiaoyan, QIN Lonlong, QIAN Yuan, SHAN Yong

(Air Force Engineering University，Xi'an 710077，P.R. China)

Abstract:This paper proposes an improved algorithm of super-resolution to solve the problems that the sparse representation coefficient regularization is not effect, the high-resolution dictionary’s completeness is weak and the reconstruction image has false edges. Firstly, the ROMP algorithm is improved by introducing weighted partial constraint to improve the effect of regularization and enhance the texture features of images. Secondly, the prior information of image is extracted by Huber influence function, so that image features are enhanced and the expression capacity of high resolution dictionary is improved. Finally, an iterative back projection method based on study is proposed, which can improve accuracy of the prediction error in image post-processing stage and achieve the high quality resolution reconstruction effectively. The simulation and analysis show that the proposed method has certain improvement on the peak signal-to-noise ratio and visual effect, and it can improve the quality of reconstruction images.

Keywords：super-resolution reconstruction; sparse representation; dictionary training; image features; iterative back projection

DOI：10.3979/j.issn.1673-825X.2016.03.020

收稿日期：2015-06-05

修订日期：2015-08-14通讯作者：秦龙龙qinlonglong1258@163.com

基金项目：陕西省自然科学基金资助(2013JM8025)；航空科学基金资助(20141996018)

Foundation Items：The Shanxi Provincial Natural Science Fund (2013JM8025)；The Aeronautical Science Fund(20141996018)

中图分类号：TP391

文献标志码：A

文章编号：1673-825X(2016)03-0400-06

作者简介：