范九伦, 史香晔, 徐　健, 张小丹

(西安邮电大学 通信与信息工程学院, 陕西 西安 710121)

多级字典学习的图像超分辨率算法

范九伦, 史香晔, 徐健, 张小丹

(西安邮电大学 通信与信息工程学院, 陕西 西安 710121)

摘要:改进单级字典学习的图像超分辨率算法，给出一种多级字典学习的图像超分辨率算法。通过多对字典的训练，记录不同层级退化图像和原始高分辨率图像之间的关系，由多对字典预测给定低分辨率图像不同层级丢失的高频信息，将预测出的高频信息与给定的低分辨率图像相加，得到逐级增强的高分辨率图像。在训练图像集相同的条件下，对于无噪声且没有压缩的低分辨率图像，改进算法相比单级字典学习的图像超分辨率算法，恢复出的高分辨率图像的峰值信噪比可平均提高约0.6 dB。

关键词:图像超分辨率；稀疏表示；字典训练

利用图像超分辨率(Super-resolution，SR)算法，可将一个或多个低分辨率(Low-resolution，LR)图像重建出高分辨率(High-resolution，HR)图像[1-3]。SR算法分为基于差值、基于重构和基于学习的方法。

基于插值的方法[4]包括双线性插值法和双三次插值法[5]。这类方法虽然简单高效，但是重建的HR图像非常模糊，而且边缘处有振铃和锯齿的人工痕迹，故不适合重建具有丰富纹理的图像；利用方向插值算法[6-7]重建HR图像，可以丰富放大后图像的纹理信息，但其恢复能力有限。基于重构的方法通过降质模型重建HR图像，降质模型选择不佳可能会使图像质量受损。

基于学习的方法假设LR图像中缺少的细节可从对训练样本的学习中获得，不受模型选择所限，根据它可能涉及的稀疏局部模型[8-11]假设，图像块都能用字典中少量原子的线性组合表示[12]，不过，采用单级字典重建的HR图像会在图像边缘部分引入人工痕迹。

为了减少基于稀疏表示的图像放大(SingleImageScale-UpUsingSparse-Representations,SR_SISU)算法[12]带来的人工痕迹，本文拟给出一种基于多级字典学习的图像超分辨率(Multi-dictionariesLearningBasedImageSuperResolution,ML_SR)算法，借助记录着不同层级退化图像和原始HR图像之间关系的多对字典，预测给定的LR图像不同层级丢失的高频信息，实现对LR图像的增强。

1ML_SR算法

SR_SISU算法将LR/HR图像映射到同一子空间，利用其在子空间稀疏表示系数相同的关系，重建LR图像对应的HR图像,即

‖ai‖0≤T (i=1,2,…,P)。其中Dh为HR字典，Dl为LR字典，ai为稀疏表示系数。

相对于SR_SISU算法，ML_SR算法利用α对LR/HR字典，逐级增强重建图像的质量(α=3)。ML_SR算法分为训练和测试两个阶段。

训练阶段包括特征提取和字典学习两个部分。特征提取是用β个滤波器从水平和垂直两个方向提取图像特征，从而得到β个特征图像。如此既可减少算法执行时间，又能在后续字典学习时，根据不同特征对字典分类，重建出质量更好的HR图像。字典学习是利用提取的低频特征和计算的高频分量，借助K均值奇异值分解方法训练字典，以得出α对HR/LR字典。

测试阶段是利用提取特征后的LR图像和α对HR/LR字典，重建出逐级增强的高分辨率图像。

1.1特征提取

1.1.1第一类特征提取算法

1.1.2第二类特征提取算法

1.2降维

(1)

1.3字典学习

‖qs,k‖0≤L。

(2)

其中矩阵

Q=[qs,1, qs,2, …, qs,N]。

为了得到公式(2)的解，可将HR字典Dh表示为

1.4测试过程

具体测试步骤描述如下。

1.5多级字典训练算法和重建算法

采用多级字典训练算法训练字典，得到3对HR/LR字典,并用所得字典来重建HR测试图像。

(1) 多级字典训练算法

输入HR测试图像集{Hs}。

步骤1将HR测试图像集{Hs}随机分为3组，即{H1，s}、{H2，s}和{H3，s}。

(2) 多级重建算法

输入LR图像Lt。

2实验结果与分析

为得到质量更佳的HR图像，用4个滤波器即

提取LR图像水平和垂直方向的一阶和二阶特征。设置图像的放大倍数为3，字典对数α=3，块大小n=81，降维至nl=30，字典原子m=1000，字典原子中元素的个数L=3。因人类视觉系统对亮度变化更敏感，故只对亮度成分使用ML_SR算法。

为证明ML_SR算法的有效性，分别与SR_ISR[14]和SR_SISU[12]两处单级字典学习的SR算法，在视觉和峰值信噪比两个准则上作对比。

实验所用测试图像如图1所示。3种对比算法的峰值信噪比如表1所示，其中ML_SR-2和ML_SR-3分别表示2级字典学习算法和3级字典学习算法。对3幅测试图像Foreman、Pepper和Zebra，通过不同算法放大3倍的视觉效果分别如图2、图3和图4所示。

图1　测试图像

算法ForemanZebraPepperFlowersMonarchPpt3BridgeSR_ISR32.038627.953133.325028.248730.713324.977724.8240SR_SISU33.139128.458734.003528.402231.049525.130525.0175ML_SR-234.361228.726434.382628.605531.440125.617425.1382ML_SR-335.237728.748134.416628.649231.521425.718225.1611

图2　图像Foreman放大3倍的效果

图4 图像Pepper放大3倍的效果

由表1可见：对于图像Foreman，ML_SR算法要比SR_ISR算法高约3.2dB，比SR_SISU算法高约2.1dB；对于图像Zebra，ML_SR算法比SR_ISR算法高约0.8dB，比SR_SISU算法高约0.3dB;对于图像Pepper，ML_SR算法比SR_ISR算法高约1.1dB，比SR_SISU算法高约0.4dB;对于图像Flowers、Monarch、Ppt3和Bridge，ML_SR算法比SR_ISR算法分别高约0.4dB、0.8dB、0.8dB和0.3dB， 比SR_SISU算法分别高约0.2dB、0.5dB、0.6dB和0.1dB。总体来说，ML_SR算法比SR_ISR算法平均高约1.1dB，比SR_SISU算法平均高约0.6dB,因此，ML_SR算法优于SR_ISR算法和SR_SISU算法。

从图2可见：SR_ISR算法恢复了图像的大部分高频细节，但重建后的图像看起来比较模糊；SR_SISU算法虽然提高了图像的分辨率，但引入了大量的人工痕迹；ML_SR算法在墙的缝隙处人工痕迹明显减少，而且整幅图像纹理清晰，细节丰富。从图3可见:SR_ISR算法恢复的辣椒瓣比较光滑;SR_SISU算法恢复出的辣椒瓣比SR_ISR算法的恢复效果细节更丰富，但有点模糊；ML_SR恢复出的辣椒瓣清晰且细节丰富。从图4可见：SR_ISR算法恢复出斑马腹部上的大部分细节；SR_SISU算法恢复出的斑马腹部过于尖锐；ML_SR恢复的斑马腹部与原图像接近，都较平坦。

通过以上图表可知，ML_SR算法确实能够有效地重建出质量更好、细节更丰富和纹理更清晰的HR图像。

3结语

给出一种多级字典学习的图像超分辨率算法,使用多对HR/LR字典对测试图像进行多级增强。实验结果表明，随着增强级别的提高，HR图像的清晰度更高、细节更丰富，且人工痕迹更少。与单级字典学习的SR算法相比，所给ML_SR算法优势明显。多级字典学习的算法能有效提高输出图像质量，可用于低照度图像增强和去图像模糊。另外，稀疏表示模型能有效描述两个不同空间信号之间的关系，可应用于研究两个不同空间信号间的转换。

参考文献

[1]范九伦, 王彦梓, 徐健，等. 基于核典型相关分析的图像放大算法[J/OL]. 西安邮电大学学报,2015, 20(2):52-57[2015-10-11].http://www.cnki.net/kcms/doi/10.13682/j.issn.2095-6533.2015.02.011.html.

[2]XUJ,CHANGZG,FANJL,et.al.NoisyImageMagnificationwithTotalVariationRegularizationandOrder-changedDictionaryLearning[J/OL].JournalofElectronicImaging, 2015,24(1):13039-1-29[2015-10-11].http://asp.eurasipjournals.springeropen.com/articles/10.1186/s13634-015-0225-y.

[3]ROMANOY,PROTTERM,ELADM.SingleImageInterpolationviaAdaptiveNon-LocalSparsity-BasedModeling[J/OL].IEEETransactionsonImageProcessing, 2014, 20(2):3085-3098[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6819019.DOI:10.1109/TIP.2014.2325774.

[4]SEKARK,DURAISAMYV,REMIMOLAM.AnapproachofimagescalingusingDWTandbicubicinterpolation[C/OL]//InternationalConferenceonGreenComputingCommunicationandElectricalEngineering.Coimbatore:IEEE, 2014: 1-5[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6922406.DOI:10.1109/ICGCCEE.2014.6922406.

[5]CHENSL,HUANGHY,LUOCH.ALow-CostHigh-QualityAdaptiveScalarforReal-TimeMultimediaApplications[J/OL].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2011, 21(11) :1600-1611[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5734808.DOI:10.1109/TCSVT.2011.2129790.

[6]SHIHJ,WARDR.Cannyedgebasedimageexpansion[C/OL]//IEEEInternationalSymposiumonCircuitsandSystems.USAAZPhoenix-Scottsdale:IEEE,2002:I-785-788[2015-10-11].http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=1009958.DOI:10.1109/ISCAS.2002.1009958.

[7]WANGQ,WARDRK.ANewOrientation-AdaptiveInterpolationMethod[J/OL].IEEETransactionsonImageProcessing, 2007,16(4):889-900[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4130438.DOI:10.1109/TIP.2007.891794.

[8]ELADM,AHARONM.ImageDenoisingviaLearnedDictionariesandSparseRepresentation[C/OL]//2006IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(Volume1).USAWashingtonDC:IEEE, 2006 : 895-900[2015-10-11].http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1640847.DOI:10.1109/CVPR.2006.142.

[9]ELADM,AHARONM.ImageDenoisingViaSparseandRedundantRepresentationsOverLearnedDictionaries[J/OL〗.IEEETransactionsonImageProcessing, 2006, 15(12):3736-3745[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4011956.DOI:10.1109/TIP.2006.881969.

[10]BRUCKSTEINAM,DONOHODL,ELADM.FromSparseSolutionsofSystemsofEquationstoSparseModelingofSignalsandImages[J/OL].SocietyforIndustrialandAppliedMathematicsReview, 2009, 51(1):34-81[2015-10-11].http://epubs.siam.org/doi/abs/10.1137/060657704.DOI:10.1137/060657704.

[11]ELADM.SparseandRedundantRepresentations:FromTheorytoApplicationsinSignalandImageProcessing[M/OL].NewYork:Springer, 2010: 172-181[2015-10-11].http://link.springer.com/book/10.1007/978-1-4419-7011-4.

[12]ZEYDER,ELADM,PROTTERM.Onsingleimagescale-upusingsparse-representation[C/OL]//CurvesandSurfaces:7thInternationalConference,Avignon,France,June24-30, 2010,RevisedSelectedPapers.Berlin:SpringerBerlinHeidelberg, 2012: 711-730[2015-10-11].http://link.springer.com/chapter/10.1007/978-3-642-27413-8_47.

[13]SUNH,NIL.Compressedsensingdatareconstructionusingadaptivegeneralizedorthogonalmatchingpursuitalgorithm[C/OL]//2013 3rdInternationalConferenceonComputerScienceandNetworkTechnology(ICCSNT).Dalian:IEEE,2013:1102-1106[2015-10-11].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6967295.DOI:10.1109/ICCSNT.2013.6967295.

[14]YANGJC,WRIGHTJ,HUANGTS,et.al.Imagesuper-resolutionviasparserepresentation[J/OL].IEEETransactiononImageProcessing, 2010, 19(11) : 2861-2873[2015-10-11].http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5466111.DOI:10.1109/TIP.2010.2050625

[责任编辑:瑞金]

Imagesuper-resolutionalgorithmbasedonmulti-leveldictionarieslearning

FANJiulun,SHIXiangye,XUJian,ZHANGXiaodan

(SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China)

Abstract:The image super-resolution algorithm based on sigle-stage dictionaries learning is improved and an image super-resolution algorithm based on multi-level dictionaries is proposed. The relationship between different levels of the degraded image and the original high resolution images is recorded by training the multiple dictionaries. The multiple training dictionaries are used to predict the different levels high-frequency information lost in the given low resolution image. Add the predict high-frequency information to the given low resolution image and acquire the high resolution image with quality enhanced progressively. In conditions with the same training image set, for the noiseless and uncompressed low resolution images, the revised algorithm can recover high resolution images that the peak signal to noise ratio improves 0.6 dB in average, compared to the image super-resolution algorithm based on single-stage dictionaries.

Keywords:image super-resolution, sparse representation, dictionary training

doi:10.13682/j.issn.2095-6533.2016.03.004

收稿日期：2015-10-14

基金项目：国家自然科学基金资助项目(61340040,61202183,61102095)

作者简介：范九伦(1964-)，男，博士，教授，从事图像处理与模式识别研究。E-mail:jiulunf@xiyou.edu.cn 史香晔(1991-)，女，硕士研究生，研究方向为通信与信息系统。E-mail:shi_xiangye@163.com

中图分类号：TN911.73

文献标识码：A

文章编号：2095-6533(2016)03-0032-06