新型混合字典学习算法改进图像超分辨率的研究

2017-12-15孙金岭

实验室研究与探索 2017年11期

关键词：低分辨率视觉效果高分辨率

李可，孙金岭

(1.广东开放大学，广州 510091; 2.兰州理工大学经济与管理学院,兰州 730050)

新型混合字典学习算法改进图像超分辨率的研究

李可1，孙金岭2

(1.广东开放大学，广州 510091; 2.兰州理工大学经济与管理学院,兰州 730050)

目前机器学习算法大都采用单层字典的学习训练设计，现从改进视觉效果、分辨率2个角度，设计了2层字典混合学习算法。采用经典的半耦合字典学习(SCDL)和模糊模型处理结合作为第1层字典学习，第2层则是针对第1层的残余图像进行重构，结合K值聚类以及K-SVD算法设计了第2层字典的训练过程。与经典SCSR、SCDL算法对比实验结果表明：改进算法的峰值信噪比与其他2种算法有了4%左右的提高，提高值在1 dB以上，表明了算法能够一定程度的提高重构图像的分辨率；算法的对比视觉效果看出，改进的算法能够明显改进重构质量，实现了图像视觉效果的改善。由于算法并不是以牺牲算法运算时间、速度为代价，这样其研究结果对于机器学习在图像领域的进一步推广与发展具有一定的参考价值。

字典学习； 2层字典；半耦合字典学习；峰值信噪比；视觉效果

0 引言

计算机图像处理学科，改进视觉效果、提高分辨率一直都是研究人员追求的方向之一[1-3]。比较经典的方法和应用广泛的有图像恢复和图像重建，他们都能实现图像的去噪，改进图像的视觉效果[4-7]。然而多年来研究发现，上述的方法实质是并未使图像的分辨率有任何改进[8-10]。此外，比较常见的图像内插方法也能提高图像的尺寸，实现改进视觉效果，但其假设原像素与新像素的数学关系的设计，可能会导致图像的失真。与上述方法不同的是，图像超分辨率的重建可以实现处理后图像新信息的增加，不仅可以改进视觉效果，还能提高分辨率[11-13]。图像超分辨率重建率先是由Tsai等人在频域进行的数学模型建立，逐渐推广到如wavelet、contourlet等变换域。而之后在空间域实现的超分辨重建更为直观、易懂[14-16]。典型的有Hardie团队提出的改进Gaussian MarkovRandom Field GMRF(高斯马尔科夫随机场)的超分辨率算法，以及Huber马尔科夫随机场的优化超分辨率算法。近年来，图像超分辨重建明显由多帧朝着单帧的超分辨率变化，特别是年初的阿尔法狗赢得李世石的人机围棋大战，再度激发以“深度学习”为代表的智能算法的研究热潮[17-19]。然而目前上述研究大都采用的是单层字典的学习算法，这样有时会出现失真或者是峰值信噪比(PSNR)较低的现象。基于上述背景和原因，本文采用混合双层的字典学习算法改进，理论和实验对比结果表明,改进算法具有较好的视觉效果，PSNR也非常理想，这一研究对于机器学习在图像领域的进一步推广与发展具有一定的参考价值。

1 字典学习算法模型

1.1 半耦合

半耦合字典学习(Semi-Coupled Dictionary Learning，SCDL)是由低、高分辨率图像的映射组成，通过字典配对图像块之间的映射关系，伴随着字典、映射矩阵等的更新，重构实现高分辨的图像。SCDL的优化问题可以表示为：

(1)

式中：x、y分别表示高分辨率图像块和低分辨率图像块，Λx、Λy表示高分辨率图像块编码系数和低分辨率图像块编码系数，Dx、Dy表示高分辨率字典对和低分辨率字典对，其他参数则表示的正则化的参数。SCDL总共涵盖了稀疏编码、字典更新、映射更新等3个阶段。

第1步稀疏编码实在初始化映射矩阵Γ以及字典对Dx、Dy之后，可以用以下式表述：

(2)

第2步则用以下表达式实现Dx、Dy的更新：

(3)

第3步更新Γ可以采用下面式子：

(4)

上述问题的解可以表示为：

(5)

其中:I为单位矩阵。进而可以得到SCDΩ= {Dx，Dy，Γ}，实现了高分辨率图像和低分辨率图像系数的线性化。然而上述单层字典丢失的高频环节较多，故本文提出SCDL的改进，通过双层混合学习实现更多高频环节的恢复，达到低分辨率图像的复原质量的提高。

1.2 模糊度分析

(6)

(7)

2 混合字典学习算法建立

2.1 第1层字典学习

对于图像的数学模型采用下式进行分析：

Y=DHX+n

(8)

(9)

式中:Yi代表是设计输入的低分辨率图像;Xii代表是设计对应的高分辨率图像块，通过变换更替有αx,i1、αy,i1稀疏系数，这样重构的高分辨率图像表示为:

(10)

具体的第1层字典学习算法过程见图1所示：

图1 第1层字典学习

2.2 第2层字典学习

(11)

对于残余图像Xr依然能够有很多细节图像信息，第2层字典学习就是对这些丰富的高频环节进行又一次重构，文中从不增加算法整体运算时间角度出发，采用以下的具体步骤：训练，通过对残余图像Xr进行高通滤波得到第2层字典学习特征，并对应进行分块处理，分为5×5，这样得到的高分辨样本表示为：H={h1,h2,…,hn}，对第1层重构后的图像经过3次滤波后，又获得第2层学习的低分辨率特征，也相应分块成5×5，这样得到的低分辨样本表示为：L={l1,l2,…,ln}；分类，对低分辨率样本集进行分类处理，当方差大于阈值(本文采用7)的特征Lf，则相应的定义为高分辨率的样本子集为Hf，采用K值聚类算法，得到m个聚类中心，相应得到高分辨率训练集和低分辨率训练集表述为：H={H1,H2,…,Hi,…,Hm,Hm+1},L={L1,L2,…,Li,…,Lm,Lm+1}；训练字典，最后采用经典的K-SVD算法对H、L实现训练，最终得到m+1的第2层高分辨率以及低分辨率字典对，把其作为第2层的字典。具体的第2层字典学习算法过程见图2所示。

图2 第2层字典学习

3 实验验证及对比

实验对第1层字典采用505 000对的5×5 pt大小的高分辨率图像块和低分辨率图像块，相应的正化参数设定如下：γ=0.2、λx=0.02、λy=0.02、λΓ=0.2、λ=0.21。第2层字典，选择5×5的图像块，而训练样本m选择为300。表1对比了本文算法和经典算法SCSR算法、SCDL算法的PSNR情况。

表1 算法峰值信噪比的对比 dB

表1的结果可以看出，算法的峰值信噪比有了明显的提高，有4%左右的提高，1 dB以上。说明算法改进了重构图像的质量，提高了图像的分辨率，这一数据也验证了算法是有效、可行的。图3则相应的给出了3种算法对比视觉情况，从图中可以看出：SCSR算法尽管清晰度可以，但其边缘却表现了一定的振铃现象，SCDL算法相比有了显著改进，边缘振铃现象已经不明显了，而本文设计2层学习算法，重构质量相比有了比较明显的提高。上述结果表明，算法不仅能够提高图像分辨率，还能显著改善的图像视觉效果。

(a) 原始图像 (b) 低分辨率图像 (c) SCSR算法

(d) SCDL算法 (e) 设计的2层字典算法

图3 视觉效果对比

4 结语

本文针对单层字典学习算法存在高频细节丢失过多的问题，提出了2层混合字典学习算法，实现了图像超分辨率重构，与经典的SCSR、SCDL算法对比验证了算法不仅可以提高图像的分辨率，还能显著改进图像视觉效果，由于算法并不是以牺牲算法运算时间、速度为代价，结果对于图像超分辨率重构具有明显的理论和实际意义。

[1] 李家德,张叶,贾平,等.采用非局部均值的超分辨率重构[J].光学精密工程,2013,21(6):1576-1585.

[2] 杨文波,朱明,刘志明,等.基于3线阵探测器的亚像元成像超分辨率重构[J].光学精密工程,2014,22(8):2247-2258.

[3] 史郡,王晓华.基于改进K-SVD字典学习的超分辨率图像重构[J].电子学报,2013,41(5):997-1000.

[4] 常志国,郭茹侠,李晶,等.基于稀疏表示和近邻嵌入的图像超分辨率重构[J].计算机测量与控制,2016,24(5):173-177.

[5] 路锦正,吴斌,张启衡,等.正则化恢复联合稀疏表示的图像超分辨率重构[J].光电工程,2013(9):1-7.

[6] 李强,刘哲,南炳炳,等.改进的基于邻域嵌入的图像超分辨率重构[J].激光技术,2015,42(1):13-18.

[7] 刘世瑛,胡江涛,黄峰,等.复眼图像超分辨率重构的噪声分析与消除[J].红外技术,2015,44(9):746-750.

[8] 管超,金波,张爱新,等.基于MCA分解的超分辨率重构算法[J].通信技术,2013,12(3):87-90.

[9] 胡江涛,黄峰,张雏,等.下采样对复眼图像超分辨率重构效果的影响[J].激光杂志,2014,10(10):43-45.

[10] 朱华生,徐晨光.基于局部约束的人脸图像超分辨率重构算法[J].激光与红外,2014,21(2):217-221.

[11] 李雪,蒋爱民,刘小峰,等.基于稀疏表示的图像超分辨率重构算法[J].微处理机,2014,35(1):41-45.

[12] 赵惠,魏静萱,庞志海,等.波前编码超分辨成像技术[J].红外与激光工程,2016,45(4):227-236.

[13] 刘世瑛,黄峰,刘秉琦,等.复眼图像超分辨率重构中配准算法研究进展[J].激光与红外,2015,45(10):1164-1170.

[14] 田浩南.超分辨率重构在航空光电成像系统中的应用?[J].国外电子测量技术,2015,13(2):73-77.

[15] 徐煜明,宋佳伟,肖贤建,等.基于亚像素块匹配和字典学习的超分辨率算法[J].计算机科学,2016,43(8):304-308.

[16] 王宏,卢芳芳,李建武,等.结合支持向量回归和图像自相似的单幅图像超分辨率算法[J].中国图象图形学报,2016,21(8):986-992.

[17] 李强,林文晓.基于稀疏表示和自相似学习的图像超分辨率重构[J].纺织高校基础科学学报,2013,5(4):548-552.

[18] 王尔卓,张月琴,于杨,等.基于二维稀疏表示的人脸超分辨率重构算法[J].太原理工大学学报,2015,17(2):183-187.

[19] 梁玉,王睿,李蕊,等.改进边缘质量和运动估计的超分辨率图像重构[J].信号处理,2015,21(1):26-33.

AHybridDictionaryLearningAlgorithmforImpromentofImageSuper-resolution

LIKe1，SUNJinling2

(1. The Open University of Guangdong, Guangzhou, 510091, China; 2. School of Economics and Management, Lanzhou University of Technology, Lanzhou 730050, China)

At present the machine learning algorithms mostly adopt single dictionary learning training design. From the perspectives of improving simultaneously resolution and visual effect, a 2-layer dictionary hybrid learning algorithm is designed. The classic coupling half dictionary learning (SCDL) is combined with fuzzy model to use as the first level dictionary learning, the second layer is used to reconstruct the residual image of the first layer. The second level is trained by theKvalue clustering and theK-SVD algorithm. Compared with classical SCSR, SCDL algorithms, experimental results show that the improved algorithm can improve the peak signal-to-noise ratio about 4%, and the value is more than 1 dB. It illustrates that the algorithm can improve the resolution of the reconstructed image and visual effect. Because the algorithm does not increase operation time and operation speed, it has a certain reference value for further promotion and development in the field of machine learning.

dictionary learning; 2-layer dictionary; half coupling dictionary learning; peak signal to noise ratio; visual effect