范九伦， 王彦梓， 徐 健,2， 武晓敏

(1.西安邮电大学 通信与信息工程学院, 陕西 西安 710121; 2.西安交通大学 图像处理和识别中心, 陕西 西安 710049)

基于核典型相关分析的图像放大算法

范九伦1， 王彦梓1， 徐 健1,2， 武晓敏1

(1.西安邮电大学 通信与信息工程学院, 陕西 西安 710121; 2.西安交通大学 图像处理和识别中心, 陕西 西安 710049)

为了更有效地映射高、低分辨率图像到变换域，提高图像的分辨率，给出一种基于核典型相关分析的单幅图像超分辨率放大算法。首先将训练高、低分辨率图像块矩阵映射到变换域上，利用核典型相关分析得到最优的变换域基向量，然后在该变换域上重建测试低分辨率图像，再转换到原空间上得到初始放大结果，最后利用迭代反投影算法进一步提高图像的质量。实验结果表明，新算法可提高图像的分辨率，并能重建出图像较多的细节，人工痕迹少。

图像超分辨率；核典型相关分析；迭代反投影；变换域；相关度

图像超分辨率(Super-Resolution, SR)算法是通过一幅或一系列低分辨率图像(Low-Resolution, LR)重建高分辨率(High-Resolution, HR)图像的过程。这些算法可分成三类：基于插值、基于重建和基于学习的方法。

基于插值的方法简单，但容易产生模糊的边缘；基于重建的方法依据对图像的降质过程建立模型恢复图像，然而，一个不佳的模型设计可能会引起质量受损;基于学习的方法是通过学习训练HR和LR图像之间的关系，并将此关系作为先验信息来预测给定的LR图像丢失的高频细节。

典型相关分析(Canonical Correlation Analysis, CCA)[1]作为机器学习技术，在图像超分中有着重要应用。典型相关分析假设高、低分辨率图像之间的关系是线性的。在目前的图像超分算法中，典型相关分析已经应用于人脸图像超分[2-3]、车辆车牌号图像超分[4]。

精确拟合高、低分辨率图像之间的关系是重建高分辨率图像的关键步骤。对于实际图像，将高、低分辨率图像之间假设为非线性关系比线性关系会获得更好的重建效果[5]。事实上，在通常情况下，观察数据集之间是非线性的关系[6]，而解决此类非线性问题的一条有效途径就是核方法。在图像识别研究中，已经有文献将核方法和典型相关分析方法结合起来应用于人脸识别[7]。

本文针对高、低分辨率图像之间的非线性关系假设，设计基于核典型相关分析(Kernel Canonical Correlation Analysis, KCCA)[7]的图像SR算法。该算法首先采用非线性函数将训练LR投射到高维空间，得到LR特征，再将训练HR、LR特征映射到变换域上，利用CCA得到最优的变换域基向量，然后对测试LR图像在该变换域上进行重建，再转换到原空间上得到初始放大结果，最后利用迭代反投影算法[8]增强图像的全局约束，以提高图像的质量。为了保证图像能从变换域上转换到原空间域上，实验中只将低分辨率图像通过一个非线性函数映射到核空间上去，高分辨率图像不做处理。

1 CCA与KCCA

1.1 CCA

利用典型相关分析，可找出两组向量的典型变量对，它们之间的相关关系可用以模拟两组向量之间的整体关系。通过学习训练样本集，找到最优映射矩阵，使高、低分辨率图像在变换域上有最大的相关性。

以{Ys,Xs}表示训练HR和LR图像块集，其中

Ns代表训练图像块的数量。通过典型相关分析方法，可以得到基向量对

{U(u1,u,…,up),V(v1,v,…,vp)},

其中p是映射矩阵U和V的维数。使训练样本集在该基向量上的典型向量之间的相关性最大，得到最优映射矩阵，即

(1)

通过对式(1)求最优解，便可以得到最优的映射矩阵。典型相关分析可以通过下面的方法来求最优解。首先可以得到样本的互相关矩阵，即

其中SXsXs,SYsYs，SXsYs和SYsXs分别是样本Xs和Ys的自相关矩阵和互相关矩阵。再运用样本的互相关矩阵得到

对该矩阵进行特征值分解，并对特征值进行降序排列，第i(i=1,2,…,q)个特征值所对应的特征向量形成ui。最后vi可由ui得到,即

其中εi是M的第i个特征值，ui是对应的特征向量。将得到的ui和vi分辨堆积到矩阵中，得到最优基向量对{U,V}。

1.2 KCCA

核方法的基本思想是用一个非线性函数将低维数据空间映射到高维空间上。假设非线性函数为φ，它可将LR图像块集合Xs映射为

为了保证图像能从变换域转换到原空间域，可只考虑使用高斯核函数

将LR图像映射到高维空间。样本矩阵Xsφ经非线性变换后的Ns×Ns对称矩阵

它的第i行第j列元素为

Kij=k(xs,i,xs,j)。

KCCA的目的是要求解投影矩阵U和Vφ，使

(2)

(3)

由核方法可知，所求矩阵Vφ在所有样本Xsφ张成的空间中，即存在Ns维矩阵V，使得

求解Vφ，只需求V，将上式代入式(2)及约束条件(3)，可得约束优化问题

(4)

分别求L(U,V,λ,μ)对U和V的偏导，并令

(5)

利用约束条件(4)，可得

代入式(5)可得

求解U只需求解该特征方程式非零特征值对应的特征向量。

2 基于KCCA的SR算法

2.1 用KCCA方法重建高分辨率图像

由KCCA训练过程，得最佳映射矩阵{U，V}，将测试LR图像块集合Xt先通过非线性映射到高维空间上，再利用Vφ映射到变换域上，在变换域上重建HR图像块，最后转换到原空间，即可得到目标HR图像。

将测试LR图像块集合Xt映射到高维空间

与训练过程相同，使用高斯核函数，用非线性变换后的样本矩阵定义Nt×Nt矩阵

该矩阵的第i行第j列元素为

Kij=k(xt,i,xs,j)。

再将Xtφ映射到Vφ上，未知目标HR图像块集合Yt映射到U上，在变换域上它们之间存在关系

XtφVφ=YtU+E,

其中E是变换域上HR和LR图像块之间的误差矩阵，而

所以有

KV=YtU+E。

使关于Yt的损失函数

R(Yt)=tr(KtV-YtU)T(KtV-YtU)

达到最小，运用最小二乘算法即可估计得出目标HR图像块Yt，即令

解得

Yt=KtVUT(UUT)-1。

实验中为了防止矩阵出现奇异情况，常常在求逆矩阵前增加一个正则项，即

Yt=KtVUT(UUT+ηI)-1,

其中η是一个非常小的数(一般取1×10-6)，I是单位矩阵。

2.2 后期处理

通过测试过程，得到图像的初始放大结果，为了进一步提高图像初始估计的质量，应用迭代反投影算法，增强图像的全局约束。一般情况下，LR图像X是由HR图像Y经过模糊算子B下采样算子D得到，即

X=DBY。

求Y的逆过程可转化为优化过程

其中λ是一个平衡因子，Y0是图像的初始估计。利用梯度下降算法求解上式，得到迭代过程

Yn+1=Yn+μ[BTDT(X-DBYn)+λ(Y0-Yn)]，

其中μ是梯度下降步长，Yn表示第n次迭代结果。实验中，迭代反投影法中最大迭代次数设定为20。

基于KCCA的图像超分辨率放大算法的流程如图1所示。

图1 基于KCCA的图像超分辨率放大算法流程

3 实验及分析

3.1 实验设置

为了验证基于KCCA的图像超分辨率放大算法的效果，训练样本选自文献[9]程序包中的69幅各不相同的图像，将HR图像通过下采样得到对应的LR图像，形成训练HR、LR图像对。图2表示的是实验中用到的测试图像。

(a) 图像1

(b) 图像2

(c) 图像3

(d) 图像4

(e) 图像5

(f) 图像6

(g) 图像7

(h) 图像8

(i) 图像9

图2 测试图像

实验过程中，为了更好的利用KCCA来拟合HR、LR图像块之间的关系，首先将LR首先通过插值算法放大到与HR图像相同尺寸的版本，再利用KCCA来训练。对于测试过程，首先将LR图像运用插值放大到目标尺寸，得到低频信息，再映射到变换域，重建HR图像。实验将低分辨率图像放大4倍。

实验中，将图像分成7×7的图像块，相邻图像块之间有6个像素重叠。为了扩大实验的可用性，将图像块对数量转化为图像块方差阈值，设置硬阈值为0.01，即将图像块方差小于该阈值的图像块舍去。

3.2 实验结果分析

为了验证所提SR重建算法的效果，在各种彩色图像上进行实验。对比双三次插值(Bicubic)[10]、邻域嵌入(Neighbor Embedding, NE)[11]、基于学习的经典算法(Freeman)[12]、SRSC[9]几种算法。客观准则使用峰值信噪比(Peak Signal to Noise Ratio, PSNR)，但有时PSNR反映图像质量与人眼观察的图像质量情况并不完全相符，因此，增加结构相似度(Structural Similarity，SSIM)准则[13]和特征相似度(Feature Similarity， FSIM)准则[14]来估计图像的质量。由于人类视觉系统(Human Visual System, HVS)对于亮度更加敏感，因此超分辨率重建过程只在彩色图像的亮度分量上进行，对于色度分量，直接用双三次插值放大。

为了比较不同超分辨率重建算法的视觉效果，图3至图5分别展示图像6(horse)，图像8(girl)，图像9(lena)三幅测试图像通过不同重建算法放大4倍的高分辨图像。

(a) Bicubic (b) Freeman (c) NE (d) SRSC (e) 新算法 (f) 原高分辨率图像

图3 图像horse放大4倍的效果。

(a) Bicubic (b) Freeman (c) NE (d) SRSC (e) 新算法 (f) 原高分辨率图像

图4 图像girl放大4倍的效果。

(a) Bicubic (b) Freeman (c) NE (d) SRSC (e) 新算法 (f) 原高分辨率图像

图5 图像lena放大4倍的效果。

从图3至图5可以看出双三次插值提高了低分辨率图像的分辨率，但是图像过于光滑。基于学习的方法能恢复大量高频细节，以及尖锐的边缘，但对训练集的依赖性很大。邻域嵌入算法与经典算法相比，可以通过增加训练集，使得从训练集中得到的高频细节更加丰富；稀疏表示方法相比较其他算法，纹理细节恢复的很好。作为对比，所给算法能产生更少的人工痕迹，得到更清晰的边缘和更好地细节，例如girl和lena的双眼皮比其他算法的结果更加明显。此外，每一测试图像的局部兴趣点都说明所给算法可以得到比其他算法更好的细节。

因为重建过程只在彩色图像的亮度分量进行，所以只比较原高分辨率图像和重建后的图像之间亮度分量上的客观指标。不同SR算法的PSNR、SSIM和FSIM记录在表1至表3中。

表1 不同的SR算法的客观指标比较(PSNR)

表2 不同的SR算法的客观指标比较(SSIM)

表3 不同的SR算法的客观指标比较(FSIM)

从表1至表3可以看出，Freeman和NE算法重建的图像的质量指标不太理想，这两种算法因不同的训练集有很大变化，可以通过改变训练图像来稍微提高重建质量。相比较而言，SRSC和新算法可以得到更好的效果，各种图像质量指标都有所提高。与SRSC算法相比，除第图像2、图像3和图像7外，其他图像都是在采用新算法重建时能得到更好的质量指标；对于图像2、图像3和图像7，在PSNR指标上看，新算法重建的最高。从各种指标的平均值上来看，对于PSNR和SSIM值，新算法重建的图像效果最好，而从FSIM值上来看，SRSC算法重建的图像质量略好。

无论是图3至图5各SR算法重建的视觉效果比较，还是表1至表3的数据比较，都显示新算法重建的图像较理想，能够重建出更丰富的细节。

4 结语

提出一种利用KCCA方法重建输入LR图像对应的HR图像。该算法假设LR和HR特征之间呈非线性关系。首先利用线性插值方法得到图像的低频和中频信息，再利用核典型相关分析法将高、低分辨率特征映射到子空间，使在此子空间上，LR和HR图像之间的相关性达到最大。实验结果表明，LR和HR特征之间的非线性关系假设符合实际情况，KCCA方法能够比较精确地拟合HR和LR之间的关系。与其他经典算法相比，所给算法无论在视觉上，还是在峰值信噪比、相似度准则上的评估，均提高了重建质量。

未来可以考虑采用聚类算法[15]将训练集合分类，再训练出多对映射矩阵来重建HR图像，进一步提高图像的质量。

[1] Hotelling H. Relation between two sets of variates[J]. Biometrika, 1936, 28(3/4): 312-377.

[2] Huang Hua, He Huiting, Fan Xin, et al. Super-resolution of human face image using canonical correlation analysis[J]. Pattern Recognition, 2010, 43(7): 2532-2543.

[3] An L, Bhanu B. Face image super-resolution using 2D CCA[J/OL]. Signal Processing, 2014, 103(10):184-194.http://www.ee.ucr.edu/～lan/papers/AnNeurocomputing14.pdf.

[4] An L, Thakoor N, Bhanu B. Vehicle logo super-resolution by canonical correlation analysis[C]//IEEE International Conference on Image Processing, Orlando, FL: IEEE, 2012: 2229-2232.

[5] Chen Xiaoxuan, Qi Chun. Nonlinear neighbor embedding for single image super-resolution via kernel mapping[J]. Signal Processing, 2014,94(1): 6-22.

[6] 郭辉. 基于KCCA的特征匹配方法[J]. 科学技术与工程,2013,13(12):3488-3491.

[7] 贺云辉, 赵力, 邹采荣. 一种基于KCCA的小样本脸像鉴别方法[J]. 应用科学学报, 2006, 24(2): 140-144.

[8] Irani M, Peleg S. Irani M, et al. Improving resolution by image registration [J]. CVGIP: Graphical Models and Image Processing, 1991, 53(3): 231-239.

[9] Yang Jianchao, Wright J, Huang T, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[10] Hou H S, Andrews H C. Cubic splines for image interpolation and digital filtering[J]. IEEE Transactions on Signal Processing, 1978, 26(6): 508-517.

[11] Chang Hong, Yeung D-Y, Xiong Yimin. Super-resolution through neighbor embedding[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Washinqton, DC, USA: IEEE, 2004, 1: 275-282.

[12] Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65.

[13] Wang Zhou, Bovik A C, Sheikh H R, et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[14] Zhang Lin, Zhang Lei, Mou Xuanqin, et al. FSIM: A feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011,20(8): 2378-2386.

[15] 范九伦.抑制式模糊C-均值聚类算法研究综述[J]. 西安邮电大学学报, 2014, 19(3):1-5.

[责任编辑:瑞金]

Image super-resolution via kernel canonical correlation analysis

FAN Jiulun1, WANG Yanzi1, XU Jian1,2, WU Xiaomin1

(1.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China;2. Image Processing and Recognition Center, Xi’an Jiaotong University, Xi’an 710049, China)

In order to improve image resolution by mapping effectively high- and low-resolution image into transform domain, a single image super-resolution algorithm via kernel canonical correlation analysis is proposed. The algorithm maps the matrices of high- and low-resolution training image patches into transform domain and obtains the optimal base vectors via kernel canonical correlation analysis. Furthermore, the test low-resolution image is reconstructed in the transform domain and converted to the original space to gain the initial result. At last, an iterative back projection algorithm is used to further improve the image quality. Experimental results show that the new algorithm can improve the image resolution and reconstruct richer details and fewer artifacts.

image super-resolution, kernel canonical correlation analysis, iterative back projection, transform domain, correlation

2014-10-21

国家自然科学基金资助项目(61340040);西安邮电大学青年教师科研基金资助项目(ZL1204)

范九伦(1964-)，男，博士，教授，从事模式识别、模糊理论、信息安全研究。E-mail: jiulunf@163.com 王彦梓(1989-)，女，硕士研究生，研究方向为通信与信息系统。E-mail:wyz_zc@126.com

10.13682/j.issn.2095-6533.2015.02.011

TP391

A

2095-6533(2015)02-0052-07