高　建,韩　瑜,顾　浩

(江苏自动化研究所,江苏连云港　222061)



一种改进的无参考图像质量评估算法

高建,韩瑜,顾浩

(江苏自动化研究所,江苏连云港222061)

无参考图像质量评估方法一直是图像质量研究所关注的重点。本文针对无参考图像质量评估问题,在当前被广泛接受的DIIVINE图像质量评估方法基础上进行了深入的研究,研究发现经典的DIIVINE方法中使用了过多的统计特征量,由于统计量无差别的使用影响了方法的预测性能。基于此,利用主成分分析(PCA)算法对该特征向量进行降维,得到“精简的特征向量”,用此向量可以达到更好的分类性能和评估性能。试验证明,在图像数据库上,该算法表现出较好的预测性能,其性能优于其他主流的无参考图像评估算法。

自然场景统计;主成分分析;无参考;图像质量评价

由于在大多数场合原始图像难以获取,因此在图像评估领域中,无参考图像质量评估算法一直是关注的重点。虽然对于人类来讲,在缺少原始图像情况下,可以很容易地评估一幅失真图像。但要设计一个自动化算法,达到相同的评估效果,是异常困难的。近年来,出现了许多关于无参考图像评估算法的研究[1-12]。

无参考图像评估算法的发展大致可以分为两个阶段:第一个阶段为失真已知的无参考图像评估算法,第二阶段为通用型的无参考图像评估算法。失真已知的无参考图像评估算法只能在一种指定的失真类型图像上进行评估。例如,文献[9-10]用来评估模糊失真类型的图像质量,其中文献[9]是通过图像的边缘宽度,文献[10]中是通过变换域中的图像峭度。而文献[11-12]则是用来评估JPEG压缩失真类型的图像质量,主要是通过测量JPEG压缩失真的块状化程度来评估图像质量。这些方法只能在特定的失真类型上有效,而在多数情况下,图像的失真类型是未知的,所以,通用型的无参考图像评估算法更有意义。

通用型的无参考图像质量评估算法进一步可以分为两种:一种是基于机器学习思想的,典型的算法有DIIVINE[1], BIQI[4],BQISQUE[5],GRNN[6],LOG/GM[7],DCT[13]。这些算法都需要学习训练来构建模型,再通过测试集评估其性能。其中GRNN算法,利用神经网络模型,提取图像的局部均值,熵和梯度特征用于训练。LOG/GM算法提取两种局部对比度的联合统计量进行学习。DCT算法提取图像的离散余弦变换系数进行学习。而文献[1,4-5]这些算法利用自然统计模型[2],提取失真图像的统计特征(其中文献[1，4]在小波变换域提取子带的统计特征,而文献[5]中提取图像的空域统计特征),构成图像统计特征向量,再基于文献[4]中提出的两阶段框架理论,利用支持向量机模型进行学习训练。另一种无参考图像评估算法是直接提取图像特征,然后将其映射,得到图像质量的评估值,此种算法无模型训练过程。典型的算法有NIQE[3],SVD[8]等,其中SVD算法直接利用图像灰度矩阵的奇异值,发现图像的奇异值与图像失真类型和程度的关系,经过一系列计算得到图像的评估值。而NIQE算法是利用图像的空域统计特征,将其映射得到图像的评估值。这些通用型的无参考质量评估算法大多是在小型图像数据库LIVE[21]上进行测试的,评估性能较好,但对于较多失真类型的CSIQ[22]和TID[23]图像数据库,普遍表现不佳。

由于经典DIIVINE方法中使用了过多的统计特征量而降低了方法的预测性能，因此,本文提出一种基于两阶段理论的DIIVINE的改进算法,利用主成分分析(PCA)算法对该特征向量进行降维,得到“精简的特征向量”,进而优化DIIVINE方法。实验证明,在图像数据库上表现了较好的一致性。

1　PCA-DIIVINE算法

1.1DIIVINE算法回顾

DIIVNE算法是Moorthy等人提出的两阶段框架下的无参考图像质量评估算法。其主要过程如下:1)利用小波变换将原失真图像进行分解,得到失真图像的子带图像；2)对子带图像进行统计特征提取,得到失真图像的统计特征向量X；3)利用该特征向量X进行两阶段工作:a)利用分类器将X进行图像的失真类型分类,得到每种失真的概率,组成一个图像的失真概率向量p；b)利用回归模型,将X在每种失真的回归模型上进行映射,得到图像在每种失真上的质量评价值,再组成一个评估值向量q；4)将失真概率向量p和评价值向量q做内积,最终得到失真图像的质量评价值。

下面简要介绍一下特征提取的过程,具体细节参考文献[1]。首先将原失真图像在两个尺度,6个方向上进行小波分解,得到的12个子带图像和一个高频图像,对这些子带图像进行统计特征提取,特征向量组成如下。

1)f1-f24:子带系数的广义高斯分布的参数,广义高斯分布:

fX(x;μ,σ2,γ)=ae-(b|x-μ|)γ

(1)

其中，μ,σ2,γ分别为子带系数均值,方差和形状参数。其中忽略子带均值,提取子带方差和形状参数。

2)f25-f31:在不同尺度下,相同方向子带系数的广义高斯分布。提取形状参数,忽略方差和均值。其中f31为所有子带的广义高斯分布的形状参数。

3)f32-f43:子带图像和高频图像的相关系数,由公式(2)计算得到。

(2)

4)f44-f73:子带的空间相关系数,由公式(3)计算得到。

(3)

其中，ρ(τ)表示在空间距离为τ时子带的空间相关系数,EpXY(x,y),EpX(x)[X],EpY(y)[Y]分别为变量X,Y的联合分布期望和边缘分布期望,σX,σY指变量X,Y的各自标准差。

5)f74-f88:相同尺度下,不同方向子带的相关系数。需要计算任意两个方向子带的相关系数,方法同公式(2)。

综上,原DIIVINE算法特征向量组成如表1所示。

表1　原DIIVINE特征向量组成

1.2原特征向量的冗余分析

原DIIVNE算法直接将88维向量作为输入,进行失真分类模型的建立和各种失真回归模型的建立。该方法在图像数据库中的预测性能并不出众,低于一些主流的无参考图像质量评估算法。本文利用DPS统计分析软件,对原特征向量进行典型相关分析,发现该特征向量的多项指标之间存在显著的相关关系,多项指标间相关系数的绝对值高于0.8,表明原特征向量存在信息冗余,有必要对该特征向量进行冗余处理,以消除数据间的冗余,达到数据降维的目的,从而方便后期的预测分析。

主成分分析技术(PCA)是广泛使用的数据降维算法,其可以将原有特征进行重新组合,变为一组相互无关、信息不重叠的新特征,从而可以消除数据的冗余,使原有的复杂数据降维。PCA技术广泛用于特征提取[14],目标识别[15],人脸识别[16]等众多图像处理问题。

PCA计算过程如下:假设原样本矩阵为X,由N个样本向量组成,首先计算样本协方差矩阵CX。

(4)

其中,μX为原样本矩阵均值。再计算协方差矩阵CX的特征值和特征向量。

P-1CXP=Λ

(5)

为了测试原特征向量在冗余去除前后的算法预测能力的差异。本文采用主成分分析方法(PCA)对DIIVINE的输入向量进行降维,并计算不同维特征的预测能力的差异。

表2是经过PCA降维后,通过5交叉验证,不同维向量在CSIQ数据库上测得的分类性能和相关系数。

其中N-交叉验证指的是,将原数据随机均分为N分,轮流将其中(N-1)份用作训练,1份用作验证,N次结果的均值作为对算法性能的估计。

表2　PCA降维对分类准确性和回归模型相关系数的影响

从表2数据可以发现,通过PCA降维后,模型的分类准确性会提高且大部分的回归模型的相关系数会增加。这表示,在DIIVINE使用的多维特征向量数据中存在了较大的冗余。如果使用恰当的降维处理,相关图像质量预测能力会更好的提升。

2　PCA-DIIVINE的设计原理

经典的DIIVINE方法在数据上具有较大的冗余。本文提出给予PCA降维的DIIVINE预测方法,整个PCA-DIIVINE算法流程图如图1所示。

图1　PCA-DIIVINE算法流程图

首先,应用DIIVINE方法的预测原理,对被测图像进行分析特征的提取,然后应用PCA对特征变量进行降维,降维之后,本文设计采用支持向量机(SVM)和支持向量回归(SVR)模型对图像质量进行学习和训练。关于两个模型的介绍请参考文献[17-19]。

由表2可以知道,对于分类模型和各个回归模型来说,最佳的降维数是不同的,所以无法统一给出降维数,需要试验进行测定,然后得到最佳的降维数。在CSIQ数据库上,测得最佳降维数,结果如表3所示。

表3　最佳降维数与原维数向量的性能对比

由表3可以发现,对于模型分类准确性来说,降维后分类准确性有所提高。对于大部分的失真模型的相关系数也会增加。

本实验中采用libSVM[20]来实现分类和回归模型的建立,即对应图1中的SVM模型和SVR模型,模型的核函数均采用RBF核函数,核函数参数用交叉验证在训练集上进行估计。

3　实验验证

3.1性能评价指标

为了建立图像的主观评价值与客观评估值的联系,VQEG建议使用修正的逻辑回归方程,则预测的一致性体现在此非线性函数的单调性上。该逻辑回归方程如下:

(6)

其中，参数a,b,c,d为常数,由最小化均方差准则选取。

最常用的预测性能评价方法有相关系数(CC)和斯皮尔曼等级相关系数(SROCC)。CC指数反映了图像的主观评价DMOS值与客观评估值的相对关系,相关指数越大,则表示预测的准确性越高,相关系数值介于0,1之间。SROCC主要用于单调性的评估,斯皮尔曼等级相关系数越大代表预测的单调性越好。

对于一致性的比较一般采用计算预测错误率的方法。预测错误率(OR)定义为

(7)

其中，Xsub(i),ypre(I)分别代表主观的评估值和对应式(6)中预测函数的预测值,σx代表主观评估值的方差。Ntotal是总的评估图像数,则OR预测错误率越小越好。

3.2数据库测试

本文算法在CSIQ数据库上进行测试,其共有866幅失真图像和6种失真类型(JPEG,JPEG-2000,AWGN,BLUR,CONTRAST,FNOISE),该图像数据库相比LIVE数据库,加入了更多的失真类型,更能反映出评估函数的优劣。

为了衡量本算法PCA-DIIVINE的性能,除了与原DIIVINE比较外,还和一些主流无参考图像评估算法(包括BIQI,BRISQUE,NIQE)进行比较,同时还加入了两个经典的全参考图像评估算法-SSIM[24],PSNR。如表4所示。

表4　各类评估算法性能比较(CSIQ)

由表4数据可知,本文算法PCA-DIIVINE在CSIQ数据库上表现出了较好的性能,不仅大幅度提升了原DIIVINE算法的性能,且在大多数失真类型上都有较高的CC和SROCC,在整个数据上表现优于各种无参考图像评估算法,也优于两种经典的全参考评估算法,同时本算法的预测错误率OR也较低。

图2给出了上述算法的散度图,7幅子图依次对应上述的7种算法,其中横坐标是预测函数的预测值,纵坐标是主观评估值。由图中可以看出,本文算法的预测值与评估值的贴合度最好,即相关性最好。

图2　各类评估算法的散度图

同时,为了测试评估函数的通用性,本文还在TID2013图像数据库上进行了测试。该数据库有24种失真类型,共3000幅失真图像。具体实验结果如表5所示。

表5　各类无参考评估算法性能比较(TID2013)

由表5可以看出,本文算法较其他主流无参考算法在该数据库上表现更好,说明本文算法的通用性更好。

4　结束语

本文提出一种改进型的无参考图像质量评估算法PCA-DIIVINE。其主要创新点在于发现了原DIIVINE特征向量的冗余,采用PCA降维技术对原特征向量进行优化,得到更具“特征”的特征向量表示,用此向量可以达到更好的分类和评估性能。实验证明,在CSIQ图像数据库上本文算法大幅度提升了原DIIVINE算法性能,且优于主流无参考评估算法和两个经典全参考图像评估算法。且经过TID图像数据库的测试,本文算法的通用性较好。

[1]A. K. Moorthy, A. C. Bovik. Blind image quality assessment: from natural scene statistics to perceptual quality[J]. IEEE Transactions on Image Processing, 2011,20(12):3350-3364.

[2]A. Srivastava, A. B. Lee, E. P. Simoncelli and S.-C. Zhu. On advances in statistical modeling of natural images[J]. J. Math. Imag. Vis.,2003,18:17-33.

[3]Anish Mittal, Rajiv Soundararajan and A. C. Bovik. Making a “Completely Blind” Image Quality Analyzer[J]. IEEE Signal Process. Lett.,2013,20(3): 209-212.

[4]A. Mittal, G. S. Muralidhar, A. C. Bovik. Blind image quality assessment without human training using latent quality factors[J]. IEEE Signal Process. Lett., 2012,19(2):75-78.

[5]A. Mittal, A. K. Moorthy, A. C. Bovik. No-reference image quality assessment in the spatial domain[J]. IEEE Trans. Image Process.,2012,21(12):4695-4708.

[6]C. Li, A. C. Bovik, X. Wu, Blind image quality assessment using a general regression neural network[J], IEEE Trans. Neural Netw., 2011,22(5):793-799.

[7]Wufeng Xue, Xuanqin Mou, Lei Zhang and A. C. Bovik. Blind Image Quality Assessment Using Joint Statistics of Gradient Magnitude and Laplacian Features[J]. IEEE Trans on. Image Processing, 2014,23:4850-4862.

[8]Qingbing Sang, Xiaojun Wu, Chaofeng Li, A. C. Bovik. Blind image quality assessment using a reciprocal singular value curve[J]. IEEE Signal Processing, Image Communication, 2014, 29:1149-1157.

[9]X. Marichal, W.-Y. Ma, and H. Zhang. Blur determination in the compressed domain using DCT information. In Proc. ICIP, Oct. 1999, 3:386-390.

[10]P. Marziliano, F. Dufaux, S. Winkler, and T. Ebrahimi. A no-reference perceptual blur metric. In Proc. ICIP. 2002, 3:57-60.

[11]殷晓丽, 方向忠, 瞿广涛. 一种JPEG图片的无参考图像质量评价方法[J]. 计算机工程与应用, 2006, 42(18):79-82.

[12]H. R. Sheikh, A. C. Bovik, L. Cormack. No-reference quality assessment using natural scene statistics: JPEG2000[J]. IEEE Trans. Image Process, 2005, 14(11):1918-1927.

[13]桑庆兵, 齐会新, 吴小俊, 等. 基于DCT系数无参考模糊图像质量评价方法[J]. 仪器仪表学报, 2013, 34(11):2599-2603.

[14]K. Fukunaga and W. Koontz. Application of the Karhunen-Loeve expansion to feature selection and ordering[J]. IEEE Trans. Communications, 1970, 19(4).

[15]H. Murase and S. Nayar. Detection of 3D objects in cluttered scenes using hierarchical eigenspace[J]. Pattern Recognition Letters, 1997, 18(4).

[16]M. Turk and A. Pentland. Face recognition using eigenfaces[J]. In Proceedings of Computer Vision and Pattern Recognition, 1991.

[17]V. Vapnik. The Nature of Statistical Learning Theory[M]. Springer Verlag, 2000.

[18]B. Scholkopf, A. Smola, R. Williamson, and P. Bartlett. New support vector algorithms[J]. Neural Computation, 2000, 12(5):1207-1245.

[19]C. Burges. A tutorial on support vector machines for pattern recognition[J]. Data mining and knowledge discovery, 1998, 2(2):121-167.

[20]C. Chang and C. Lin. LIBSVM: a library for support vector machines[Online]. http:∥www.csie.ntu.edu.tw/cjlin/libsvm/, 2001.

[21]H. R. Sheikh, K.Seshadrinathan, et al. Image and Video Quality Assessment Research at LIVE 2004[Online]. Available: http:∥live. ece.utexas.edu/research/quality/, 2004.

[22]E. C. Larson and D. M. Chandler, Categorical Image Quality (CSIQ) database 2009[Online]. Available:http:∥vision.okstate.edu/csiq/,2009.

[23]N. Ponomarenko, V. Lukin, A. Zelensky, et al. TID2008--a database for evaluation of full-reference visual quality assessment metrics[J]. Adv. Mod. Radioelectron. 2009, 10(4):30-45.

[24]Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli. Image quality assessment: From error measurement to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

A Modified No-reference Image Quality Assessment Method

GAO Jian, HAN Yu, GU Hao

(Jiangsu Automation Research Institute, Lianyungang 222061, China)

No reference (NR) image quality assessment method has been paid more attain in image quality research. For NR quality assessment problem, this paper focuses on the basis of DIIVINE which is a widely accepted image quality assessment. We firel that there are many useless statistical characteristic in DIIVINE, and the method’s predictive performance has been affected as these characteristic introduced. Based on this, this paper utilizes principal component analysis (PCA) method to reduce the dimension of the feature vector in DIIVINE, and then we use reduced feature vector to construct new prediction algorithm. It is validated the method on the image database, the method expresses a high predictive performance, which is superior to other famous no-reference image evaluation algorithms.

natural scene statistics(NSS); principal component analysis(PCA); no reference; image quality assessment

1673-3819(2016)04-0044-06

2016-03-27

2016-05-11

国家863项目(2015AA043102);国家自然科学基金(61305050);江苏省自然科学基金(BK2012236)

高建(1991-),男,安徽安庆人,硕士研究生,研究方向为机器视觉、图像质量评估。

韩瑜(1981-)，男，高级工程师。

TP391.41

A

10.3969/j.issn.1673-3819.2016.04.010

顾浩(1962-)，男，研究员。