刘玉涛 赵德斌

Abstract： Images are vulnerable to different kinds of distortions， such as blur， noise， blocking， etc.， which all degrade the image quality. Among the distorted images， out-of-focus blurred images are frequently-encountered and occupy a large proportion. However， few efforts have been done to quality evaluation for these images. In this paper， a dedicated quality evaluation scheme is devised to automatically infer the quality of out-of-focus blurred images， which is named GPSQ （Gradient magnitude and Phase congruency-based and Saliency-guided Quality model）. In GPSQ， a pair of low-level features， including Gradient Magnitude （GM） and Phase Congruency （PC）， are extracted to characterize the image local blurriness. Then saliency detection is performed on the image to generate a corresponding saliency map. Finally， the local structure map with the saliency map is weighted to estimate the visual quality of the out-of-focus blurred image. Experimental results demonstrate the proposed GPSQ delivers high consistency with subjective evaluation results.

引言

隨着手机相机的普及使得图像的获取变得非常便捷。然而，不适当的相机参数或者人为拍摄的随意性使得获取的照片很容易遭受失真的干扰。这些失真主要有模糊、噪声、对比度改变等等。在失真图像里面，失焦模糊图像占据很大比例，因此，本文提出一种专门用于失焦图像的质量评价的方法。该方法不仅可以在拍摄过程中检测失焦模糊图像的质量，还可以帮助在拍摄后期剔除失焦模糊的图像。

一般地，图像质量评价方法可分为3类，即：全参考、半参考和无参考评价方法。其中，全参考质量评价方法是指在原图或者无失真图已知的情况下，通过比对原图和对应的失真图来预测失真图的质量。代表性的方法主要有PSNR（peak signal-to noise ratio）和SSIM （structural similarity index） [1]等。具体来说，PSNR的做法是计算均方误差（Mean Squared Error， MSE）来估计图像的质量，MSE越小表示失真图像与原图越接近，从而失真图像的质量越高，相反失真图像的质量越低。SSIM通过计算原图与失真图像之间的亮度、对比度和结构相似性来估计图像的质量。因为有原图可以参考，分析可知全参考评价方法的预测性能是最高的，但是要求原图已知的条件太高，现实应用中往往很难达到。因此，研究者考虑只提取部分原图的信息或特征，通过比较特征来对图像的质量进行预测，这就是半参考的图像质量评价方法。该类方法不需要参考原图全部的信息，只需要提取原图的一些特征，运行时极大地降低了数据量。代表性方法主要有RRED（Reduced Reference Entropic Differencing） [2]和FEDM（Free-energy based Distortion Metric） [3]等。第三类方法是无参考的图像质量评价方法。这类方法毋须参考原图的信息，可以对失真的未知原图质量做出估计，而且能够充分贴合现实情况，准确率高的无参考质量评价方法在实际的图像处理中有着重要意义。主流的无参考质量评价方法可以参考BRISQUE、NFERM等模型。因为在图像获取过程中，没有原图可以对照，本文中研究设计的质量评价方法就属于无参考评价方法。

1提出的失焦图像质量评价方法

本文中，首先提取图像的2个低视觉层次的特征，分别是梯度幅值（GM）和相位一致性（PC）， 然后结合GM和PC得到局部结构图，该结构图可以局部地度量失焦图像的模糊度，于是借助显著性检测方法对失焦图像进行显著性检测，得到对应的显著图，在显著图中，值越大的区域说明该区域要更多地受到人眼的关注。进一步地，将用显著图加权结构图得到质量图，再通过池化处理得到最后的质量估计。

1.1GM提取

人类视觉系统通过提取视野中的结构来理解视野的内容，然而在失焦图像中，由于失焦模糊的引入使图像的结构信息遭到破坏，阻碍了视觉系统对图像的正常解释，从而导致图像的质量下降。所以度量结构信息的损失能够有效地预测图像质量的下降程度。

1.2PC提取

除了利用GM提取图像的结构信息，研究同时考虑了图像结构在图像频域里的表现特性，即提取图像的PC特征来进一步提取图像的结构信息。与GM比较，PC对光照和对比度的改变不敏感，即在光照或者对比度不佳的条件下，也可以很好地提取出图像的结构信息。具体的计算方法如下。

图2中，（a）是一幅失焦图像，（b）、（c）、（d）分别是（a）的GM、PC和S图。首先观察红色方框的位置，即会发现墙的边缘两侧白云和白塔都是白色，导致（b）中利用空域GM提取墙的边缘并不明显，然而（c）可以高性能地提取墙的边缘；同样地，观察黄色方框的位置，分析表明围栏具有相似的频率表现，所以（c）中利用频域PC提取的边缘效果不好，而利用GM可以很好地提取边缘，如图（b）中黄色方框所示。观察（d）图，又会发现不论是红色方框里的边缘，还是黄色方框里的边缘都能够有效地提取出来。由此则可推演得到GM和PC对于边缘结构提取各有优缺点，最大值结合可以融合GM和PC的优点，从而全面地提取出图像的边缘结构，在后面的分析中，研究将利用实验结果来进一步验证这一研究论点。

由于人類视觉系统不是对图像中所有的内容感兴趣，在得到局部结构图S后，还要对失焦图像进行显著性检测，得到一幅显著图。在显著图中，值越大说明该点受人眼关注程度越高，所以显著性检测可以使最终的预测更加准确。本文的做法是用显著图来加权生成的局部结构图，再设计得到一个局部的质量图Q，假设显著图为SM，则：Q（i， j）=SM（i， j）·S（i， j）∑（i， j）∈QSM（i， j）（11）至此，基于池化得到的局部质量图Q，可计算得到最后的质量估计，即：Quality=1N∑（i，j）∈ΩQ2（i， j） （12）其中，Ω是Q中前20%（按从大到小排序）的数的位置的集合，N是Ω的元素的个数。

2实验结果与分析

本节研究将通过实验来验证文中设计算法的预测性能。首先，给出评价算法预测性能的指标，然后提及了研究拟将用到的图像测试集，接着探讨了本文算法与当前主流算法的预测性能比较，最后验证了本文算法中提供特征的有效性以及显著性检测在提高预测性能上的作用。

2.1预测性能评价准则

研究中，采用4个统计指标来评价本文研发算法的预测性能，分别是斯皮尔曼等级相关系数（SROCC）、肯德尔等级相关系数（KROCC）、皮尔森线性相关系数（PLCC）和均方根误差（RMSE）。此后将计算预测的质量分数与人为标定的质量分数之间的3个相关性系数，系数越接近于1说明预测的性能越好；预测的质量分数与人为标定的质量分数的均方误差越接近于0，说明预测性能越高。在计算PLCC和RMSE之前，视频质量专家组建议先将算法预测的质量分数进行非线性拟合[4]，拟合函数一般采用：

2.2测试图像库

实验中采用2个公开的失焦图像库来测试本文提出的方法。第一个数据库[5]包含150幅失焦图像，每幅失焦图像的质量都经过人为标定，对应一个主观质量分数，这150幅图像可以分为30个场景，每个场景有5个不同的失焦模糊等级。另一个数据集[6]包含585张图像，这些图像可以分为5大类，分别是无模糊、失焦模糊、简单运动模糊、复杂运动模糊以及混合模糊。根据本文研究的问题，设计选择失焦模糊这一类作为仿真测试数据集。在图3中，就整体展示了数据集里的失焦图像示例。

2.3预测性能的比较

研究将提出的方法与目前主流的算法进行对比，实验结果可见表1、表2（最优结果由黑体表示）。表1、表2分别列出了在第一个、第二个数据库上的预测性能。过程中，将研究比较的算法分为2类。第一类是通用的质量评价方法，包含：BIQI[7]、DIIVINE[8]、NFERM[9]以及NIQE[10]；第二类方法是专门用于模糊失真的评价方法，其中包含CPBD[11]、ARISMC[12]、FISH[13]、S3[14]。

由表1中的结果分析可知，通用的评价方法对失焦图像具有评价的能力，比如NFERM的准确率达到了70% （PLCC=0.752 9）以上，DIIVINE也达到了60%（PLCC=0.647 5）以上，而BIQI和NIQE的预测性能相对较低。同时，专门评价模糊的模型比通用的模型性能要高，其准确率都在60%以上。这种情况是因为失焦模糊也属于模糊，即使得专门评价模糊的方法对其就表现出更强的针对性。通过比较研究发现，本文提出的方法GPSQ取得了最优的评价性能，准确率达到93.41%，各项指标都取得了最优值。

对比表1和表2，可以发现表2中所有算法的预测性能都有所下降，究其原因可解析为如下2点：

（1）在第二个数据库里，图像的分辨率不固定，而已有研究表明图像的分辨率对图像的主观质量是有影响的，但第一个数据库的图分辨率则是固定的。

（2）第二个数据库图像的对比度和亮度也是不固定的，而对比度和亮度也是影响图像主观质量的重要原因。

因此，第二个数据库中图像失真的情况更趋复杂，单纯使用模糊评价的方法将难以准确预测其主观质量。尽管如此，本文提出的方法仍然取得了最优的实验结果，并且各项指标也都达到了最优，这就证明了本文提出方法的优越性。

2.4GM和PC验证

在前述章节中，研究选用一个例子论述了GM和PC可以互补地提取图像的结构特征，最大值融合GM和PC可以系统全面地提取出图像的结构，因此，利用融合GM和PC提取特征可以得到比任何一个更好的预测性能。研究中在第一个数据库上进行实验，分别利用GM、PC和两者的结合来提取图像的结构特征，然后分别用于质量预测，实验结果可见表3。观察表3可以发现，仅用GM或者PC也可以达到较高的预测准确性，而且两者相差不大，PLCC都在0.9以上。但在结合GM和PC之后，各项指标比GM或者PC都出现明显的增长，说明预测性能比GM或者PC任何一方都得到了可观的改进，这也证明了本文采取最大值融合策略的合理性。

2.5显著性检测对预测性能的影响

在本文的方法中，研究利用显著性检测来得到失焦图像的人眼显著图，并用于对结构图进行加权，从而可以提高算法预测的准确度。在这一节，将展开如下实验来验证显著性在预测性能提升方面的作用。不失一般性，采用了4种主流的显著性检测模型，即Covsal[15]、GBVS[16]、Itti[17]和RARE[18]，结构图的生成也对比了2种方法，即：FISH和S3，利用显著图来加权结构图的方法是固定的，并在第一个数据库上进行实验，利用SROCC来评价预测性能，实验结果可见表4。在表4中，None表示不采用显著性模型。从表4中分析发现：首先，，不论是FISH、S3还是本文的方法GPSQ、采用Covsal、GBVS和Itti做显著性检测，最终的预测性能都高于不采用显著性检测的做法，从而证明了本次研究采用显著性检测来提高预测准确率的良好效果。其次，研究发现在任何一种显著性检测的模型下，本文的方法都取得了最优的预测结果，证明了本文算法的优越性。当利用Covsal模型时，本文的算法取得了最佳的性能，所以研究默认在提出的方法中将采用Covsal模型进行显著性检测。最后，在RARE模型下，其SROCC的值都低于不采用显著性检测的SROCC的值，说明预测性能还取决于显著性检测的准确率，显著性检测不准确会导致运行后预测性能的降低。基于此，还将用一个显著性检测的示例来推得演绎说明。研究比较Covsal和RARE的显著性检测结果，视像标识处理后可如图4所示。图4中，（a）是一张失焦图像，（b）和（c）分别是Covsal和RARE得到的显著图。在显著图中，越亮的地方表示人眼对该处会有特别观察倾向，观察图中的红色矩形框，就会发现RARE认为背景的红花更吸引人眼的关注，实际上研究者观察图（a），也会更多地聚焦于前景的花上面。显然，Covsal的检测结果更符合实践判断，从而提高了质量评价的准确性。

2.6算法復杂度分析

对质量评价算法而言，算法时间复杂度也是一个重要的指标，在这一小节研究将对提出算法的时间复杂度进行分析，同时还将给出所有算法在一幅480×720图像上运行时间的效果对比。实验的硬件配置为一台Thinkpad X220笔记本电脑，其内置的CPU为2.5 GHz，RAM为4 G；软件平台为Matlab R2012a。实验结果可详见表5。在表5中，N代表图像元素个数；C是常数；d是窗口大小；W和H分别代表图像的宽度和高度；m是DNT邻域大小；b是直方图单元的数量；k是块大小。从表5中可以看出，NFERM的运行时间最长，其次是S3和ARISMC，而FISH所需的运行时间最短，并且其时间复杂度是常数级；BIQI、CPBD以及NIQE的时间复杂度都是线性阶，即O（N），由此推得的运行时间均在1 s之内。本文提出方法的时间复杂度居于中间的位置，算法主要的耗时步骤在显著性检测，后续的研究中可采取更加快捷的显著性检测方法，从而大幅降低本文方法的运行时间。

3结束语

本文提出了一种专门针对失焦模糊图像的质量评价方法。在该方法的探讨中，研究提取了2种低视觉层次的特征来度量图像的模糊度，即梯度幅值特征和相位一致性特征，通过结合这2种特征得到一个局部的结构信息图。同时，研究还对失焦图像进行显著性检测，得到对应的显著图。然后，又用显著图来加权局部的结构信息图得到局部质量图，通过对局部质量图进行池化得到最终的质量估计。通过实验验证了本文方法得到了与主观质量评价较高的一致性，而且本文的方法在主流的质量评价方法中也取得了最优的预测性能。

参考文献

[1] WANG Zhou， BOVIK A C， SHEIKH H R， et al. Image quality assessment： From error visibility to structural similarity[J]. IEEE Transactions on Image Processing， 2004， 13 （4）： 600-612.

[2] SOUNDARARAJAN R， BOVIK A C. Rred indices： Reduced reference entropic differencing for image quality assessment[J]. IEEE Transactions on Image Processing， 2012， 21 （2）：517-526.

[3] ZHAI G， WU X， YANG X， et al. A psychovisual quality metric in free-energy principle[J]. IEEE Transactions on Image Processing， 2012， 21 （1）：41-52.

[4] Video Quality Experts Group （VQEG）. Final report from the video quality experts group on the validation of objective models of video quality assessment[EB/OL]. [2000-03].http：//www.its.bldrdoc.gov/vqeg/projects/frtv_phaseI/index.php.

[5] LIU Yutao， ZHAI Guangtao， LIU Xianming， et al. Quality assessment for out-of-focus blurred images[C]//Visual Communications and Image Processing （VCIP） . Singapore：IEEE， 2015：1-4.

[6] CIANCIO A. DA COSTA A L， DA SILVA E A， et al. No-reference blur assessment of digital pictures based on multifeature classifiers[J]. IEEE Transactions on Image Processing， 2011， 20 （1）：64-75.

[7] MOORTHY A K， BOVIK A C. A two-step framework for constructing blind image quality indices[J]. IEEE Signal Processing Letters， 2010， 17 （5）：513-516.

[8] MOORTHYA K， BOVIK A C. Blind image quality assessment： From natural scene statistics to perceptual quality[J]. IEEE Transactions on Image Processing， 2011， 20 （12）：3350-3364.

[9] GU Ke， ZHAI Guangtao， YANG Xiaokang， et al. Using free energy principle for blind image quality assessment[J]. IEEE Transactions on Multimedia， 2015， 17 （1）：50-63.

[10]MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters， 2013， 20 （3）： 209-212.

[11]NARVEKAR N D， KARAM L J. A no-reference image blur metric based on the cumulative probability of blur detection （CPBD）[J]. IEEE Transactions on Image Processing， 2011， 20 （9）： 2678-2683.

[12]GU Ke， ZHAI Guangtao， LIN Weisi， et al. No-reference image sharpness assessment in autoregressive parameter space[J]. IEEE Transactions on Image Processing， 2015， 24 （10）：3218-3231.

[13]VU P V， CHANDLER D M. A fast wavelet-based algorithm for global and local image sharpness estimation[J]. IEEE Signal Processing Letters， 2012， 19 （7）： 423-426.

[14]VU C T， PHAN T D， CHANDLER D M. S3： A spectral and spatial measure of local perceived sharpness in natural images[J]. IEEE Transactions on Image Processing，2012， 21 （3）： 934-945.

[15]ERDEM E， ERDEM A. Visual saliency estimation by nonlinearly integrating features using region covariances[J]. Journal of vision， 2013， 13 （4）： 11.

[16]HAREL J， KOCH C， PERONA P. Graph-based visual saliency[C]// IPS' 06 Proceedings of the 19th International Conference on Neural Information Processing Systems. Canada：ACM， 2006： 545-552.

[17]ITTI L， KOCH C， NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1998， 20 （11）：1254-1259.

[18]RICHE N， MANCAS M， GOSSELIN B， et al. Rare： A new bottom-up saliency model[C]// 2012 19th IEEE International Conference on Image Processing. Orlando， FL， USA：IEEE，2012： 641-644.