崔 力 浩 明

(1西北工业大学电子信息学院，西安710072)

(2西安邮电大学通信与信息工程学院，西安710121)

数字图像在采集、压缩、编码、去噪、增强、水印、认证、存储、合成与复制的过程中容易遭受质量损失.目前，图像质量评价技术已被广泛应用于成像系统的性能测试、实时质量监控、参数与性能优化等场合，以达到保持和优化图像质量的目的.传统的图像质量评价方法主要通过心理学实验手段来获得观察者对待测图像的主观反应，这类方法对实验条件有着苛刻的要求，实施步骤复杂，难以满足实时性要求.因此，客观图像质量评价算法成为这一领域的研究热点.

客观图像质量评价算法可以分为全参考、半参考和无参考3类［1］.当前国内外的研究主要集中在全参考图像质量评价算法的开发上.假定物理信号的差异是造成感知质量下降的唯一原因，峰值信噪比(PSNR)是目前最常见的图像质量评价指标.尽管其具有计算简单和物理意义清晰的优点，但是相关研究指出它与主观感知质量的吻合程度较差.因此，有学者尝试结合人眼视觉系统(HVS)的特征，开发图像质量评价算法［2-3］.这类方法与人眼主观感知吻合程度较好，但其计算复杂度普遍较高.此外，当前学术界对于人眼视觉系统的理解尚不完善，严重影响了相关建模的准确性与完备性.Wang等［4］假设结构信息丢失是造成图像质量下降的主要原因，提出了一种新颖的结构相似性图像质量评价(SSIM)算法.该算法在多个信道上分别估计得到图像的亮度、对比度和结构相似度，并将其共同构成图像综合质量指标，以利用视觉信息处理模型来代替人眼视觉系统的功能.UQI算法［5］可以被看作是SSIM 算法的原型，MS-SSIM 算法［6］则是利用多分辨率分析技术对SSIM算法进行扩展的结果.

视觉注意模型能够模拟人眼视觉注意力的转移与停驻机制，目前已被广泛应用于图像检索、场景分割等场合.本文提出了一种基于视觉注意机制的全参考图像质量评价算法(visual attention based image quality metric，VAIQM).首先，对图像进行预处理，以获得图像的细节和轮廓信息，并在细节和轮廓2个层次上分别计算图像的局部相似性;然后，利用人眼视觉注意机制将图像分为视觉显著、不显著和中等显著3个区域，将在这些区域获得的图像相似性度量值合并为图像整体质量指标.

1 视觉注意机制

人眼视觉系统在面对复杂场景时，总是能够迅速将注意力集中于少数几个显著的视觉对象，并对其进行优先处理，这个过程被称为视觉注意(visual attention).视觉注意模型的任务是模拟研究人眼的视觉注意机制，即如何快速而准确地定位感兴趣区域、完成视觉搜索任务.Itti模型［7］就是一种按照自底而上方式建立的经典的视觉注意计算模型，主要包含以下2个方面:

1)早期视觉特征的提取.利用高斯金字塔对图像的早期视觉特征(颜色、亮度和方向)进行多分辨率分析，并采用中央-周边(center-surround)算子在多个特征和尺度的条件下计算中心区域相对于四周的差异，即

式中，I为亮度特征;R，G，B，Y为颜色特征，分别表示红色、绿色、蓝色和黄色;DRG和DBY分别为R，G和B，Y的色差分量;O为方向特征;Θ为中央-周边算子;c，s分别为中央-周边算子的中心尺度和周围尺度，且 c={2，3，4}，s=c+ δ，δ∈［3，4］.由此可知，在3×2=6个尺度空间进行计算时，共计可以得到6×(1+2+1×4)=42幅特征显著度图.

2)显著度图的生成.利用Treisman特征融合理论及Koch神经生物学模型，将生成的42幅特征显著度图合并为1幅整体视觉显著度图.Itti模型中包含一种归一化算子N(·)，通过比较特征显著图中全局最大值与其他本地最大值均值之间的差异，对所有潜在的显著位置点进行幅值提升，使其相对其他区域显得更加突出.通过将各个特征通道内的特征显著图进行合并，产生亮度显著度图¯I、颜色显著度图¯C和方向显著度图¯O.图像整体视觉显著度图Va定义如下:

式中，⊕为逐点相加操作.

2 图像质量评价

基于视觉注意机制的图像质量评价算法的框架如图1所示.由图可知，它主要由预处理、块相似度测量、区域质量估计(视觉显著度测量和门限分割)、多通道信息融合4个部分组成.

图1 基于视觉注意机制的图像质量评价框架

2.1 预处理

人脑视觉皮质层可将多个频率分量的响应与其他信息相结合，形成视觉判断行为［1］.因此，可认为人眼视觉系统包含2个独立的视觉信息处理通道，它们分别在粗糙和细致2个层次上测量视觉信号的感知差异，以便获得图像感知质量.预处理的目的在于对输入图像进行Sobel边缘检测和模糊操作，获得图像的细节和轮廓信息.对于给定图像X，Sobel边缘检测算子首先利用2个大小为3×3的掩映模板(M1和M2)计算图像的水平梯度Xh=X⊗M1和垂直梯度Xv=X⊗M2，并最终将图像梯度定义为

同理，图像的模糊版本可表示为

式中，⊗为二维卷积操作.

用于边缘检测和模糊操作的模板M1，M2，M3如图2所示.

图2 用于边缘检测和模糊操作的模板

2.2 相似度测量

对于给定的参考图像和测试图像，首先对其梯度图进行分块操作，得到若干重叠的大小为11×11的子块.假定B1，B2分别表示参考图像梯度图中任一子块及其在测试图像梯度图中的对应块，其相似度可定义为

式中，(x，y)为本地块B1和B2所在位置的空间坐标;μ1，μ2和 δ1，δ2分别为 B1，B2的均值和方差;δ12为B1和B2的协方差;C1，C2为常变量，用于确保式(11)中分母的值大于0.由于人眼感知细胞分布的不均匀性，人眼视觉系统对于视觉中心的敏感度最高.因此，计算均值、方差和协方差时，位于块中心的像素具有最高的权重，距离中心越远的像素其权重越低.同理也可计算出参考图像的模糊图和测试图像的模糊图之间的本地相似度Sb(x，y).

2.3 区域质量估计

假定利用Itti模型得到的参考图像的视觉显著度图为Va，通过设置门限值将所有空间位置点分为3个子集:视觉显著点≥T1}、视觉不显著点和中等视觉显著点T1}，其中 0 ＜T2≤T1.在 Pl，Pl和 Ph三个子集上，分别计算本地梯度相似度的平均值，并将其相乘，即可得到图像的细节相似度，即

2.4 多通道信息融合

多通道信息融合主要是将多个视觉通道得到的图像相似度合并为图像整体质量.图像质量Q定义为细节相似度与轮廓相似度的乘积，即

3 实验与结果

在 A57［8］， IVC［9］， TID2008［10］， Tomaya-MICT［11］，LIVE［12］，CSIQ［13］，WIQ［14］七个图像数据库上，将VAIQM算法与传统的图像质量评价算法进行性能比较.为了相对公正地评估算法性能，这些算法的输出首先被非线性映射转变为客观感知质量 Qp，即

式中，q为图像质量评价算法的估计值;β1～β5为参数，可利用Matlab软件中的fminuch函数求解.

然后，利用相关系数(PLCC)、Spearman等级相关系数(SROCC)、均方根误差(RMSE)和平均绝对误差(MAE)来描述主观感知质量与客观感知质量的吻合程度.较大的PLCC值和SROCC值表示主观质量预测具有较好的准确性和单调性;较小的RMSE值和MAE值表示主观质量预测具有较好的一致性.表1列举了MSE，UQI，SSIM，MS-SSIM，VAIQM 算法在 A57，IVC，TID2008，Tomaya-MICT，LIVE，CSIQ，WIQ 七个图像数据库上的PLCC值及其均值和方差.其中，均值和方差分别表示这些算法在数据库上的总体性能及其波动情况.表1中，SSIM1和SSIM2表示SSIM 算法的2种实现方式，SSIM2是在早期版本SSIM1的基础上增加了二重抽样操作.由表1可知，在计算复杂度未明显增加的前提下，VAIQM算法在这7个数据库上的总体性能均远优于SSIM和MS-SSIM算法.MS-SSIM算法需要利用多分辨率分析工具对待测图像进行分解，因此其计算复杂度大于VAIQM算法.此外，VAIQM算法在这些数据库上的性能波动均较小，显示出较高的鲁棒性.这些算法在7个数据库上的具体性能表现见表2.除了在CSIQ和TID2008数据库上表现稍差外，VAIQM在其他5个数据库上的性能均超过MS-SSIM算法.

表1 5种算法的PLCC值

4 结语

人眼在处理复杂场景或者图像的过程中，并非对各个空间位置的视觉畸变给予同等程度的关注，而是更多地将注意力集中于少数几个显著的视觉对象，并对其进行优先处理.本文提出了一种基于视觉注意机制的全参考图像质量评价算法.该算法首先对图像进行预处理，以获得细节和轮廓信息，并分别在细节和轮廓2个层次上计算图像的局部相似性;然后，利用人眼视觉注意机制将图像分为视觉显著、不显著和中等显著3个区域，并将这些区域的相似度合并为一个图像整体质量指标.实验结果表明，在计算复杂度未明显增加的前提下，VAIQM 算 法 在 A57，IVC，TID2008，Tomaya-MICT，LIVE，CSIQ，WIQ 七个数据库上的整体性能表现远优于SSIM算法及其扩展版本MS-SSIM算法.由于MS-SSIM算法需要利用多分辨率分析工具对待测图像进行分解，其计算复杂度远高于VAIQM算法.此外，VAIQM算法在这些数据库上的性能波动均较小，显示出较高的鲁棒性.下一阶段的工作将主要集中于利用人眼视觉系统的特征(如亮度非线性响应、对比度敏感函数、亮度和纹理掩映等)进一步提升VAIQM算法的性能.

References)

［1］Wang Z，Bovik A C.Modern image quality assessment［M］.San Rafael，CA，USA:Morgan ＆ Claypool，2006.

［2］Vankata N D，Kite T D，Geisler W S，et al.Image quality assessment based on a degradation model［J］.IEEE Trans on Image Processing，2000，9(4):636-650.

［3］Chandler D M，Hemami S S.VSNR:a wavelet-based visual signal-to-noise ratio for natural images［J］.IEEE Trans on Image Processing，2007，16(9):2284-2298.

［4］Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Trans on Image Processing，2004，13(4):600-612.

［5］Wang Z，Bovik A C.A universal image quality index［J］.IEEE Signal Processing Letters，2002，9(3):81-84.

［6］Wang Z，Simoncelli E P，Bovik A C.Multi-scale structural similarity for image quality assessment［C］//Proceedings of the 37th Asilomar Conference on Signals，Systemsand Computers. New York， USA，2003:1398-1402.

［7］Itti L，Koch C，Niebur E.A model of saliency-based visual attention of rapid scene analysis［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，1998，20(11):1254-1259.

［8］Chandler D M，Hemami S S.A57 image quality assessment database［EB/OL］.(2007)［2012-01-02］.http://foulard.ece.cornell.edu/dmc27/vsnr/vsnr.html.

［9］Ninassi A，Callet P L，Autrusseau F.IVC image quality assessment database［EB/OL］.(2005)［2012-01-02］.http://www2.irccyn.ec-nantes.fr/ivcdb/.

［10］Ponomarenko N，Lukin V，Zelensky A，et al.TID2008—a database for evaluation of full reference visual quality assessment metrics［J］.Advances of Modern Radioelectronics，2009，10:30-45.

［11］Horita H，Shibata K，Kawayoke Y，et al.Tomaya-MICT image quality evaluation database［EB/OL］.(2008)［2012-01-02］.http://mict.eng.u-toyama.ac.jp/mictdb.html.

［12］Sheikh H R，Wang Z，Cormack L，et al.LIVE image quality assessment database release 2 ［EB/OL］.(2006)［2012-01-02］.http://live.ece.utexas.edu/research/Quality/.

［13］Larson E C，Chandler D M.Categorical image quality(CSIQ)database［EB/OL］.(2010)［2012-01-02］.http://vision.okstate.edu/?loc=csiq.

［14］Engelke U，Kusuma T M，Zepernick H J.Wireless imaging quality(WIQ)database［EB/OL］.(2009)［2011-10-02］.http://www.bth.se/tek/rcg.nsf/pages/wiq-db.