孙荣荣

摘   要：现有的图像质量评价算法大部分都是基于单个参数，评价不够全面。提出了基于多参数和极限学习机的图像质量评价方法，该方法融合了传统统计参数（PSNR）、基于结构相似度的参数（SSIM）和基于自然场景分析的参数（VIF和FSIM），将这些参数作为极限学习机的输入，拟合出这些特征参数和人类主观评价分值的内在关系，挖掘其内在规律。本方法和采用单独参数评价的算法进行对比分析，在TID图像质量评价库上的实验结果表明，该方法得到了比单独参数和BP方法更好的主观感知一致性。

关键词：图像质量评价;多参数;极限学习机;函数拟合

中图分类号：TP391                                             文献标识码：A

Research on Image Quality Assessment Method

Based on Multi-parameter and Extreme Learning Machine

SUN  Rong-rong？覮

（Shanghai Institute of Measurement and testing Technology，Shanghai 201203，China）

Abstract：Present image quality assessment methods are mostly based on single parameter，but they cannot assess the image comprehensively. This paper proposes image quality assessment method based on multi-parameter and extreme learning machine. Traditional statistical parameter（PSNR），parameter based on structural similarity（SSIM） and parameter based on natural scene analysis （VIF and FSIM） are fused. These parameters are taken as the inputs to the extreme learning machine and it can excavate the relationship and inherent law between these parameters and human subjective mean opinion score. The performance of the method in the paper and method based on single parameter and BP are compared in the TID database，the experiment results demonstrate that the method in the paper achieve better subjective perceived consistency.

Key words：image quality assessment;multi-parameter;extreme learning machine;function fitting

信息化和数字化的快速发展，日常生活和工作中对数字图像处理技术的需求日趋增多，如图像传输、存储、压缩、重建等，这些技术都需要对图像的质量进行评价来优化处理算法和在同类算法中选择较优算法，所以图像质量评价越来越必要。图像质量评价有两大类方法，主观方法和客观方法，但主观方法操作过程繁琐，耗时长、费用大，且无法嵌入自动化系统中，稳定性差且很难做到实时评价，因此设计出客观的图像质量评价方法使之与人的视觉感知保持一致成为目标。基于统计的方法有均方根误差方法（MSE） 和峰值信噪比的方法（PSNR） [1]，它们意义明确，直接对图像的像素值计算，但与人的主观感受有一定差距。结构相似性理论（SSIM）[2]对参考图像的亮度、对比度和结构信息进行量化，结果较好。这种方法评测失真图像结构信息的退化程度，将其作为一个整体，得到了广泛使用，但没有考虑人眼的视觉特性，在一些情况下难以与主观评价保持一致性。

随着对人类视觉系统（HVS）研究的深入，人类视觉系统的某些特性被用来进行评价。基于自然场景分析（ NSS） 的方法VIF[3]通过评测参考图像和失真图像共同信息的多少来评价失真图像的质量，结果较好。相位一致性（PC） 也被用于图像质量评价[4]，因为亮度和对比度对图像的质量的影响并不能忽略，因此实验结果并不太好。特征相似性方法（ FSIM）[5]选取了相位一致性信息和梯度信息作为特征。但这些方法都是基于一个参数对图像质量进行评价，不能从多角度表达图形质量，有失偏颇[6]。针对此问题，提出了基于多参数和极限学习机（ELM）的图像质量評价方法。该方法融合了传统统计参数、基于结构相似度的参数和基于自然场景分析的参数，将这些参数作为极限学习机的输入，拟合出这些特征和人类主观评价分值（mos）的内在关系。极限学习机克服了单隐含层前馈神经网络传统学习算法（如BP）的缺点，如无法达到全局最小、容易陷入局部极小点，训练速度慢、学习率的选择敏感等。对本方法和采用单独参数评价以及传统BP算法进行对比分析，在TID图像质量评价库上的实验结果表明，该方法得到了比相关文献方法更好的主观感知一致性。

1   多参数提取

1.1   基于统计的参数

对于M × N的图像，峰值信噪比（PSNR）的定义如下：

MSE = ■        （1）

PSNR = 10 log10（■）        （2）

其中：R（m，n） 为参考图像x在坐标为（m，n） 处的灰度值;I（m，n） 为失真图像y在（m，n） 处的灰度值;L 為峰值信号，对8 位的灰度图像来说，L= 28 - 1 = 255。PSNR计算简单，但是将图像的所有像素点对人眼提供的信息都等同对待，只是单纯地计算图像之间灰度值差异，没有考虑像素之间的结构关系。而事实上人眼在观察图像时是有感兴趣区域的，所以其计算结果不能与图像的视觉效果保持一致。

1.2   基于结构相似度的参数

结构相似性（ SSIM）参数，比较图像的亮度、对比度和结构信息，假设x、y分别为参考图像和失真图像，则

l（x，y） = ■        （3）

c（x，y） = ■         （4）

s（x，y） = ■        （5）

其中：μx、μy分别为图像x、y的均值，反映其亮度信息;σx和σy分别为图像x、y的方差，反映其对比度信息;σxy为x、y的相关系数，反映结构信息的相似度;C1、C2、C3为接近于零的正常数，以防止分母为零时的结果异常。x和y的结构相似性是综合这三种信息得到的

SSIM（x，y）=[l（x，y）]α.[c（x，y）]β.[s（x，y）]γ （6）

其中：α、β、γ均大于0，用于调整这三种信息的相对重要性。

但是SSIM方法假设人眼的主要功能是提取场景中的结构信息，通过评测失真图像的结构信息的退化程度对图像进行评价，但视觉信息包括生理和心理，是涉及到方方面面的，所以其与理想结果有一定距离。

1.3   基于自然场景分析（NSS）的参数

1.3.1   视觉信息保真度（Visual Information Fidelity，

VIF）

如图1所示，VIF方法通过衡量两种共同信息来评价图像质量，一种信息是经由HVS通道（没有失真存在时） 得到的输出图像和输入图像的共同信息，即C和x的共同信息，称为参考图像信息，可以评价大脑从参考图像中提取的信息，另一种信息是失真通道的输入和输出共同信息，即C和y的共同信息，称为失真图像信息，可以评价大脑从失真图像中提取信息，VIF 即为这两种信息的比值。

图1   VIF示意图

Fig 1   Diagram for VIF

然后建模HVS，认为图像经过HVS后只有部分信息被接收，也就是将HVS看成一个退化通道，为了计算简洁，把HVS的退化看成只包含噪声项，称为视觉噪声，HVS噪声在小波域建模。

VIF对于线性对比度增强的图像，得到的VIF值大于1，而其他情况下VIF的值在0和1之间。这很符合人类的视觉感受，因为对比度增强的目的即增强图像视觉效果。

1.3.2   特征相似性（Feature Similarity，FSIM）

心理和生理学研究发现，不同频率下傅里叶级数的相位一致性和人类视觉可察觉的特征是一致的，即人类感觉到的图像特征与相位一致性高的点是一致的，如阶跃边缘、零交叉边缘等。相位一致性是无量纲的，可以体现局部结构信息重要性。特征相似性（FSIM）方法选取相位一致性信息作为一个特征，但考虑到对比度会影响图像的质量，而相位一致性不受对比度的影响，因此FSIM将图像梯度作为另外一个特征共同提取人类感兴趣的特征点。

2   极限学习机拟合函数

综上，基于传统统计的参数、基于结构相似度的参数和基于自然场景分析的参数，各有利弊，以往的方法只基于一个参数评价图像质量，难免有失偏颇，本文将多个参数PSNR、SSIM、VIF和FSIM并行输入极限学习机，试图拟合质量参数和主观质量评分之间的非线性函数，挖掘其中规律，使其与人的视觉感知更好地保持一致。

单隐含层前馈神经网络许多领域得到了广泛的应用，但其有固有缺点，如无法达到全局最小，容易陷入局部极小点，训练速度慢，学习率的选择敏感等。因此能获得全局最优解、训练速度快，并且具有较好泛化性能的训练算法是提升前馈神经网络性能的主要途径。极限学习机克服了传统训练方法的缺点，该算法随机产生输入层与隐含层间的权值及隐含层神经元的阈值，且在训练过程中不需调整，只需设置隐含层神经元的个数，便可以获得唯一最优解。

极限学习机仅需求解输出权重，在本质上是一个线性参数模式。已知N组学习数据，在本文中，由PSNR、SSIM、VIF和FSIM组成的特征组即为一组数据，对包含L个隐含层节点和M个输出层节点的极限学习机进行学习有如下步骤：

1.随机分配节点参数：在计算开始时，节点参数会随机生成，即节点参数与输入数据独立。这里的随机生成可以服从任意的连续概率分布。

2.计算隐含层的输出矩阵：隐含层输出矩阵的大小为N行M列，即行数为输入的训练数据个数，列数为隐含层节点数。输出矩阵本质上即是将N个输入数据映射至L个节点所得的结果。

3.求解输出权重：隐含层的输出权重矩阵的大小为L行M列，即行数为隐含层节点数，列数为输出层节点数。与其他算法不同，极限学习机算法中，输出层可以没有误差节点，算法的核心是求解输出权重使得误差函数最小。

从多个角度反映图像质量特征，采用极限学习机来挖掘融合由多参数组成的特征向量和人类主观评价分值之间的关系，输入层有四个神经元，对应四个图像质量特征参数，隐含层单元数的选择如下文所述，输出层一个神经元对应mos值。

3   实验结果与分析

3.1   评价数据库

TID2013数据库是专为评价全参考型图像质量评价而建立的[7]，其参与人员广泛、图像数量多，有较高的可靠性和权威性，图2给出了TID数据库中的第六幅参考图片和其对应的不同程度失真图像（高斯模糊）示例。

（a）参考图像

失真图像的质量分数5.19

失真图像的质量分数4.58

失真图像的质量分数3.49

失真图像的质量分数2.70

失真图像的质量分数2.05

（b）失真图像（高斯模糊）

图2   TID2013数据库的

3.2   评价指标

分别用斯皮尔曼等级次序相关系数（ROCC）、皮尔逊线性相关系数（LCC） 来衡量客观评价方法测试结果与主观评价之间的一致性[8]，斯皮尔曼等级次序相关系数用于评价结果的单调性，即不考虑数据点间的相对距离，只衡量数据点的等级次序。皮尔逊线性相关系数评价的是mos值与非线性回归后的客观分值的相关性，其先进行回归分析，建立客观分值与主观分值的非线性映射，本文使用的非线性回归方法为Logistic函数。主观评价结果与客观评价结果越相符，斯皮尔曼等级次序相关系数、皮尔逊线性相关系数的值越高。同时也给出了各方法的均方误差（MSE）。

3.3   实验结果

实验随机选取TID数据库中的1000幅图像训练，剩余的2000幅图像进行测试，即将整个TID数据库作为实验的原始数据。在此基础上，选择隐含层神经元个数。图3给出了隐含层神经元个数对极限学习机性能的影响，可以看出，神经元个数并非越多越好，神经元个数从50增加时，ROCC和LCC总体是减小的趋势，因此在50个神经元附近改变神经元个数，选择使ROCC和LCC最大的神经元个数作为极限学习机的隐层神经元个数，即65个。

隐含层神经元个数

图3   隐含层神经元个数对极限学习机性能的影响

表1和表2列出了本文方法和其他方法分别在训练集和测试集上的评价指标。

表1   五种方法在训练集上的评价指标

表2   五种方法在测试集上的评价指标

由表1和表2可以看出，本文方法相对于使用单独参数的方法，ROCC和LCC值有较大提高，表明本文方法与主观评价结果更相符，有更好的主观感知一致性。

图4为本文方法计算出的图像质量得分与主观得分的散点图，本方法的散点更集中于对角线方向，也表明了本文方法和主观感知取得更好的一致性。

本文方法

图4   五种方法在TID数据库上的评价值与mos的散点图

本方法还与传统的BP算法进行了比较，BP算法在训练集上的ROCC和LCC为0.932和0.920，在测试集上的ROCC和LCC为 0.920和0 .903，本方法的程序运行时间为0.15s，BP算法的运行时间为2.23s，由此可见极限学习机与BP算法的预测图像质量的性能相当，速度得到了很大提高。

4   结   论

提出的基于多参数和极限学习机评价图像质量的方法，从不同的角度提取图像质量参数，如传统统计参数、基于结构相似度的参数和基于自然场景分析的参数，融合不同参数优势，然后输入到极限学习机挖掘这些参数和主观评价值之间的规律，与传统的基于单个参数的评价方法相比，可以更好地模拟人类的视觉特性，结果更符合人类视觉主观感受。与BP算法相比，极限学习机预测图像质量的性能与BP算法相当，速度得到了很大提高。

今后可研究不同的质量评价参数组合和不同的机器学习算法对最终评价性能的影响，另外，虽然目前对人眼的一部分心理特性和物理特性有所研究，但还处于低级阶段，有必要对视觉系统进行更深入的研究。

虽然目前大多数图像质量评价方法都是全参考方法，但最切合实际需求的还是无参考性图像质量评价方法。因为原始图像获取困难和无参考模型设计困难，半参考图像质量评价的发展得到了推动。目前全参考性图像质量评价方法还是国内外研究最多的，半参考和无参考方法虽然取得了较多成果，但是仍然急需完善，半参考和无参考型图像质量评价方法将会成为今后研究热点，而无参考图像質量评价方法将是最终的研究方向。

参考文献

[1]    AVCIBASI I，SANBU B，SATOOD K. Statistical evaluation of image quality measures[J].Journal of Electronic Imaging，2002，11（ 2） ：206—213.

[2]    WANG Z，BOVIK A，SHEIKH H，et al. Image quality assessment：from error visibility to structural similarity[J].IEEE Transactions on Image Proc.，2004，13（4）：600—612.

[3]    SHEIKH H R，BOVIK A C.Image information and visual quality[J].IEEE Transactions on Image Processing，2006，15 （2）：430—444.

[4]   LIU Z，LAGANIERE R. Phase congruence measurement for image similarity assessment[J].Pattern Recognition，2007，28（1）：166—172.

[5]    ZHANG L，MOU X，ZHANG D. FSIM：a feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing，2011，20（5）：2378—2386.

[6]    褚江，陳强，杨曦晨，全参考图像质量评价综述[J].计算机应用研究，2014，31（1）：13—22.

[7]    PONOMARENKO N，JIN L，IEREMEIEV O，et al. Image database TID2013：peculiarities，results and perspectives，Signal Processing：[J].Image Communication，2015，30：57—77.

[8]    VQEG. Final report from the video quality experts group on the validation  of objective models of video quality assessment [EB /OL].（ 2003-03） . ftp：/ /vqeq. its. bldrdoc. gov /Documents /Meetings/Hillsboro-VQEG-Mar-03/VQEGII -DraftReport^v2a.pdf.