林佳楠

（集美大学诚毅学院，福建厦门 361021）

提高SSIM-Map分辨率的研究

林佳楠

（集美大学诚毅学院，福建厦门 361021）

图像质量的客观评测对很多图像处理应用都很重要。和其他现有的算法相比，结构相似度（SSIM）模型最大的优势在于它是基于图像结构失真，并且它与人类感知高度符合。通过对SSIM算法的深入研究，发现SSIM由于固有缺陷，很难清楚地找出图像失真的详细部分。提出了一种新的SSIM算法的改进，采用循环改变分区的方法，以此提高SSIM-Map索引图的分辨率。试验结果证明改进的新SSIM比SSIM更加符合人类视觉系统，对于纹理失真准确度更高。

图像质量；结构相似度；客观评测

德州大学Austin分校提出的结构相似度（SSIM，Structural Similarity Image Metric）理论〔1〕是当前影响力较广的评测方法之一。它的原理是图像的各个像素点之间的结构相关性随着这些像素点空间距离的接近而变强。它是一种基于数理统计的客观评价方法，原理清晰易懂，比较符合人眼的视觉感受。然而通过对SSIM算法的深入研究，我们发现SSIM由于固有缺陷，很难清楚地找出图像失真的详细部分。SSIM算法把整个空间区域分块（典型8×8），一个SSIM值反映了单个区域块中所有像素的质量，所有SSIM值组成了结构相似索引图SSIM-Map，反映图像的整体质量。简单的使用分区，会引起同一个块中的N×N个像素有相同的SSIM值，极大地降低了结构相似索引图SSIM-Map的分辨率，很难评测图像的具体失真形态。国内外对于SSIM算法的改进多数是将其应用于各种图像或视频质量的评价算法中，未见相关的提高结构相似索引图SSIM-Map的分辨率的研究。本论文提出了一种新的SSIM算法的改进，采用循环改变分区的方法，以此提高SSIM-Map索引图的分辨率。并通过例图试验证明改进的效果。

1 SSIM算法概述

SSIM称为结构相似性或结构相似度，其值越大越好，最大为1。与传统基于误差敏感度的质量评测方法不同，SSIM是基于图像信号的结构失真。SSIM最大的优点是和人类主观性高度一致并对图像亮度空间结构的失真很敏感〔2〕。

SSIM算法需要两个图像的像素信息x和y。可以用向量x，y分别定义源图像和失真图像的像素值。SSIM算法主要由亮度比较l（x，y），对比度比较c（x，y），和结构性比较s（x，y）组成。在固定的N×N（典型的是8×8）区域块中计算，每一个分量定义〔3〕如下：

以向量x为例，ux是x的平均值，表示x的平均亮度，σx是x的标准差，表示x的平均对比度，σxy是x和y的协方差，表示x和y的相互关系。它们是源图像和失真图像最重要的特征参数。参数可以定义如下：

一般C1=(K1L)2,C2=(K2L)2,C3=C2/2，L是图像的动态范围，且有K1≪1，K2≪1，K1，K2都是极小的常量。在单独的区域块中结构相似度的计算式如下所示：

SSIM(x,y)=[l(x,y)]α×[c(x,y)]β×[s(x,y)]γ，

α、β、γ是用来定义3个分量相关重要性的参数。最后整个空间的SSIM值可定义如下所示：

2 SSIM缺点分析

正如我们了解的，SSIM算法把整个空间区域分块，每个区域块大小为N×N（典型8×8），并考虑到所有N×N个像素，重点关注亮度，对比度和结构性。特别是亮度，因为人眼对图像的亮度失真最为敏感。在这个算法中要分别从每个区域块中提取这3个参数，还要获得一个小于1的正相关系数。因此，一个SSIM值反映了单个区域块中所有像素的质量，所有SSIM值组成了结构相似索引图SSIM-Map，反映图像的整体质量。平均的MSSIM是失真图像的最后评估结果，它与人类的视觉特征相符合。然而简单的使用分区，会引起同一个块中的N×N个像素有相同的SSIM值，极大地降低了结构相似索引图SSIM-Map的分辨率，很难评测图像的具体失真形态。

然而由于SSIM算法的数学基础是基于均值和标准差这些统计特征参数，要反映图像真实状况准确必须有较大的分区。这与提高结构相似索引图SSIM-Map的分辨率是一对天然的矛盾。见图1～3。

图1 源图像

图2 加椒盐噪声后的图像

图3 结构相似索引图

3 对SSIM的改进

在SSIM算法中将空间区域分成N×N的区域块是必要的。但是如果这个区域块固定在特定的位置，每个像素仅和固定在本区域块的其他像素相关。最差的情况发生在区域边缘的像素上，这些像素被定义与其他相邻区域的像素没有相互关系。另外，从一个区域块提取的普通参数不能精确的代表所有N×N个像素。为了解决上面提到的限制，我们改进了SSIM算法。

假定这个区域块是移动的，由于区域块改变了方向，一个特定的像素就会被放在这个区域块的不同位置。结果这个像素总共被放在了这个区域块的N×N个位置。也就是说每个像素将有N×N个不同的位置，每个位置产生一个SSIM。新SSIM的详细处理过程如下所示。

首先，找到图像的有效区域，并精确的裁剪图像的边界。研究发现，人眼对图像边界的失真不是很敏感。我们建议有效区域的宽和高应比起始图像少N个像素。

其次，在每个区域中，估算每个区域块的SSIM值。每当区域块的方向改变时，区域块中的像素就会改变。由此，一个单独的像素将会和多个区域块有关，这对在不同情况下估算和分析SSIM值是很重要的。详细的处理过程如下：

第1步：把图像的有效区域分块，块的大小为N×N（典型的为8×8）。

第2步：在有效区域的每个块中算出前面提到的平均亮度和平均对比度。估算失真图像每个块的SSIM值，所有SSIM值组成SSIM索引图。

第3步：以ω∕pixel（每次ω个像素）的速度，向下或向其他方向转动区域块，这样就得到了一个新的区域块，里面的像素也发生了变化。

第4步：如第2步所示重新估算每个区域块的SSIM值。这样就得到了一个新的SSIM图谱，而且每个像素有多个SSIM值。

第5步：重复2～4的操作。一个区域块需要转动N2∕ω次。每转动一次就得到一个新的SSIM图谱。

第6步：如前面所述，我们用N2∕ω个SSIM来估算失真图像。换句话说，有效区域里的每个像素会得到N2∕ω个不同的SSIM。因为一个像素在区域块中的位置发生了改变，每个SSIM值的相关性就不同。为了提高估算的精确性，引入了每个SSIM值的相关系数。事实上，像素和区域块中心的距离越远，它的相关系数就越小。该系数可以用wpj（j=1， 2，….，N2∕ω）来表示。具体到我们的实验中，具体为wpj=w/t，w、t的具体计算如下面代码所示：

其中w_block是空间区域的水平分块尺寸，一般取8；h_block是空间区域的垂直分块尺寸，一般也取8。该计算的原理就是根据离区域块中心的距离来定系数大小，距离越近系数越大。

最后，新-SSIM，SSIM的加权平均值可以用来评估像素的失真情况。

第7步：每个像素的新-SSIM值组成了新SSIMMap索引图。由于人眼对中心区域的失真比其他区域的失真更敏感，就像wpj（j=1，2，….，N2/ω），也要引入新-SSIM的相关系数。假设，新-SSIM被16个平方窗分成16个部分，我们可以用windi（i=1，2，…16）表示，从图的中心开始，窗分布在每个方向上，就像许多不同大小的同心矩形。假设新-SSIM图的大小为704×576，中心窗的大小就是41×36。第二个窗为82×72，最后一个窗为704×576，那么相关系数表示为：wmi（i=1，2，…，16），wm1＞wm2＞…..＞wm16，每个wmi是每个新-SSIM窗windi的相关系数，和第6步相似，用M新-SSIM，新-SSIM的加权平均值来表示整个失真图像的情况。

实际上，新SSIM-Map通过由区域块转动产生的N×N的SSIM-Map的平均值加权获得。为了提高评估的精确度，我们建立如下模型：N=8，ω=1。因此，区域块将被转动64次，每旋转一次一个特定的像素就会得到一个SSIM值。最后，每个像素一共得到了64个不同的SSIM值。一个像素的新-SSIM就是由64个SSIM的平均值加权得到的，最后的新SSIM-Map就是64个SSIM-Map的平均值。总之，新-SSIM的结构相似索引图新SSIM-Map的分辨率要比SSIM-Map的分辨率高很多。采用改进的新-SSIM同样对上节的图1、图2进行运算，如图4所示，分辨率得到了相当大的提高。

图4 新SSIM-Map

4 结果与分析

取参考图像见图5。

图5 实验的参考图像

这个实验使用了以下不同失真类型的失真图像：JPEG压缩图像，引入高斯噪声的图像，引入椒盐噪声的图像以及模糊图像。在SSIM-Map和新SSIM-Map中，像素越亮，图像质量就越高。因此，在像素暗的区域很容易发现失真。

在图6中：（a）JPEG压缩图像。（d）高斯噪声图像。（g）椒盐噪声图像。（j）模糊图像。图（b），（e），（h），（k）分别是图（a），（d），（g），（j）的SSIM-Map。图（c），（f），（i），（l）分别是图（a），（d），（g），（j）的新-SSIM-Map。（m）是SSIM值的灰度等级。在两种图中，像素越亮，SSIM值就越接近于1，图像的质量就越好。相反，失真发生在图像的暗区域。

理论上，经过JPEG压缩的图像会有方形效应〔4〕。在图6的新-SSIM-Map（c）中，我们可以看到图像的背景和轮廓都有不同程度的失真，尤其是背景，方形效应会比较严重。

高斯噪声，存在整幅图像的亮度失真，尤其是背景。在上图的新-SSIM-Map（f）中，我们可以看到背景失真很严重，轮廓相对好些。

图6 5种失真类型图像的SSIM，新-SSIM效果比较

与高斯噪声不同，椒盐噪声是黑白像素，背景像素有很大的颜色对比。因而，正如图6的新-SSIMMap（i）所示，失真主要发生在背景。

模糊图像的特征是边缘像素向下平滑，这就意味着轮廓失真将会很严重。在图6的新-SSIM-Map（l）中边缘的相似性要比背景低。

5 结论

本文深入分析讨论了经典SSIM算法的固有缺陷，SSIM算法简单的使用分区，会引起同一个块中的N×N个像素有相同的SSIM值，极大地降低了结构相似索引图SSIM-Map的分辨率，很难评测图像的具体失真形态。针对这个问题，本论文提出了一种新的SSIM算法的改进，采用循环改变分区的方法，以此提高SSIM-Map索引图的分辨率。试验结果证明改进的新SSIM算法比原SSIM算法极大提高了评测结果SSIM-Map索引图的分辨率，更加符合人类视觉系统，对于纹理失真准确度更高。

〔1〕HORE A，ZIOU D.Image Quality Metrics：PSNR vs.SSIM〔EB∕OL〕.〔2016-02-05〕.https：∕∕www.researchgate.net∕publication∕220931731_Image_quality_metrics_PSNR_vs _SSIM.

〔2〕FANG Y，ZENG K，WANG Z，et al.Objective Quality Assessment for Image Retargeting Based on Structural Similarity〔J〕.IEEE Journal on Emerging&Selected Topics in Circuits&Systems，2014，4（1）：95-105.

〔3〕MENDI E.Image quality assessment metrics combining structural similarity and image fidelity with visual attention〔J〕.Journal of Intelligent&Fuzzy Systems，2015，28（3）：1039-1046.

〔4〕王蒙，王雅洁，杨丕仁，等.基于独立成分分析的自适应图像滤波算法〔J〕.大理学院学报，2010，9（4）：30-33.

Research on Improving the Resolution of SSIM-Map

Lin Jianan
（Chengyi College,Jimei University,Xiamen,Fujian 361021,China）

The objective evaluation of image quality is very important for many image processing applications.Compared with other existing algorithms,the biggest advantage of structural similarity model（SSIM）is that it is based on image structure distortion,and it is highly consistent with human perception.Through in-depth study of the SSIM algorithm,it is found that it is difficult to clearly identify the details of the image distortion with SSIM's defects.In this paper,a new SSIM algorithm is proposed to improve the resolution of SSIM index map.The image resolution of SSIM-Map's index plan can be elevated with the method of changing portion circularly.The experimental results show that the improved SSIM is more consistent with human visual system than original one,and the accuracy of texture distortion is higher.

image quality;structural similarity;objective evaluation

TN919.85

A

2096-2266（2016）12-0021-05

10.3969∕j.issn.2096-2266.2016.12.005

（责任编辑 袁 霞）

福建省中青年教师教育科研基金资助项目（JA15606）

2016-10-10

2016-11-01

林佳楠，讲师，主要从事通信技术、图像视频质量评测研究.