于芝涛，姬婷婷，程孝龙，赵红苗，姬光荣，郑海永

(中国海洋大学信息科学与工程学院，山东 青岛 266100)

基于自适应幅度谱分析的显著目标检测❋

于芝涛，姬婷婷，程孝龙，赵红苗，姬光荣，郑海永❋❋

(中国海洋大学信息科学与工程学院，山东 青岛 266100)

针对HFT显著性检测方法中出现的显著目标突显不均匀以及显著信息丢失问题，结合尺度空间分析的方法，提出一种基于自适应幅度谱分析的显著目标检测算法。该算法利用频域滤波尺度与显著目标尺寸之间的关系，对图像幅度谱的尖刺进行处理，突出显著性区域，保证了显著目标的均匀性。同时引入高斯偏见对多幅显著图进行融合，进一步保留显著信息，改善了显著图效果。在国际公开的数据集和藻种图像数据集上，该算法的检测结果具有更高的精度和更好的召回率，优于现有的其他频域显著性检测算法。

显著性检测；显著目标检测；幅度谱；最优尺度

由于视觉系统中的视觉注意机制，人类能够简单快速地找到一幅场景中感兴趣的区域，并对其进行优先处理。到目前为止，关于显著性的研究被大致分为两类：注意焦点预测和显著性区域检测[1-2]。注视焦点预测旨在通过模拟人眼运动计算“显著图”，在Koch和Ullman[3]提出的非常有影响力的生物启发模型的基础上，Itti等[4]建立了第一个自底向上的显著性检测模型。之后，注视焦点预测研究取得了瞩目的发展[5-9]，但是它的预测结果往往趋向于突出边缘和角点而不是整个显著性物体，因此，注视焦点预测方法在实际应用中的价值不高[1]。

显著目标检测可以用来检测一幅场景中最显著的区域，并且能够分割出整个显著目标[2，10]。Liu等[11]通过条件随机场(CRF)学习，把局部、区域和全局的显著目标特征结合起来进行显著目标检测。Achanta等[12]提出了频率调谐方法，用某个像素与整个图像的平均色的色差直接定义显著度值。Cheng等人[13]提出了基于区域对比度分析的显著目标检测算法。显著目标检测强调将整个显著物体提取出来，因此，它在计算机视觉领域具有广泛的应用[8]，如图像分割、图像场景分析、图像编辑、图像或视频压缩和目标识别等。尽管计算的精度越来越高，然而这些方法运用了更多的特征以及更复杂的算法，导致计算的时间复杂度增高，处理效率低，因此不适用于工程实时性显著目标检测。

频域显著目标检测具有简单、快速、有效的特点，因此，频域处理越来越多的受到了人们的关注。Hou和Zhang提出了剩余谱(SR)的方法[14]，第一次将显著性检测引入到频域。Guo等[15]认为，剩余谱并非对应图像的显著性区域，从而舍弃了幅度谱的所有信息，只保留了相位谱信息。Li等[16]经过分析后认为，SR模型只能突出图像的边缘，不能突出大的显著性目标，从而提出了HFT模型，对幅度谱作了低通滤波处理，平滑幅度谱中的尖刺，抑制了频繁出现的模式(背景)，进而可以突出大尺寸和小尺寸的显著目标。但是，HFT模型选择的最优尺度不够准确，而且由于从多个尺度中只选择一个，所以会丢失部分显著性信息。

本文在谱尺度空间基础上提出了自适应幅度谱分析的显著目标检测算法。通过频域滤波尺度与显著目标尺寸的关系解决了尺度最优选择的问题。为了更多的保留图像的显著性信息，引入了中央先验的高斯偏见模型对多个显著图进行融合，提高了显著目标检测的质量。我们在国际上现有的公开基准数据集和藻种数据集上测试了结果，并且与现有的谱显著性检测方法进行了比较，实验说明本文方法和之前已有的方法相比，在精准度和召回率方面都有了明显的提高。

1 背景

最近，Li等[16]提出了基于谱尺度空间显著性检测模型(HFT)。该模型认为空间域中，重复出现的模式(非显著区域)一般不会引起视觉注意，这些模式对应于频域幅度谱一个或多个尖刺，为了抑制非显著区域，HFT模型用一系列高斯低通滤波器对图像的幅度谱进行平滑，对于谱尺度空间的每个尺度使用傅里叶变换得到对应的显著图，最后通过计算二维熵找出最优显著图。

该模型尽管可以同时突出大的显著目标和小的显著目标，但是，用最小二维熵值确定最优显著图并不好。

如图1，假设一幅图像中整个圆形区域是显著区域，(a)是突出整个圆形区域的圆，(b)是突出边缘的圆环。通过计算二维熵可得，圆形的熵为3.25，圆环的熵为2.99，根据HFT模型可知，最优显著图应当选取熵值较小的图像作为最终显著图，因此，他们会把圆环作为最终显著图，这种选择显然是错误的。另外，对于一幅图像中存在多个目标情况，由于HFT模型只从多个尺度对应的显著图中选择一个，所以将丢失部分显著信息，使得最终显著图不能将多个显著区域均匀的突出出来。本文针对这些问题提出了一种新的显著目标检测算法—基于自适应幅度谱分析的显著目标检测算法。

图1 突出整个目标和突出目标轮廓的显著图Fig.1 The saliency maps pop-out the whole and the boarder object

2 频域幅度谱分析

Li等[16]已经证明：如果滤波尺度(σ)太小，重复模式的背景区域就不能得到有效的抑制；如果滤波尺度太大，则只能突出图像显著目标的边缘，因此，选择一个合适尺度的高斯核滤波器非常重要。为了找到正确的尺度，我们研究了前景背景比值与最优尺度之间的关系。

为了便于理解，选择一维信号作为例子。图2的第一行是前景(显著目标)长度为l，背景重复模式长度为L的信号，然后将该信号进行傅里叶变换，得到频域的幅度谱，通过一系列不同尺度的高斯核g(x;σ)与幅度谱进行卷积获得频域的幅度谱空间，高斯核为：

(1)

其中，σ代表幅度谱滤波器的滤波尺度。图2中剩余的行代表尺度空间中，不同尺度高斯滤波器滤波获得的幅度谱与原始信号的相位谱进行傅里叶反变换获得的一系列重构显著信号。重构的显著信号越接近前景信号，显著性就越好。我们定义了相似度γ用来量化前景信号与重构信号的相似性：

(2)

同理，该种规则同样适用于二维信号，因此，幅度谱滤波的二维高斯核为：

(3)

(4)

其中：σ是高斯核的滤波尺度；H和W分别是图像的高度和宽度；h和w分别代表显著目标的高度和宽度f是高度和宽度的对应函数；α是一个调节函数。

在显著性目标检测中，幅度谱最优滤波尺度分析为获得幅度谱最优滤波尺度提供了量化的策略。

3 理论与方法

我们的方法首先结合图像的颜色和亮度信息，创建四元数傅里叶变换，通过image signature算子[17]估测每个显著区域的大小，然后根据公式(4)自动获得对应的最优滤波尺度，最后由中央偏见策略将傅里叶反变换后的显著图融合成最终显著图。本文的算法框架见图4。

3.1 四元数傅里叶变换

为了将彩色图像多个特征结合在一起，我选择了四元数傅里叶变换[18-19]进行处理。对于时间为t的

图2 最优滤波尺度对应的重构信号的选择Fig.2 The selection of reconstructed signal corresponding to optimal scale

图3 图像前景背景的尺寸比率l/L与最优尺度σ关系 曲线(实线)及它的拟合曲线(曲线)Fig.3 The relation curve (solid line) of the optimal scale σwith respect to the length ratio l/L and its fitting curve

一帧彩色图像I(x,y;t)，M、RG、BY和I为图像的分量特征，则图像的四元数表达为：

q(x,y;t)=M(x,y;t)+RG(x,y;t)μ1+BY(x,y;t)μ2+I(x,y;t)μ3，

(5)

其中，μ1、μ2和μ3代表3个虚数，μ1μ2=μ3，μ2μ3=μ1，μ3μ1=μ2；μ1⊥μ2，μ2⊥μ3，μ3⊥μ1。鉴于本文研究的是静态图像，所以运动通道M和时间t都为0。通道RG(x,y)=R(x,y)-G(x,y)，通道BY(x,y)=B(x,y)-Y(x,y)，通道I(x,y)为图像的亮度信息。r(x,y)，g(x,y)和b(x,y)分别为彩色图像的红绿蓝3个颜色通道，则有：

(6)

(7)

(8)

图4 基于自适应幅度谱分析的显著性目标检测框架Fig.4 The framework of our proposed method for salient object detection via adaptive amplitude spectrum analysis

(9)

(10)

输入一张图像，四元傅里叶变换的极坐标表示为：

Q[u,v]=A(u,v)eμ(u,v)P(u,v)，

(11)

其中：A(u,v)是频域幅度谱；P(u,v)是相位谱；μ(u,v)是四元数的本征轴谱，他们分别定义为：

(12)

(13)

(14)

(15)

3.2 尺度自动选择

本文在第2节已经分析了幅度谱最优滤波尺度与显著区域尺寸之间的对应关系，因此，为了得到图像中每个显著目标所对应的最优尺度，我们应该先获得显著目标的尺寸。

侯晓迪等人根据稀疏性理论，提出了一种简单有效的图像描述子—image signature[17]，该描述子可以估测场景中图像的前景和位置，其定义为：

(16)

(17)

其中，IDCT代表离散余弦反变换。基于image signature的特点，我们将把它扩展，用来估测前景(显著性区域)的尺寸和位置。例如，图5(a)中有两个不同尺寸的前景物体，图5(b)是通过公式(16)和(17)计算signature后反变换的图像，然后我们通过高斯滤波去除噪声，再利用最大类间方差法[20]对图像进行二值化，通过最小外界矩形估算出前景目标，如图5(c)中红色矩形框即为估测的显著目标的大小和位置。用矩形的高h和宽w表示显著目标的尺寸，用矩形的中心位置(m,n)代表显著性区域的位置。

图5 Image signature确定图像显著目标的不同尺寸和位置Fig.5 An example of two salient objects with different size at different location calculated using image signature

通过公式4中第k个显著目标尺寸(hk,wk)、图像的尺寸(H,W)及α=0.5，可以计算出对应于第k个显著目标的最优尺度σk。因此，将图像的幅度谱A(u,v)与尺度为σk高斯核为g(u,v;σk)的滤波器进行卷积，得到平滑后的幅度谱：

(18)

然后，通过傅里叶反变换得到对应最优尺度为σk的显著图：

(19)

最后，通过同样的方法求出一幅图像中所有不同尺度获得的所有显著图。

3.3 自适应显著图融合

过去的一些研究[21]已经证明了图像中越接近中央的区域越能吸引人的注意，即越靠近图像中心越显著，中央偏见可以简单有效的用高斯分布来表示。

假设一幅图像的中心为(mc,nc)，第k个显著目标的中心为(mk,nk)，则第k个显著目标的中央偏见权重wk用高斯权重表示为：

(20)

其中，η是一个参数，在实验中被设置为16。因此，最终的融合后的显著图M为：

(21)

其中：K表示所有显著目标的个数；wk是通过公式(20)计算得到的自适应高斯权重值；Sk对应于公式(19)获得的第k个显著图；g是高斯滤波器，用来提高显著性效果。

4 实验结果与分析

4.1 定量分析和比较

在Achanta等人[12]提供的公开数据集MSRA和藻种图像数据集AID上测试了我们的方法。MSRA数据集包括5 000幅自然图像，并且由人工精确标注[22]了显著性区域的精确轮廓。藻种图像数据集AID包括240幅藻种图像，它是目前最大的对藻种显著目标精确标记的数据集。我们选择4个当今国际上频域处理的方法与我们的方法进行了比较，这些算法包括：SR算法[14]，PQFT算法[15]，SIG算法[17]， HFT算法[16]。

采用文献[12]所提的显著目标检测算法评价标准对以上的5种方法进行了比较。首先，对各种方法获得显著图用固定阈值分割的方法进行分割，阈值从0逐步增加到255，计算出该阈值下的精度和召回率，然后将精度和召回率在数据集上进行平均，可以画出精度-召回率曲线(P-R曲线)，如图6和7。从图中可以看出，本文的算法具有最高的精度和召回率。

图6 MSRA数据集下的精度-召回率曲线Fig.6 Precision-Recall curve in MSRA date set

图7 AID数据集下的精度-召回率曲线Fig.7 Precision-Recall curve in AID date set

除了P-R曲线外，还选择自适应阈值分割方法对实验结果进行处理。首先计算数据集下每一幅显著图的平均显著度Sμ，每个像素的显著度为Si，其中，显著度表示从0到255的灰度值，值越大代表显著程度越高。如果Si>2Sμ，则该位置是显著的，设阈值为T(公式23)，从而将显著区域分割出来。最后计算出每种算法在数据集上的平均精度、召回率和综合评价指标F-测量(F-measure)，F-测量的定义为：

(22)

与文献[12，23-24]一样，本文β2=0.3，T为一个自适应阈值，定义如下：

(23)

其中：M为显著图中所有像素的个数；i是像素索引，Tmax是最大阈值，本文设置为255。平均精度、召回率和F-测量如表1、2所示，本文的算法更精确，具有更好的显著检测效果。表格1中我们的方法得到的平均精度、召回率和F-测量值最高。表2中尽管我们的召回率低于SIG方法，但是综合评价指标F-measure依然高于SIG方法，而且如果简单的将整幅图像作为显著区域就能得到100%的召回率，所以其影响不大。综上评价可知：本文算法的正确性和有效性都得到了提高。

表1 MSRA数据集下的精度、召回率和F-测量值

表2 AID数据集下的精度、召回率和F-测量值

4.2 显著效果分析和比较

为了进一步说明本文方法相比其他频域显著性算法的优越性，我们展示了本文算法与其他算法在上述2个数据集上的效果图(见图8)。A图是MSRA数据集中的部分自然图像，既有单个显著目标，又有多个显著目标，背景相对比较复杂。B图代表AID数据集部分图像，其显著目标为浮游植物，背景中含有杂质，且光照不均匀。GT图为人工标记的真值图(Ground Truth图)。

从图中检测效果可以看出：SR方法、PQFT方法和SIG方法没有将背景抑制掉，显著目标和背景都突出出来；对于大的显著目标，SR方法和PQFT方法更加突出目标边缘，而非整个显著区域；HFT方法尽管可以突显整个显著区域，但是突显的并不均匀。本文方法能够均匀的突显出显著物体，并且能够有效地抑制背景，得到更好的显著目标检测效果。

图8 不同图像显著性检测算法获得的显著图比较Fig.8 The image results of detecting salient objects using different methods

5 结语

本文提出了一种基于幅度谱分析自底向上的自适应显著目标检测算法，通过分析显著区域的尺寸与最优幅度谱滤波尺度之间的关系，自适应找到不同显著区域对应的最优高斯核对幅度谱进行平滑，通过中央偏见将不同信息的显著图融合在一起。在国际公开的数据集和国内最大的藻种数据集上进行了实验，并且与4种频域算法进行定性和定量的对比，结果说明本文算法可以得到最好的显著目标检测结果，在精确度和有效性上有了较好的提高。

[1] Cheng M, Zhang Z, Lin W, et al. Bing: Binarized normed gradients for objectness estimation at 300fps [C]. Columbus: IEEE Conference on Computer Vision and Pattern Recognition, 2014： 3286-3293.

[2] Li Y, Hou X, Koch C, et al. The secrets of salient object segmentation [C]. Columbus： IEEE Conference on Computer Vision and Pattern Recognition, 2014： 280-287.

[3] Koch C, Ullman S. Shifts in selective visual attention: Towards the underlying neural circuitry [J]. Matters of Intelligence, Vol. Springer Netherlands, 1987, 188： 115-141.

[4] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1998， 20： 1254-1259.

[5] Judd T, Durand F, Torralba A. A benchmark of computational models of saliency to predict human fixations [R]. Massachusetts Institute Technology， 2012.

[6] Borji A, Sihite D, Itti L. Quantitative analysis of human-model agreement in visual saliency modeling: A comparative study [J]. IEEE Transactions on Image Processing， 2013， 22： 55-69.

[7] Borji A, Tavakoli H R, Sihite D N, et al. Analysis of scores, datasets, and models in visual saliency prediction [C]. Sydney: IEEE International Conference on Computer Vision, 2013: 921-928.

[8] Borji A, Itti L. State-of-the-art in visual attention modeling [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence 2013, 20: 185-207.

[9] Vig E, Dorr M, Cox D. Large-scale optimization of hierarchical features for saliency prediction in natural images [C]. Columbus: IEEE Conference on Computer Vision and Pattern Recognition, 2014, 2798-2805.

[10] Borji A, Sihite D N, Itti L. Salient object detection: A benchmark [C]. Firenze: European Conference on Computer Vision, 2012： 414-429.

[11] Liu T, Sun J, Zheng N, et al. Learning to detect a salient object [C]. Minneapolis： IEEE Conference on Computer Vision and Pattern Recognition, 2007： 1-8.

[12] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection [C]. Miami: IEEE Conference on Computer Vision and Pattern Recognition, 2009： 1597-1604.

[13] Cheng M, Zhang G, Mitra N J, et al. Global contrast based salient region detection [C]. Colorado： IEEE Conference on Computer Vision and Pattern Recognition, 2011： 409-416.

[14] Hou X, Zhang L. Saliency detection: A spectral residual approach [C]. Minnesota： IEEE Conference on Computer Vision and Pattern Recognition, 2007： 1-8.

[15] Guo C, Ma Q, Zhang L. Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform [C]. Alaska： IEEE Conference on Computer Vision and Pattern Recognition, 2008： 1-8.

[16] Li J, Levine M D, An X, et al. Visual saliency based on scale-space analysis in the frequency domain [J], IEEE Transactions on Pattern Analysis and Machine Intelligence 2013，35： 996-1010.

[17] Hou X, Harel J, Koch C. Image signature: Highlighting sparse salient regions [J] IEEE Transactions on Pattern Analysis and Machine Intelligence 2012，34： 194-201.

[18] Ell T A. Hypercomplex spectral transformations [D] .MN, USA： University of Minnesota, Minneapolis, 1992.

[19] Ell T A, Sangwine S J. Hypercomplex fourier transforms of color images [J]. IEEE Transactions on Image Processing， 2007，16： 22-35.

[20] Otsu N. A threshold selection method from gray-level histograms [J]. IEEE Transactions on Systems, Man and Cybernetics 1979，9： 62-66.

[21] Judd T, Ehinger K, Durand F, et al. Learning to predict where humans look [C]. Kyoto： IEEE International Conference on Computer Vision, 2009： 2106-2113.

[22] Jiang H, Wang J, Yuan Z, et al. Salient object detection: A discriminative regional feature integration approach [C]. Portland： IEEE Conference on Computer Vision and Pattern Recognition, 2013, 2083-2090.

[23] Yan Q, Xu L, Shi J, et al. Hierarchical saliency detection [C]. IEEE Conference on Computer Vision and Pattern Recognition, 2013： 1155-1162.

[24] Shen X, Wu Y. A united approach to salient object detection via low rank matrix recovery [C]. Rhode： IEEE Conference on Computer Vision and Pattern Recognition, 2012： 853-860.

责任编辑 陈呈超

Salient Object Detection Based on Adaptive Amplitude Spectrum Analysis

YU Zhi-Tao，JI Ting-Ting，CHENG Xiao-Long，ZHAO Hong-Miao，JI Guang-Rong，ZHENG Hai-Yong

(College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China)

Since HFT model may fail to highlight the salient objects uniformly and lose some meaningful saliency information, this paper proposes a salient object detection method via adaptive amplitude spectrum analysis, which combines with the scale-space analysis. In order to pop out the salient region more uniformly, the algorithm smoothes the spikes in the amplitude spectrum using the specific relation between the size of salient region and the scale of filter in frequency domain. We also introduce the Gaussian model of center bias to combine different saliency maps with more meaningful saliency information. The performance evaluation on two popular benchmark data sets validates that our method gets higher precision and better recall and so outperforms the existing spectral saliency models.

saliency detection; salient object detection; amplitude spectrum analysis; optimal scale

国家自然科学基金项目(61301240、61271406)资助 Supported by the National Natural Science Foundation of China (61301240, 61271406)

2015-01-20；

2016-01-15

于芝涛(1976-)，男，博士生，主要从事图像分析与模式识别研究。

❋❋ 通讯作者：E-mail: zhenghaiyong@ouc.edu.cn

TP391.4

A

1672-5174(2017)07-142-07

10.16441/j.cnki.hdxb.20150080

于芝涛，姬婷婷，程孝龙，等.基于自适应幅度谱分析的显著目标检测[J].中国海洋大学学报(自然科学版),2017, 47(7): 142-148.

YU Zhi-Tao，JI Ting-Ting，CHENG Xiao-Long，et al.Salient object detection based on adaptive amplitude spectrum analysis[J].Periodical of Ocean University of China, 2017, 47(7): 142-148.