花 卉

（金陵科技学院计算机工程学院，南京211169）

多视觉特征结合有约束简化群优化的显著性目标检测

花 卉

（金陵科技学院计算机工程学院，南京211169）

针对一般显著性目标检测（SOD）方法容易受背景区域影响造成识别精度低下的问题，提出一种基于多视觉特征并结合有约束简化群优化的显著性目标检测方法。该方法获取3个低级视觉特征，即多尺度对比度、中心环绕直方图和颜色空间分布，利用有约束的简化群优化检测出最优权重向量，并将其与3个视觉特征结合以获取显著图，使用显著图在图像背景中提取出显著性目标。为了有效地抑制图像中的背景区域，定义一个简单的适应度函数以凸显边界目标。运用定量和定性方法在MARA SOD数据库上进行仿真实验，结果表明，与模糊聚类、低秩矩阵恢复和稀疏重构等方法相比，该方法能获得较高的识别精度和查全率。

显著性目标检测；简化群优化；视觉特征；最优权重向量；适应度函数

1 概述

视觉显著性是一种在图像中快速有效地定位相关信息（目标）的能力［1］，显著性目标检测（Salient Object Detection，SOD）［2］目的是生成一个显著性图，给图中的每个像素分配一个相关性度量。通过将较大值分配给感兴趣信息，最小值分配给无关信息来构建显著性图。该技术是机器视觉中的一个重要问题，为许多复杂的实时应用提供了快速解决方案，如跟踪车辆、行人的监控系统［3-4］和用于检测乳房X线照片中的肿瘤［5］等。

已有很多学者对其进行了大量研究，根据建模方式，可将这些方法分为2类［6］：自底向上［7-9］和合成模型［10-12］（即自底向上和自顶向下混合型）。自底向上模型是从图像中提取多个低级别视觉特征（如强度、颜色、方向和纹理），接着对这些特征进行标准化，并组合成一个显著性图。合成模型是自顶向下模型与自底向上模型的合成，利用自底向上模型生成显著性图以定位感兴趣的目标，再利用视觉系统的先验知识。

文献［7］对不同尺度亮度、颜色和方向特征进行组合以计算出显著性图，利用图论的思路进行建模，根据初始特征确定激活图，该模型赋予图中心的节点较高的显著性值。文献［8］在其模型中采用了可视性和感知群组，但是此模型通常情况下只考虑了非彩色结构且给出的边界不清晰。文献［9］利用一个网格单元级实时聚类算法进行图像分割，在聚类过程中给定较好的初始的聚类中心点，但迭代次数较少，该模型非常依赖图像分割的精度。文献［7-9］都是自底向上模型，大多是低级视觉特征。

文献［10］将低级特征和高级知识进行融合以检测图像中的显著性目标，在一些特征空间中利用低秩矩阵和稀疏噪声表示。文献［11］利用多个特征联合，并使用简化的谱分割方法将图像分成几个更大的尺度，然后使用稀疏重构超像素，多个特征联合用于显著性检测，然而，这种分级分割的策略似乎只对大目标非常有效。文献［12］利用监督方法将显著性目标从图像背景中分离出来，特征的提取分别发生在局部、区域和全局等级别。通过计算一个给定的不同细节层次邻域中像素点对比信息获取局部特征。然而，计算开销大，且获取的权重向量可能并不适用于给定的测试图像，特别是当给定的测试图像与训练图像有很大差异时更是如此。

为了获取更好的显著性结果，需确定特征的权重向量。本文利用有约束的简化群优化（Constrained Simplified Swarm Optim ization，CSSO）获取权重向量，并与特征相结合，从而提升显著性目标检测的效果。

2 显著性目标检测

2.1 简化群优化

简化群优化（Simplified Swarm Optimization，SSO）［13］是基于粒子群优化（Particle Swarm Optim ization，PSO）开发出来的，其中，每个粒子编码为一个正整数。SSO不同于一般组合式方法或者PSO。SSO算法解决同时包含离散和连续变量的数据集分类问题。

为了获得最佳粒子，重新评估粒子的适应值。步骤如下：

步骤1 预先确定局部搜索时间（T）和局部搜索权重（ω）。

步骤2 选择目标粒子（Pt）。

在此阶段，gbest将是待运行T次局部搜索的第一目标粒子，然后，依次选择其他pbest作为目标粒子，运行T次局部搜索。那么局部搜索pbest期间一旦获得gbest，加权局部搜索将停止，其他pbest不需要再运行局部搜索。

步骤3 获取新的3个加权值：（ω×Cw），（ω× Cp）和（ω×Cg）。

步骤4 通过新加权值（ω×Cw），（ω×Cp）和（ω×Cg）更新粒子位置。

步骤5 重新评估目标粒子的适应值。

步骤6 检查适应值是否比目标粒子当前pbest或gbest更好。如果粒子已经得到了新pbest，目标粒子局部搜索的迭代将重置为0，重新运行局部搜索，直到局部搜索了T次没有找到更多的pbest。如果粒子已经得到了新gbest，局部搜索过程将停止。然而，gbest搜索会继续运行，即使已获得新gbest。式（1）中rand（·）是随机数生成函数。

2.2 有约束的简化群优化

SSO在初始规划过程中缺乏结合约束条件的明确机制。本文将约束条件融入到SSO问题的拟合函数中，种群多样性的保持和解决方法应该保持在可行区域内部和外部［14］。

最小化f（x），x∈Rn，服从线性或非线性不等式约束gi（x）≤0，i=0，1，…，m。根据文献［14］可以将一个等式约束条件gi（x）=0转化为2个不等式约束条件gi（x）≤0和-gi（x）≤0。

有约束最优化问题中的搜索空间内含有2种点［15］：可行点和非可行点。可行点满足所有的约束条件，不可行点至少不满足所有约束条件中的一个。为了处理不可行点，利用惩罚函数将有约束最优化问题转换为非约束最优化问题。CSSO的一个新的目标函数为：

其中，η（k）表示与当前迭代次数k有关的不稳定惩罚值；H（x）表示惩罚函数。H（x）的表达式如下：

其中，qi（x）=max（0，gi（x））；θ（·）表示多级分配函数；γ（·）表示惩罚函数的能力。

λ′=｛λ1，λ2，λ3｝是用于线性组合3个特征图的权重向量。对于显著性目标检测，最优化问题转化为下式：

SOD-CSSO显著性目标检测方法如下：

（1）设置迭代次数变量k=0。

（3）粒子迭代的迭代终止条件是：

其中，1.0e-3为科学计算法，即0.001。

（4）每次迭代所有粒子满足评估拟合函数：

（5）如果满足F（xi（k））=F（xi（k-1）），则：

（6）对于所有的粒子j，gbesti（k）=xi（k）成立，其中：

3 显著性计算

本文利用CSSO计算一幅给定图像的最优权重向量。在本文中拟合函数涉及到2个组件，一个组件表示感兴趣像素，另一个组件表示为背景像素。对于显著性目标，应该最大化感兴趣像素，最小化背景像素，拟合组件根据感兴趣像素或背景像素点显著性值确定。

3.1 感兴趣掩模生成

对于给定的图像，利用文献［12］提出的多尺度对比度（f1）、中心环绕直方图（f2）和颜色空间分布（f3）特征图。这些特征含有不同的取值范围，故将这些特征图（fk）标准化为区间［0，1］，其中，k=1，2，3。利用某种方式将标准化后的特征图像进行组合使图像中的显著性区域更加突出。利用向量λ=（λ1，λ2，λ3）作为权重向量将这些特征图融入显著性图S中，其中，每个像素p的显著性值用式（5）计算：

在式（6）中，m（λ）=m in∀p∈PS（p，λ）和M（λ）= m in∀p∈PS（p，λ）分别表示显著性图中最小和最大的值；p表示图像中所有像素点集合。在标准化显著性图上利用一个阈值以区分像素p输入感兴趣像素还是背景像素。通常情况下选取最大显著性值得一半作为固定的阈值。每个像素p的边缘信息E利用下式进行确定：

接着求取目标轮廓上像素显著性值的平均值，并将这个平均值作为阈值去区分像素p属于感兴趣像素还是背景像素。阈值τ的计算过程如下：

最后，对显著性图进行二值化以生成显著性目标的二值化感兴趣掩模A，计算过程如下：

其中，A中对应于1的值表示感兴趣像素；对应于0的值表示背景像素。

3.2 用于显著性目标检测的拟合函数

显著性图需要分割成2个区域，一个区域包含构成显著性目标的感兴趣像素集合，另一个区域包含背景像素集合。对于最优的显著性目标，感兴趣像素所对应的总的显著性值应该是最大的，背景像素所对应的总的显著性值应该是最小的。为了在感兴趣像素和背景像素的基础上测量显著性分布，定义了2个拟合函数Fitnessatt和Fitnessbkg，如下：

其中，Patt（λ）和Pbkg（λ）分别表示感兴趣像素和背景像素的集合，定义如下：

使用natt（λ）和nbkg（λ）分别表示感兴趣像素和背景像素，定义如下：

其中，W和H分别表示图像的宽和长；A表示感兴趣掩模。

同时对拟合函数Fitnessatt和Fitnessbkg进行最大化和最小化，这是一个多目标问题。由于多目标函数涉及到Fitnessatt的极大化与Fitnessbkg的极小化问题，因此可将Fitnessatt函数的极大化问题转换为Fitness′att函数的极小化问题，Fitness′att的定义如下：

只需对式（14）的多目标函数Fitness进行最小化即可：

4 实验结果与分析

为了检验本文方法对显著性目标检测的有效性，从定性和定量方面对其性能进行了评估，并将实验结果与其他方法进行比较，CSSO的参数设置如表1所示。所有实验都在配备Inter（R）Xeon（R）处理器、2.30 GHz和2.95 GB RAM的W indow7环境下进行，编程工具为M atlab 2011b。

表1 CSSO框架中所用参数

4.1 定性评估

MARA SOD数据库含有2个高质量图像数据库，变化的因素是目标类别和场景类型，如图1所示。MSRA SOD图像集合A内71个子文件中包含有20 843幅彩色图像，3个用户手动标记了这些子文件的图像，MSRA SOD图像集合B内10个子文件中包含有5 000幅彩色图像，9个用户手动标记了这些子文件的图像。所有图像的尺寸为400× 300像素或300×400像素，图像的像素值在区间［0，255］。从图像集合A中随机选取3 000幅图像用于训练，图像集合B中的5 000幅图像用于测试。

图1 M SRA SOD图像集中的图像实例

为了对本文方法进行定性的评估，从测试数据集合中选取特定的图像，这些图像中的目标在形状、尺寸、位置等方面都不相同。接着计算这些图像的显著性图，并将显著性图标准化在区间［0，1］之间，其中，0表示黑色；1表示白色。图2显示了本文方法的显著性图与文献［12］方法对应的显著性图存在差异。本文主要目的是使显著性像素点显著性值尽可能高，甚至接近1（白色），背景像素的显著性值尽可能的低，甚至接近0（黑色）。

图2 本文方法与文献［12］方法的显著性图比较

由图2可以看出，本文方法的显著性图中显著性目标及其周围点很容易进行辨认，文献［12］没有使用智能算法进行最优权重向量的计算，表明本文方法可带来明显的权重差异。

图3所示为本文方法与其他方法的显著性检测结果比较。选取的目标在尺寸、形状、颜色、纹理等方面不同，从图3可以看出：

（1）文献［9］方法依赖于图像分割的精度，较差的分割结果会使检测结果不全面。

（2）文献［10］方法可以适当地对目标进行局部化，但不能获取完整的形状。

（3）文献［11］方法丢失了更优质的形状细节，该方法采用平画轮廓，但是缺乏详细的目标轮廓信息。

（4）文献［12］方法获取了较好的显著性结果，但却赋予了目标许多不需要的信息。

（5）本文方法获取了最优的显著性结果，形状信息更加清晰自然。

图3 显著性检测结果比较4.2 定量评估

本文方法的定量评估过程中主要是评估精度、查全率、特征测量、曲线下面积（Area Under Curve，AUC）以及计算时间，利用矩形框区域表示目标，因此，处理过的显著性目标必须在封闭矩形内部。利用矩形G以及检测记过矩形R计算精度、查全率和

特征测量，具体表示如下：精度=TP TP+ FP查全率=TP TP+查全率（15）其中，TP=∑ FN F=2×精度×查全率

精度+ R（x，y）；

FN=∑

G（x，y）=1

R（x，y）；FP=∑

G（x，y）=0

G（x，y）；TP（真阳性）表示检测的显著性目标中的显著性像素个数；FP（假阳性）表示检测到显著性目标中背景像素点的个数；FN（假阴性）表示检测到背景目标中显著性像素点个数。

对9个用户的结果进行平均，通过绘出受试者工作曲线计算AUC。图4显示了真阳性率（True Positive Rate，TPR）与假阳性率（False Positive Rate，FPR）间的ROC曲线。TPR和FPR的计算如下：

TTPR=TP∑（x，y）G（x，y

R（x，y）=0

）（16）其中，W和H分别表示图像的宽和长。所有方法都采用阈值处理显著性图以获取感兴趣掩模，这个阈值根据绘制的ROC平面图进行调节。计算曲线下面积（AUC）用以分析不同模型的有效性。FFPR=FP

W×H-∑（x，y）G（x，y

）

图4 ROC曲线

从表2可以看出，一般选择子图数量P′为100个就基本满足要求了，即精度基本趋于稳定。表3给出了本文方法与其他方法在定量评估方面的比较结果，使用粗体表示最优结果，可以看出，本文方法在精度、查全率、特征测量、AUC方面均取得了最优，然而，本文方法的运行时间较多，主要集中在CSSO的运算上。

表2 本文方法的子图数量与识别精度关系

表3 本文方法和其他方法的比较

此外，从表3和图3可以看出：

（1）本文方法获取了优质的形状信息，没有考虑目标额外的信息（阴影或目标背景的一些领域部分），因此，获取了最高的精确度。

（2）形状信息几乎与图像中目标类似，因此，使得检测矩形框逼近于目标矩形框，使得本文方法获取了最优的查全率。

（3）本文方法获取了特征测量的最大值，即精度和查全率的加权调和平均数。ROC曲线下覆盖的面积越大，模型的性能越优异，本文方法获得了最高的AUC值。

（4）文献［9］花费了最少的计算时间，文献［10］花费了最大的计算时间。因为文献［9］仅采用了比较低级的视觉特征进行分割，而文献［10］采用基于迭代的低秩矩阵方法。本文方法也花费了大量时间，然而低于文献［10］方法。

5 结束语

对于给定测试图像，本文利用CSSO拟合函数学习最佳权重向量，同时将多尺度对比度、中心环绕直方图和颜色空间分布3个视觉特征与权重向量组合，获取显著图。实验结果表明，该方法在精度、查全率、特征测量和AUC方面均有较大提高。下一步将利用特征的非线性组合评估性能，同时考虑采用非矩形区域模型提高方法的检测率。

［1］ 李志强.视觉显著性模型研究及其在影像处理中的应用［D］.上海：上海交通大学，2009.

［2］ Borji A，Sihite D N，Itti L.Salient Object Detection：A Benchmark［C］//Proceedings of the 12th European Conference on Computer Vision.Berlin，Germany：Springer-Verlag，2012：414-429.

［3］ 邹 强.复杂背景下显著性目标快速检测技术研究［D］.成都：中国科学院研究生院，2014.

［4］ 刘宇光，陈耀武.基于运动谱残差的视频显著性检测算法［J］.计算机工程，2014，40（12）：247-250.

［5］ Karssemeijer N，Brake G M.Detection of Stellate Distortions in Mammograms［J］.IEEE Transactions on Medical Imaging，2006，15（5）：611-619.

［6］ Zhang Wei，Wu Q M J，Wang Guanghui，et al.An Adaptive Computational Model for Salient Object Detection［J］. IEEE Transactions on Multimedia，2010，12（4）：300-316.

［7］ 刘娟妮，彭进业，李大湘，等.基于谱残差和多分辨率分析的显著目标检测［J］.中国图象图形学报，2011，16（2）：244-249.

［8］ M eur O L，Callet P L，Barba D，et al.A Coherent Computational Approach to Model Bottom-up Visual Attention［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（5）：802-817.

［9］ 陈科尹，邹湘军，熊俊涛，等.基于视觉显著性改进的水果图像模糊聚类分割算法［J］.农业工程学报，2013，27（6）：157-165.

［10］ Wu Ying.A Unified Approach to Salient Object Detection Via Low Rank Matrix Recovery［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.，USA：IEEE Press，2012：853-860.

［11］ 赵守凤.基于稀疏重构和多特征联合标签推导的显著性检测［D］.大连：大连理工大学，2014.

［12］ Liu Tie，Yuan Zejian，Sun Jian，et al.Learning to Detect a Salient Object［J］.IEEE Transactions on Pattern Analysis&Machine Intelligence，2011，33（2）：353-367.

［13］ Chung Yuk-Ying，Wahid N.A Hybrid Network Intrusion Detection System Using Simplified Swarm Optimization（SSO）［J］.Applied Soft Computing，2012，12（9）：3014-3022.

［14］ Jordehi A R，Jasni J.Heuristic Methods for Solution of Facts Optimization Problem in Power System s［C］// Proceedings of IEEE Student Conference on Research and Development.Washington D.C.，USA：IEEE Press，2011：30-35.

［15］ 刘丙状.约束最优化问题中的光滑精确罚函数［D］.上海：上海大学，2008.

编辑 刘 冰

Salient Object Detection of Multi-visual Feature Combining with Constrained Simplified Swarm Optimization

HUA Hui
（School of Computing Engineering，Jinling Institute of Technology，Nanjing 211169，China）

As the issue of low recognition precision of general Salient Object Detection（SOD）method that is vulnerable to the impact of the background area，method of SOD using constrained Simplified Swarm Optimization（SSO）and multi-visual feature is proposed.Three visual features such as multi-scale contrast，center-surround histogram and color spatial distribution are obtained from the given image.Constrained Simplified Swarm Optimization（CSSO）is used to determine an optimal weight vector with combining these features to obtain saliency map to distinguish a salient object. A salient target is extracted from the salient map in the image background.In order to effectively suppress the background in the image area，a simple fitness function is defined to highlight the clear target containing boundary.Simulation is on MARA SOD database using quantitative and qualitative methods for evaluation.Experimental results show that the recognition precision and the recall rate of the proposed method are higher than that of the fuzzy clustering method，low rank matrix recovery method and sparse reconstruction method.

Salient Object Detection（SOD）；Simplified Swarm Optimization（SSO）；visual feature；optimal weight vector；fitness function

花 卉.多视觉特征结合有约束简化群优化的显著性目标检测［J］.计算机工程，2015，41（11）：257-262.

英文引用格式：Hua Hui.Salient Object Detection of Multi-visual Feature Combining with Constrained Simplified Swarm Optimization［J］.Computer Engineering，2015，41（11）：257-262.

1000-3428（2015）11-0257-06

A

TP391

10.3969/j.issn.1000-3428.2015.11.044

江苏省高校自然科学基金资助项目（11KJD520006）；江苏省教育科学“十二五”规划基金资助项目（D/2013/01/068）。

花 卉（1979-），女，讲师，主研方向：图像处理，数据挖掘。

2015-07-16

2015-08-13 E-m ail：huahui-email@126.com