赵永彬 李巍 刚毅凝 王鸥 郝跃冬 刘铭坚

摘   要：显著性目标检测成为计算机视觉领域中的研究热点问题之一，但目前的方法在面对前景和背景对比度不强及复杂背景的图像时，较难取得好的检测效果。融合多尺度超像素分割方法，提出一种在背景信息相对复杂的场景中基于Faster R-CNN的显著性目标检测方法。首先对图像进行多尺度超像素分割，同时利用Faster R-CNN对图像进行目标检测，根据似物性特点对超像素进行显著性筛选，得到初始目标位置特征后进行显著性检测及优化，最后使用元胞自动机方法对多尺度超像素显著性图进行融合。通过在特定类数据集进行实验，与已有典型显著性检测进行对比分析，验证了本文方法在背景复杂的图像中可提升显著性目标检测的精度。

关键词：视觉显著性;目标检测;元胞自动机;超像素分割

中图分类号：TP393                                               文献标识码：A

Salient Object Detection Based on Faster R-CNN

ZHAO Yong-bin1，LI Wei1，GANG Yi-ning1，WANG Ou1，HAO Yue-dong2，LIU Ming-jian3？覮

（1.State Grid Liaoning Electric Power Supply Co.，LTD，Shenyang，Liaoning 110004，China;

2. Nari Group Corporation（State Grid Electric Power Research Institute），Nanjng，Jiangsu 211100，China;

3.College of Computer Science and Technology，Nanjing University of Aeronautics

and Astronautics，Nanjing，Jiangsu 211106，China）

Abstract： Saliency detection becomes an important topic in computer vision. However，most of existing approaches often  fail when the contrast between foreground and background is similar or in complex background. We propose a salient object detection based on Faster R-CNN. It extracts the salient object in the background with relatively complex information by combining multi-scale superpixel segmentation. Firstly，we segment the input image using multi-scale superpixel segmentation and detect the object by Faster R-CNN. Secondly，according to the objectness of the object，the salient superpixels are selected and obtain the original position of the object，and the salient map is highlighted and optimized. Lastly，we use Multi-layer Cellular Automata（MCA） to fuse the multi-scale superpixel salient maps and gain the final salient maps. We evaluate the proposed approach on specific dataset and compare with the state-of-art method，which prove our approach can improve the salient object detection accuracy with the complex background and clutter scene.

Key words： visual saliency;object detection;cellular Automata;superpixel segmentation

顯著性检测的目的是识别图像中最吸引人注意的区域，近些年成为计算机视觉领域中非常具有代表的问题。随着信息化技术的快速发展，我们沉浸在大量的数字媒体数据当中。如何利用有限的时间和精力从大量的数据中筛选出有用的信息具有重要的研究意义。在图像检索[1]、图像分割[2]、图像分类[3]和目标识别[4]等领域应用广泛。

截止目前，已有大量的显著性检测方法被提出，并取得显著效果。显著性检测主要可以分为自底向上和自顶向下这两种模型，前者主要基于一些图像的底层特征（如颜色、亮度、方向等）和先验信息（如紧凑度、唯一性、背景等），而后者主要通过对图像中有代表性的特征进行标注、训练再检测。自顶向下的显著性对象检测与对象检测相关，其目标是自动定位指定类别的对象所在位置。

早期的方法都是属于基于图像属性对比度特征的显著检测，大多算法依赖于图像的属性特征，如Itti等[5]使用中心-周边算子，在高斯金字塔结构中计算各尺度的底层特征以实现跨尺度对比计算显著性。受这些思想的启发，人们提出了大量的延伸算法。Achanta[6]提出了基于频域的显著性区域检测方法;Cheng[7]提出基于全局对比度的计算显著性区域的方法;Goferman[8]提出的上下文认知算法，引入上下文认知思想，融合不同尺度下的局部特征图，生成显著图。Liu[9]提出学习条件随机场模型，利用模型将从局部、区域和全局3 个层面获取的特征映射图进行融合得到显著图;Achanta[10]将Itti等人的特征图进行归一化来突出图像的显著部分。

近来一些新的方法开始使用图像的边界先验知识来引导显著性检测。Wei[11]假定图像边界接触的图像块都是背景，Jiang[12]将与图像边界的对比度作为学习的特征;这些方法都是健壮的，因为它们描述了图像关于边界的空间布局，这种特征对图像有一个直观的儿何描述，即使图像内容发生变化也有很好的稳定性，这种独特的优势是之前提出的算法中所没有的，可以用来加强传统对比度方法的计算。但是在面对复杂场景图像时候，该方法往往会出现误检情况。

还有一类方法通过物体的似物性（Objectness）来提升显著性检测效果，通过“目标在哪儿”、“背景在哪儿”的检测框架，融合顏色区别性特征、边界先验以及objectness特征。实现对比度特征与边界先验知识的互相弥补，同时使用objectness特征来保持检测到的显著区域的准确性。

近些年，深度学习因其可对原始数据进行更高层次、更抽象的表达，而在各个领域引起了广泛的应用和成功[13]。深度学习的网络模型主要包括卷积神经网络（Convolutional Neural Network，CNN）、递归神经网络（Recurrent Neural Network，RNN）和深度信念网络（Deep Belief Network DBN）等。CNN方法比传统算法具有更强的泛化能力。由于CNN仅适用于特征学习，许多研究者再次基础上进一步改进，使深度学习用于目标检测。具有代表性的工作是2015年Girshick[14]等人提出的Fast RCNN，通过将候选区域映射到CNN的最后一层特征图上，一张图片只需要提取一次特征，大大提高了目标检测速度和精度;接着，Ren[15]进一步提出了Faster-RCNN，通过区域生成网络与Fast RCNN共享特征提取网络以及位置精修的策略，进一步提高了目标检测的效率和精度。

因此，针对上述问题，融合超像素分割方法，提出了一种基于Faster R-CNN的显著性目标检测方法。首先对图像进行多尺度分割，利用Faster R-CNN产生的可能目标去提取超像素中存在的对象来建立似物图，然后利用前景连通将前景比重分配到超像素中，利用显著性最优化技术去结合我们的前景和背景比重来获得圆滑和准确的显著图，再利用多层元胞自动机进行融合，获得最终显著图。

1   基于Faster R-CNN的显著性目标检测

方法

1.1   使用Faster R-CNN进行目标检测

Faster R-CNN是一目标检测及分类的方法。通过对深度神经网络的训练，使得该方法可以对特定类目标进行检测以及分类，该方法的简单网络在计算机视觉领域权威的数据集PASCAL VOC上准确率为59.9%，而复杂网络的准确则为78.8%。本文利用训练好的Faster R-CNN来对输入的图像进行目标检测，然后提取这个区域框进行存储，目标检测的结果如图1所示，获得可能性目标的窗口和该窗口为目标的可能性分数。

1.2   多尺度超像素分割

超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块，可降低了图像后处理的复杂度，所以通常作为分割算法的预处理步骤。常用的超像素生成算法有分水岭和SLIC两种分割算法。SLIC是基于颜色和距离相似性度量的一种梯度下降算法，具有思想简洁，分割数量易于控制的特点，能够得到形状较为规则大小相对均匀的分割结果。本文采取SLIC算法对输入图像进行超像素分割，这是为了获取形状规则大小均匀的分割结果。本文根据经验限制每个超像素中像素的个数从每个超像素单位包含100个像素，到500个像素之间，每个尺度按100个像素递增。

假定有N个分割尺度，在当前某一分割尺度下得到的超像素集用Supi = {Spki}Nki=1表示，其中，Nk表示在第k分割尺度下的超像素个数。Spki表示第k分割尺度下第i个超像素。

1.3   显著性计算

1.3.1   计算目标似物性

利用Faster R-CNN，通过对其进行特定类目标检测训练，可以有效的将图像中的特定类目标检测出来，再利用其特性将可能目标提取出来。然后，开始生成似物图。Faster R-CNN的检测率很高，但在极端情况下会检测不到特定类目标，若Faster R-CNN检测不到目标时则将整幅图像作为目标进行处理。

目标似物性分数说明这个窗口含有目标的可能性，利用可能目标来获得像素级的似物性分数，该分数用来说明该像素为目标其中一部分的可能性，像素级的似物性分数定义为[20]：

pixObj（p） =  Ni=1siGi（x，y）   （1）

其中si为Faster R-CNN检测出的目标窗口i 中是否包含像素p，Gi为与窗口等维度的高斯滤波窗口，x，y是像素p在某个检测窗口中的相对坐标，N为Faster R-CNN检测出的可能目标窗口的个数。

超像素区域中所有像素的似物性分数的总和即为当前超像素区域的似物性分数，定义为：