张玉兵，宋 威

1.江南大学 物联网工程学院，江苏 无锡 214122

2.物联网技术应用教育部工程研究中心，江苏 无锡 214122

视觉特征的分块加权图像检索方法*

张玉兵1,2+，宋 威1,2

1.江南大学 物联网工程学院，江苏 无锡 214122

2.物联网技术应用教育部工程研究中心，江苏 无锡 214122

图像检索；分块加权；视觉注意机制；Sobel算子；色差直方图

1 引言

随着多媒体技术和计算机技术的快速发展，使得现代信息处理的对象和方法都有很大的改变。数字图书馆、数字博物馆、点播视频服务和远程教育等新的服务形式和信息交流手段的产生，对人们的生活方式和社会发展产生了重要的影响。如何有效地组织、管理和检索大规模的图像数据库，成为当前热门的研究课题。

传统的图像检索是基于文本的方法（text-based image retrieval，TBIR），通过添加文本注释来描述图像并实现图像检索。该方法是通过手工方式来注释图像，不能自动提取图像的内容，并且人的主观性较强，从而降低了图像检索的准确性，而且对大型数字图像库的手工注释需要花费大量时间和劳动力，极大地降低了处理效率。因此基于内容的图像检索（content-based image retrieval，CBIR）方法应运而生。CBIR通过自动提取图像的颜色、形状、纹理等视觉特征[1-3]，并将其存储在特征数据库中用于检索，比TBIR更加客观准确。接着，深度学习在图像和视频领域发展迅速，文献[4]中的基于深度学习的图像检索，利用多个隐层的深度神经网络完成学习任务的机器学习方法，能够解决底层特征和高层语义之间的鸿沟问题，但对于一个给定的深度学习模型，如何有效地学习到多种感知信息是个难题，并且神经网络的参数设置等影响检索结果。文献[5]提出了基于SIFT（scale-invariant feature transform）特征的Bag of Word方法，其中SIFT结构特征提取图像的特征点及每个特征点对应的特征向量，最后每张图像得到128×n维的特征向量。由于特征向量维数不同且匹配的计算量十分巨大，检索效率不高。而且某些图像特征点数较少，不能很好地表示图像内容，以及检索结果受比例阈值等参数影响较大，鲁棒性不强。因此本文重点研究基于内容的图像检索，以及如何更好地提取图像视觉特征，其中颜色是图像中最明显的视觉特性，广泛应用于图像处理。Swain和Ballard[6]提出的基于全局颜色直方图（color histogram）的方法最先使用颜色进行图像检索，它统计图像中每种颜色出现的概率，具有计算速度快，存储空间要求低，对旋转图像以及平移和尺度有变化的图像不敏感等优点。然而，该方法由于没有考虑图像的空间分布信息，不能有效地描述图像的纹理特征。Wang等人[7]提出了一种结构元素描述符（structure elements’descriptor，SED）的方法，定义了5种结构单元，最后利用直方图统计结构单元。该方法虽然考虑了颜色和纹理信息，但其定义的结构元素并不能完整地描述像素间的空间关系。文献[8]提出了一种基于目标区域的图像检索，根据最大类间方差法分割图片，然后提取目标区域的纹理特征进行图像检索。该方法因为忽略了图片背景区域的影响，所以检索精确度不高。

针对上述问题，本文提出了一种基于视觉特征的分块加权图像检索方法。首先根据视觉注意机制[9]将图像分成不均匀的若干块，设置不同的权值，提取每块的特征向量。然后在HSV颜色空间使用Sobel算子提取颜色和边缘信息，计算颜色和边缘方向的色差直方图，定义一种颜色方向结构。最后综合每个分块的直方图作为视觉特征向量进行图像检索。实验结果表明本文方法具有较高的检索精确度。

2 图像预处理及相关工作

HSV颜色空间具有视觉一致性，更符合人的视觉感知，因此本文采用该颜色空间。现有的图像采集设备得到的是RGB图像，图像处理中使用的其他颜色空间经过RGB颜色模型转换得到。设(R,G,B)是三维直角坐标系中的红、绿和蓝分量值，取值范围是0～255之间的整数。(H,S,V)是三维直角坐标系中的色调、饱和度和亮度值，从RGB颜色空间转换到HSV颜色空间的公式如下：

其中，色调H用角度度量，取值范围为0°～360°；饱和度S取值范围为0～1，值越大表示颜色越饱满；亮度V描述颜色的明暗程度，取值范围也是0～1。

为了降低图像处理的计算复杂度以及更好地区分颜色，本文采用文献[7]的方法将HSV颜色空间量化为72柄（bins），非均匀量化H、S和V分量，H分量分成8份，S和V分量分别分成3份，量化方法如下所示：

然后将这3个颜色分量合成为一维特征矢量即：

式中，Qs和Qv分别是S和V分量的量化级数，Qs=3，Qv=3即P=9H+3V+S。根据上式P的取值范围为[0,1,…,71]，最后P得到一个72柄的一维直方图。

边缘方向是图片感知的一个重要因素，图片的方向表示对象区域的边界和纹理结构。因此边缘方向检测在计算机视觉和图像处理等应用中起着重要作用。目前有很多边缘检测方法，例如Sobel算子、Robert算子和Canny算子[10-11]等。其中Sobel算子具有提取边缘精细，抗噪能力强等优点，是一种简单有效的边缘检测算法，因此本文采用Sobel算子进行边缘检测。由于这些算子都是在灰度层处理图片，如果将彩色图片转换为灰度图片进行边缘检测，会丢失彩色信息。因此本文将柱面坐标系的HSV颜色空间转换到笛卡尔坐标系的HSV颜色空间，然后进行边缘检测，计算向量之间的角度。定义(H,S,V)是柱面坐标系的点，(H′,S′,V′)是笛卡尔坐标系的点，转换公式如下：

定义水平方向和垂直方向的梯度为：a(Hx′,Sx′,Vx′)和b(Hy′,Sy′,Vy′)向量，Hx′表示H′分量的水平方向梯度，Hy′表示H′分量的垂直方向梯度，依次类推。因此向量a和向量b的点积定义为：

式中，θ表示边缘方向，即向量a和向量b之间的夹角。为了降低特征向量维数和减少计算复杂度，需要对边缘方向进行合理量化。本文采用等间隔量化方法，将其量化成6、12和30份3种情况，然后根据反复实验比较每种量化组合的检索效果，以得到最好的量化组合。

3 基于视觉特征的分块加权图像检索

3.1 新的分块及权值设置

图像处理中传统的分块是将图片均匀分成若干份，但是这样并不符合人眼视觉注意机制，因此本文提出了一种新的分块方法，如图1所示。一般人第一眼看图片都会集中在中间区域，然后是离中间区域比较近的区域，最后可能考虑到拐角区域，本文根据此想法首先将图片均匀分成16块，然后根据视觉注意机制划分成3个区域A、B、C，如图1所示。

Fig.1 Blocking method图1 分块方法

根据视觉注意机制，对每个区域赋予不同的权值，权值设置的方法如图2所示。将一个2×2的子块从左往右，从上往下依次扫描4×4网格，统计每个像素被扫描到的次数，可以得出区域C的每个像素被扫描4次，区域B的每个像素被扫描2次，区域A的每个像素被扫描1次，因此区域C的权值wC=4/(1+2+4)，区域B的权值wB=2/(1+2+4)，区域A的权值wA=1/(1+2+4)。

Fig.2 Setting weight图2 权值设置

3.2 新的特征表示方法颜色和边缘方向与人的视觉感知密切相关，如何利用它们表示图像的颜色及空间分布信息是关键问题。本文提出了在HSV颜色空间计算色差来表示图像颜色之间的关系，数学表达式如下：

式中，ΔH、ΔS、ΔV分别表示HSV颜色空间两个像素点在H、S、V分量上的色差；C(x,y)表示点(x,y)颜色值；θ(x,y)表示点(x,y)的角度值；ϕ1和ϕ2表示两个邻近像素点的角度值；l1和l2表示两个邻近像素点的颜色值。计算距离为1的两个像素点之间的色差直方图，最后连接Hcolor(C(x,y))和Hori(θ(x,y))得到表示颜色特征的色差直方图。然后在边缘方向图中提取纹理结构特征，如图3所示。在3×3的边缘方向图中，如果中间像素点的方向值与周围邻近的8个像素点方向值相等，则该像素赋值为1，否则为空。如果周围邻近的8个像素点没有和中间像素点方向值相等的点，则全部赋值为空，公式如下：

Fig.3 Structure map图3 结构图

式中，θ(x,y)表示3×3块中边缘像素点的角度值；θ(xc,yc)表示3×3块中心像素点的角度值，距离为1。

对于大小为M×N的边缘方向图，分别从(1，1)，(1，2)，(2，1)，(2，2)点开始，依次从左往右，从上往下以步长为3扫描，得到4个结构图M1(x,y)，M2(x,y)，M3(x,y)，M4(x,y)，然后根据式（16）合并4个结构图得到最后的纹理结构，如图4所示。

Fig.4 Orientation structure map图4 方向结构图

得到方向结构图后，将其与颜色图相交，得到颜色方向结构图，公式如下：

⊗表示一种相乘操作符，定义如下所示：

式中，OriMap(x,y)表示方向结构图；C(x,y)表示颜色图；Hyb(x,y)即得到的纹理结构图，如图5所示。

Fig.5 Texture structure map图5 纹理结构图

得到纹理结构图后，利用式（18）进行特征表示。

式中，g(xi,yi)表示边缘像素点的值；g(xc,yc)表示中心像素点的值；表示中心像素和邻近像素的距离，实验中取值为1。N表示值v0和vi相等的情况；表示值为v0时的情况总数；H(v0)得到一个72柄的特征矢量来表示图像的颜色以及颜色空间分布信息。最后连接3个分块的颜色特征和纹理特征得到图像的特征向量，如下所示：

式中，wA、wB和wC是3个分块的权值，而且wA+wB+wC=1；HA、HB和HC表示3个分块的特征向量。

4 实验结果及分析

实验在Matlab R2011b，MyEclipse 8.6和MySQL搭建的平台上进行，计算机系统配置如下：CPU为Intel®Corel i3-3240；主频为3.40 GHz；内存为4 GB；操作系统为Microsoft Windows 7。实验采用Corel标准图像库，第一个图像库Corel-1000包括非洲土著、海滩、建筑、大巴、恐龙、大象、花卉、马、山和食物10类图片，每类数目为100张，一共1 000幅RGB彩色图像。图片大小均256×384像素和384×256像素，JPG格式。第二个图像库Corel-5000包含日落、汽车、老虎等50类彩色图像，每类数目为100张，一共5 000幅RGB彩色图像，图片大小为192×128像素和128×192像素，JPEG格式。

本文采用精确度（precision）和召回率（recall）作为图像检索的评价指标。精确度指检索到的相似图片数目M与当前检索到的图片总数目N之比。召回率指检索到的相似图片数目M与数据库中所有和检索图片相似的图片总数目S之比，计算公式如下：

本文实验取N=10，S=100，从Corel标准图像库中随机抽取10张图片作为查询图片，因此Corel-1000库中共100次检索，Corel-5000库中共500次检索，计算每张图像在Recall=[0，1]之间对应的精确度，再分别统计100次检索的平均精确度和500次检索的平均精确度作为评价该方法的指标。

不同的颜色量化和边缘方向角度量化导致检索结果不同，本文通过反复实验法对不同的量化组合进行统计分析，实验结果如表1所示。

Table 1 Mean precision of quantitative combination on Corel-1000 dataset表1 不同量化方法的平均精确度（Corel-1000）%

从表1可知，边缘方向量化成72柄的检索精确度比36和128柄高，当边缘方向量化取72柄，颜色量化分别为12柄时，检索精确度达到65.50%。因此该方法选取颜色和边缘方向分别量化成12和72柄，得到的颜色特征向量为84柄。

图像检索中常用的相似度度量方法有曼哈顿距离、欧氏距离和余弦相似度等，本文采用文献[12]中的d1距离计算两幅图像的相似度，两幅图像相似即两个特征向量相似。假设查询图像的特征向量为Q={q1,q2,…,qi}，图片库中图像特征向量为T={t1,t2,…,ti},则d1距离公式表示如下：

式中，M是特征向量的维数。分别对这4种相似度度量在两个图像库中进行了对比分析，实验结果如图6和图7所示。

Fig.6 Mean precision-recall pair comparison of 4 similarity metrics on Corel-1000 dataset图6 4种相似度度量的平均精确度-召回率对比（Corel-1000）

Fig.7 Mean precision-recall pair comparison of 4 similarity metrics on Corel-5000 dataset图7 4种相似度度量的平均精确度-召回率对比（Corel-5000）

从图6和图7可知，本文方法用欧氏距离和余弦相似度度量得到的检索精确度不是很高，而且需要进行平方或者平方根运算，计算复杂，不适用于大型图像库；用d1距离和曼哈顿距离度量得到的检索结果较好。通过实验分析，d1距离和曼哈顿距离检索的时间差不多，前者比后者的检索精确度稍微高一点，因此本文采用d1距离进行图像的相似度度量。

为了验证本文方法的有效性，将本文方法和SED[7]、MSD（micro-structure descriptor）[13]、MTH（multi-texton histogram）[14]、HID（hybrid information descriptor）[15]、SIFT[16]5种方法在两个图片库上进行对比实验，得到的召回率-精确度曲线如图8和图9所示。

从图8可知，当召回率为0.1时，SED、MSD、MTH、HID、SIFT的平均精确度分别是77.43%、82.90%、77.74%、83.35%、75.50%，而本文方法的平均精确度达到94.84%，比另外5种方法精确度高出大约10%。当召回率为1.0时，本文方法的平均精确度也高出大约10%。由于SIFT结构特征得到的特征向量维数不同，进行匹配的计算量十分巨大，因此在Corel-5000库中和另外4种方法进行对比。同理分析图9，本文方法具有较高的检索精确度。进一步分析本文方法是否对各种图像都有较好的检索结果，统计Corel-1000库中每类图像的平均检索精确度，如表2所示。

Fig.8 Precision-recall pair comparison of 6 retrieval methods on Corel-1000 dataset图8 6种检索方法的平均精确度-召回率对比（Corel-1000）

Fig.9 Precision-recall pair comparison of the five retrieval methods on Corel-5000 dataset图9 5种检索方法的平均精确度-召回率对比（Corel-5000）

从表2可知，本文方法针对大部分类得到的平均精确度为65.54%，召回率为6.55%，优于其他5种检索方法的检索结果，尤其恐龙的精确度接近100%。而且针对纹理结构复杂的图像，检索结果也较好，例如非洲土著和食物这两类的平均精确度分别达到71.44%和54.74%。实验数据表明，基于视觉特征的分块加权图像检索方法具有较高的检索精确度。其中SIFT结构特征提取图像的特征点及每个特征点对应的特征向量，由于某些图像得到特征点数较少，不能很好地表示图像内容，以及检索结果受比例阈值等参数影响较大，鲁棒性不强，检索效率不高。而本文方法根据视觉注意机制对图像进行分块，使用HSV颜色空间和Sobel算子提取颜色和边缘信息，不仅考虑了颜色差异，同时考虑了颜色空间分布特征，具有较好的检索效果。同时通过实验统计了6种不同图像检索方法的检索时间，求每幅图像的平均检索时间，结果如表3所示。

Table 2 Average retrieval precision on Corel-1000 dataset表2 Corel-1000中每类图像平均精确度 %

Table 3 Retrieval time of 6 methods on Corel-1000 dataset表3 6种方法的检索时间（Corel-1000）

从表3可知，本文方法的检索时间比MTH稍微长一点，但是比其他5种检索方法要短。因为本文研究基于分块的图像检索方法，其中使用HSV颜色空间和Sobel算子来提取颜色和边缘特征，从而构造出直方图作为视觉特征向量进行检索，直方图计算速度快，对存储空间要求不高；而且计算相似度时选用d1距离不需要进行平方或者平方根运算，计算简单、快速。其中基于SIFT结构特征的图像检索方法时间比较长，因为SIFT首先提取每张图像的特征点及每个特征点对应的特征向量，每张图像得到128×n维的特征向量，再进行特征点的匹配，由于每张图像的特征向量维数不同且匹配的计算量十分巨大，检索效率不高。并且某些图像特征点数较少，不能很好地表示图像内容，以及检索结果受比例阈值等参数影响较大，鲁棒性不强。

为了更直观反映检索效果，从Corel-1000图像库中随机抽取3幅图像进行检索，并根据相似度由高到低的顺序进行显示，检索结果如图10～图12所示。

从图10～图12可知，从第1幅到第12幅图像为与查询图像最为接近的12幅图像，从检索结果可以看出所检索到的图像与查询图像均属于同一类，具有良好的检索效果。

Fig.10 Image retrieval for bus图10 大巴的检索结果

5 结束语

本文提出了一种新的分块加权图像检索方法，根据视觉注意机制将图像分成不均匀的若干块并设置不同的权值。本文方法综合了颜色和纹理特征，即颜色特征提取采用色差直方图表示颜色的差异及空间分布信息，纹理特征的提取采用Sobel边缘检测算子结合颜色和方向提出一种纹理结构。最后综合每个块的视觉特征作为图像的特征向量进行图像检索，实验结果表明本文方法具有较高的检索精确度。

Fig.11 Image retrieval for dinosaur图11 恐龙的检索结果

Fig.12 Image retrieval for horse图12 马的检索结果

[1]Gudivada V N,Raghavan V V.Content based image retrieval systems[J].Computer,1995,28(9):18-22.

[2]An Zhiyong,Zhao Feng,Du Ping,et al.Image retrieval based on the color-spatial distribution feature of generalized images[C]//Proceedings of the 2nd International Workshop on Education Technology and Computer Science,Wuhan,China,Mar 6-7,2010.Piscataway,USA:IEEE,2010: 185-188.

[3]Dong Weijun,Zhou Mingquan,Geng Guohua.Image retrieval technique based on combined features[J].Computer Applications and Software,2006,22(11):34-35.

[4]Wan Ji,Wang Dayong,Hoi S C H,et al.Deep learning for content-based image retrieval:a comprehensive study[C]// Proceedings of the 22nd ACM International Conference onMultimedia,Orlando,USA,Nov 3-7,2014.New York:ACM, 2014:157-166.

[5]Xia Rongkai,Pan Yan,Lai Hanjiang,et al.Supervised hashing for image retrieval via image representation learning[C]// Proceedings of the 28th AAAI Conference on Artificial Intelligence,Singapore,Jul 27-31,2014.Menlo Park,USA: AAAI,2014:2156-2162.

[6]Swain M J,Ballard D H.Color indexing[J].International Journal of Computer Vision,1991,7(1):11-32.

[7]Wang Xingyuan,Wang Zongyu.A novel method for image retrieval based on structure elements’descriptor[J].Journal of Visual Communication and Image Representation,2013, 24(1):63-74.

[8]Wang Hua,Dai Fang,Zhang Li,et al.An image retrieval method based on texture features of object region[C]//Proceedings of the 2011 International Conference on Electronics and Optoelectronics,Dalian,China,Jul 29-31,2011.Piscataway,USA:IEEE,2011:83-86.

[9]Zhang Jing,Shen Lansun,Gao Jingjing.Regions of interest detection based on visual attention mechanism[J].Acta Photonica Sinica,2009,38(6):1561-1565.

[10]Thepade S D,Shinde Y D.Improvisation of content based image retrieval using color edge detection with various gradient filters and slope magnitude method[C]//Proceedings of the 2015 International Conference on Computing Communication Control and Automation,Feb 26-27,2015.Piscataway,USA:IEEE,2015:625-628.

[11]Wang Guan,Ding Youdong,Wei Xiaocheng.Cultural relic image retrieval based on improved sobel operator[J].Computer Technology and Development,2011,21(10):51-54.

[12]Murala S,Maheshwari R P,Balasubramanian R.Directional local extrema patterns:a new descriptor for content based image retrieval[J].International Journal of Multimedia Information Retrieval,2012,1(3):191-203.

[13]Liu Guanghai,Li Zuoyong,Zhang Lei,et al.Image retrieval based on micro-structure descriptor[J].Pattern Recognition, 2011,44(9):2123-2133.

[14]Liu Guanghai,Zhang Lei,Hou Yingkun,et al.Image retrieval based on multi-texton histogram[J].Pattern Recognition, 2010,43(7):2380-2389.

[15]Zhang Ming,Zhang Ke,Feng Qinghe,et al.A novel image retrieval method based on hybrid information descriptors [J].Journal of Visual Communication and Image Representation,2014,25(7):1574-1587.

[16]Yu Lili,Dai Qing.Improved SIFT feature matching algorithm [J].Computer Engineering,2011,37(2):210-212.

附中文参考文献：

[3]董卫军,周明全,耿国华.基于综合特征图像检索技术研究[J].计算机应用与软件,2006,22(11):34-35.

[9]张菁,沈兰荪,高静静.基于视觉注意机制的感兴趣区检测[J].光子学报,2009,38(6):1561-1565.

[11]王冠,丁友东,魏小成.基于改进Sobel算子的文物图像检索[J].计算机技术与发展,2011,21(10):51-54.

[16]于丽莉,戴青.一种改进的SIFT特征匹配算法[J].计算机工程,2011,37(2):210-212.

ZHANG Yubing was born in 1989.She is an M.S.candidate at School of Internet of Things Engineering,Jiangnan University,and the member of CCF.Her research interests include pattern recognition,image retrieval and data mining,etc.

张玉兵（1989—），女，安徽池州人，江南大学物联网工程学院硕士研究生，CCF会员，主要研究领域为模式识别，图像检索，数据挖掘等。

SONG Wei was born in 1981.He received the Ph.D.degree in computer science from Chonbuk National University in Korea in 2009.Now he is an associate professor at School of Internet of Things Engineering,Jiangnan University, and the member of CCF.His research interests include pattern recognition,information retrieval,evolutionary computing,neural networks,image processing,data mining and knowledge discovery,etc.

宋威（1981—），男，湖北恩施人，2009年于韩国全北国立大学获得博士学位，现为江南大学物联网工程学院副教授，CCF会员，主要研究领域为模式识别，信息检索，演化计算，神经网络，图像处理，数据挖掘，知识发现等。

Block Weighted Image Retrieval Method Based on Visual Features*

ZHANG Yubing1,2+,SONG Wei1,2
1.School of Internet of Things Engineering,Jiangnan University,Wuxi,Jiangsu 214122,China
2.Engineering Research Center of Internet of Things Technology Applications,Ministry of Education,Wuxi,Jiangsu 214122,China
+Corresponding author:E-mail:zhangyubingxx@163.com

In the view of image retrieval,this paper proposes a new block weighted image retrieval method based on visual features.According to visual attention mechanism,this paper divides the image into several non-uniform blocks, and sets different weights to extract visual features of each block.Firstly,Sobel operator is used to obtain the edge of the image to calculate the color difference histogram of color and edge orientation.Meanwhile,this paper defines a structure which combines color and edge orientation and uses histogram to represent it.Moreover,the histogram of each block is connected to generate the feature vector of an image for retrieval.This paper carries out the experiments on benchmark Corel image database,and the extensive experiments demonstrate that the proposed method achieves better retrieval performance in comparison with state of the art image retrieval algorithms.

image retrieval;block weighted;visual attention mechanism;Sobel operator;color difference histogram

10.3778/j.issn.1673-9418.1511029

A

：TP391.4

*The Fundamental Research Funds for the Central Universities of China under Grant No.JUSRP51510(中央高校基本科研业务费专项资金);the Project of Engineering Research Center of Internet of Things TechnologyApplications,Ministry of Education(物联网技术应用教育部工程研究中心项目).

Received 2015-11,Accepted 2016-03.

CNKI网络优先出版:2016-03-07,http://www.cnki.net/kcms/detail/11.5602.TP.20160307.1710.014.html

ZHANG Yubing,SONG Wei.Block weighted image retrieval method based on visual features.Journal of Frontiers of Computer Science and Technology,2017,11(3)：468-477.

摘 要：对图像检索进行了研究，提出了一种新的分块加权图像检索方法。根据视觉注意机制将图像分成不均匀的若干块以及设置不同的权值，提取每块的视觉特征。首先在HSV颜色空间利用Sobel算子得到图像的边缘信息，计算颜色和边缘方向的色差直方图，同时定义一种结合颜色和边缘方向的结构来获取图像的纹理信息，并用直方图表示；然后连接每个块的直方图作为图像的特征向量进行图像检索。实验选取Corel标准图像库进行检索以及和另外5种图像检索方法进行对比分析，实验结果表明该方法具有较高的检索精确度。