谭飞刚　刘伟铭　黄玲　翟聪

(华南理工大学 土木与交通学院, 广东 广州 516040)

基于加权欧氏距离度量的目标再识别算法*

谭飞刚刘伟铭黄玲†翟聪

(华南理工大学 土木与交通学院, 广东 广州 516040)

摘要：针对传统欧氏距离在特征相似性度量中存在区分能力弱的缺陷，提出了基于加权欧氏距离度量的目标再识别算法.首先，针对现有目标再识别算法中目标分割易受衣着和背景颜色干扰的缺陷以及忽略人体头部特征的现象，提出了一种简单的比例分割方法，即根据VIPeR和i-LIDS数据集上目标各部件的比例统计将目标按比例分割成3部分.然后提取各部件的多种互补特征来增加其对光照变化等因素的鲁棒性.在部件特征描述过程中，文中提出了以显著性因子为权重的显著性局部二值模式(SLBP)特征来增加局部二值模式(LBP)特征对目标显著性的描述.最后综合各部件的相似性度量结果来判断目标是否匹配.在VIPeR和i-LIDS数据集上的对比实验结果显示，文中算法的目标再识别准确率优于其他算法.

关键词：加权欧氏距离；目标再识别；相似性度量；人体再识别；显著性LBP特征

目标再识别指在无重叠的多摄像机监控网络中感兴趣目标从一个摄像机视野离开后再进入到另外一个摄像机视野并再次被识别的过程[1],它已广泛应用在异常行为检测、智能监控和多摄像机间协同跟踪等领域.例如智能交通系统中多摄像机间协同跟踪、火车站或飞机场等公共场所的安全监控等.特别是随着城市交通网络的飞速发展,摄像机数目的不断增加,监控网络变得越来越复杂,如何在复杂的摄像机网络中对目标进行长时间、远距离的跟踪和分析也受到越来越多的关注.目标再识别作为目标协同跟踪过程中的重要步骤之一受到了广泛的关注[2].然而,目标再识别面临着巨大的挑战,特别是对于非刚性物体(如行人等),因为受到光照变化、拍摄视角、姿态变化、遮挡和摄像机自身特性等因素的影响,使得同一目标在不同摄像机之间的外观特征发生很大的变化[3].因此,如何建立鲁棒的目标再识别算法是目前研究热点之一.

目标再识别算法主要分为基于特征学习和基于度量学习两类算法[4].基于特征学习的算法是从外观特征出发,选取或设计一种外观描述特征使得类内相似度高且类间区分性强.颜色、结构、形状、梯度、纹理、关键点等描述子是人体再识别中主要使用的特征.Layne等[5]使用8种颜色特征和21种纹理特征来检测人体的15种属性特征,然后利用各属性的后验概率形成一个中层特征并进行行人再确认识别.Zhao等[4]将图像中行人划分多个块并提取各块的颜色特征和稠密的SIFT特征,然后利用无监督学习得到人体的显著性特征并进行识别.Liu等[6]利用人体颜色特征和纹理特征,并在识别过程中动态调整各种特征的权值来选择最重要的特征进行人体再识别.曾明勇等[7]从外观统计特征融合的角度,利用人体的颜色和结构信息研究了再识别问题的特征构建和测度选择.

基于度量学习的算法是从图像特征空间中学习得到一个模型,使得来自相同类别的特征距离更近,而来自不同类别的特征距离更远,从而最大化匹配准确率[8-9].Dikmen等[10]提出的大间距近邻的距离度量机制(LMNN)最小化正确匹配目标之间的距离,同时最大化错误匹配目标之间的距离.Zheng等[11]提出的相对距离比较(PRDC)概率模型使得正确匹配目标之间距离小于错误匹配目标之间距离的概率最大,从而实现匹配精度的最大化并忽略外观特征的选择.受文本分类或检索的启发,Prosser等[8]将人体再识别问题转换为一个检索排序问题,提出了排序的支持向量机(RankSVM).Pedagadi 等[12]利用局部Fisher(LF)特征并结合主成分分析(PCA)降维技术获得了较高的再识别性能.Hirzer等[13]针对度量学习存在优化计算模式复杂的缺陷,提出了宽松的逐对度量学习方法,将矩阵操作转换为迹操作,从而减少计算复杂度,提升算法效率.

上述基于特征学习的算法虽然取得了较好的研究效果,但该类算法需要人为寻找或设计出对光照、尺度、形变等因素具有较好鲁棒性的特征,并且特征的优劣程度直接影响其识别性能.而基于度量学习的算法需要进行监督训练,训练时间和空间复杂度较高,并且距离度量方式影响着算法的识别效果.基于上述分析,文中提出了一种基于加权欧式距离的多特征融合的目标再识别算法,并在VIPeR和i-LIDS两个公开测试数据库上进行对比实验,比较了文中提出的算法与其他目标再识别算法的识别效果.

1加权欧式距离计算

在多维数据空间结构中,欧式距离是测量两个向量空间距离的一种方法.传统的欧式距离计算表达式为

(1)

根据上述分析可知,在计算特征向量的相似性度量时,其对应元素间的值越相近,其贡献越大,在最终度量结果中应具有更大的权值,而不是所有的元素都有相同的权值.因此,文中对欧式距离的计算进行改进,提出了加权欧式距离,其表达式如下:

(2)

(3)

按式(2)计算可以得到dist(A,B)=2.351 1,dist(A,C)=0.533 4.由此可以看出,文中改进的加权欧式距离计算方法相对于传统的欧氏距离计算方法具有更好的相似度的区分性,并且更符合人类感官认知.

2目标再识别算法

2.1　目标区域分割

图像的局部特征被广泛用于目标检测、识别、检索和分类等领域[14].Farenzena等[15]提出的SDAL方法将人体分割为头部、躯干和腿部,并提取躯干及腿部的加权HSV直方图、最大稳定颜色区域和周期性高度结构化的纹理块3种特征,并综合各种特征的识别结果来实现人体再识别.范彩霞等[16]将人体划分为头部、躯干和腿部3部分,采用颜色结合形状信息的描述方式进行局部特征描述,并通过地球移动距离(EMD)来度量目标局部特征间的相似性.上述两种人体部件分割方法对颜色信息很敏感,如果行人穿相同或相近颜色的衣服和裤子,则会导致分割失败.文中在对VIPeR和i-LIDS两个数据集进行观察与分析后发现,人体头部、躯干和腿部之间的比例约为1∶3∶4.部分划分结果如图1所示,将样本图像水平划分为8个区域,头部占一个区域,躯干占3个区域,腿占4个区域.

图1　人体部件比例示意图Fig.1　Illustration of the proportion of body parts

文献[15-16]认为人体部件分割后,人体头部所占区域小,并且无法提供有效的识别信息，因而忽略头部区域.然而,研究发现行人间头部遮挡概率较小,并且头部的发型、头发颜色及配饰(如帽子等)都对行人再识别提供非常有用的帮助.此外,文献[17]利用人体头肩区域特征在较拥挤的无重叠区域的跨摄像机环境中进行目标跟踪.但图1所示的人体头部所在区域较小,过多的背景区域会干扰目标再识别结果,因此,文中按照以下方法提取人体头部区域.设样本宽为w、高为H,条纹的高度为h(h=H/8),那么头部区域距离左右边界w/4,高度为1.5h,即头部区域宽为w/2,高度为1.5h,如图2所示.

图2　人体部件分割示意图Fig.2　Illustration of body-part divisions

2.2　特征提取

单一特征具有局限性,因为它只对某种或几种影响因素具有较好的鲁棒性.如颜色特征对目标形变及拍摄角度变化具有较好的鲁棒性,但对光照变化比较敏感.因此,为增加特征描述的鲁棒性,文中提出了显著性LBP(SLBP)特征,并结合Gabor特征、YUV颜色直方图来描述目标.将目标从RGB颜色空间转换到YUV空间,即

(4)

图3　YUV空间中各分量图像Fig.3　Images of channels in YUV space

显著性因子是对目标局部特征显著性的描述[18],韦伯定律解释了目标局部显著性不能由差别阈值的绝对值来进行比较,而应由其相对值进行划定.LBP特征因其计算速度快并能很好地描述目标的纹理特征而被广泛应用,但其缺乏对目标的显著性描述.然而,在目标再识别过程中,目标的显著性区域不仅能增加同一目标间的相似性,而且能增加不同目标间的差异性,从而提高目标再识别算法的可靠性和准确性.

图4描述的是目标在不同摄像机视角下的图像.从图中不难发现,图4(a)至4(d)的4个目标可分别利用腰上跨的手提包、头上戴的帽子、背上背的双肩包和旅行包来辅助目标的再识别.虽然Cao等[19]以像素间差异的绝对值作为权值,提出的加权LBP(WLBP)直方图考虑了像素邻域间差异的影响,但它并不能很好地描述特征的局部显著性.因此,文中依据韦伯定律,以显著性因子作为权值来增加LBP特征对显著性的描述能力,即为显著性的局部二值模式(SLBP).

图4　辅助目标再识别的显著性区域Fig.4　Salience region assisted object re-identification

SLBP描述如下:

(5)

式中:K为最大的LBP特征值；S(x,y)为中心像素gc的显著性因子,其计算表达式为

(6)

gi(i=[1,2,…,8])为gc的8邻域像素;LBP(x,y)为像素gc传统的LBP特征值;f(a,b)为判断函数,其定义为

(7)

图5中a与c为来自不同摄像机视野的同一目标,与c为不同目标.分别对这3幅图像提取LBP特征、WLBP[19]特征和SLBP特征(由于手提包位于躯干区域,因此只提取躯干区域的3种特征),并且利用加权欧氏距离计算它们之间的相似度,结果如表1所示.

图5　目标显著性特征再识别示意图Fig.5　Illustration of object re-identification by salience feature

从表1中可以看出,对于SLBP特征,同一目标的加权欧氏距离最小,而不同类目标间的加权欧氏距离比较大.由此可知,SLBP特征既可以较好地描述目标类内相似性,也可以很好地描述目标类间差异性.

表1　3种特征的加权欧氏距离相似性计算结果Table 1　Similarity results of 3 features calculated by weighted Euclidean distance

2.3　目标再识别

目标再识别问题可以转换为特征相似性度量问题,即给定一幅从摄像机A捕获的查询图像p,从摄像机B捕获的图像库Q中寻找与查询图像相似度最高的图像q.将图像相似度转换为特征距离度量表示,即

(8)

α+β+γ=1

(9)

(10)

图6　文中算法流程图Fig.6　Flowchart of the proposed algorithm

当计算出摄像机A中图像p与摄像机B图库中所有图像的相似度距离后,选择摄像机B中相似度距离最小的图像q作为最终的再识别结果,即

(11)

目标再识别算法的流程图如图6所示.首先将查询图像按照文中提出的分割比例分割成头、躯干和腿3部件,并提取各部件的5种特征;然后将各部件特征与图库中候选目标各部件特征进行相似性度量,并计算出各部件的度量值;最后累加各部件度量值,并判断其是否大于设定的阈值,若大于则认为两目标匹配(即为同一目标),反之则不匹配.

3实验及结果分析

累积匹配特性(CMC)曲线[20]和TOPn是目前常用的人体再识别性能评价指标.CMC曲线反映查询图像在测试图库前n个最相似候选图像中正确匹配到目标图像的概率.TOPn表示测试图库前n个最相似图像中包含正确匹配图像的概率,它是CMC曲线上的一个点,

(12)

式中,n为统计的等级数,Pi为第i等级正确匹配目标图像的概率.

在CMC曲线中,离左上角越近表明该方法的识别性能越好.VIPeR图库由大学校园室外环境两个不同拍摄角度的摄像机拍摄的图像组成,它属于单帧模式标准图库,包含632对不同视角、姿态和光照条件下的行人.i-LIDS是目标再识别使用最多的多帧图库,它包含在某机场拍摄的119个行人的476幅图像,平均每个行人有4幅图像,该图库不仅包含视觉拍摄角度、光照、姿态变化的行人图像,还包含部分遮挡图像.本实验平台为Windows7操作系统、2 GB内存、Intel(R) Core(TM) i5的CPU和软件Matlab2014a.选用CMC和TOPn作为评价指标,并在VIPeR和i-LIDS图库上进行对比实验.

3.1　加权欧氏距离性能评估

为验证文中改进欧氏距离计算方法的性能,选择传统欧氏距离与文中提出的加权欧氏距离作为特征相似度计算方法.在VIPeR和i-LIDS图库上两种方法的TOP1和TOP5对比如表2所示.从表中不难看出,使用加权欧氏距离的计算方法能较好地改善目标再识别效果.对于单帧模式的VIPeR图库,文中方法的TOP1和TOP5都高于传统方法10%以上;对于多帧模式的i-LIDS图库,两种方法的TOP1相差较大,而TOP5相差较小,其原因是多帧模式下目标再识别的准确率较高,因此,累计准确率的差距越小.

表2　两种方法的TOP1和TOP5比较Table 2　Comparison of TOP1and TOP5between two methods

3.2 几种算法的CMC对比

为进一步说明文中算法的目标再识别性能,选择文献[4,6,15]算法在VIPeR和i-LIDS图库上进行对比实验,结果如图7所示.从图中可知,文中算法在两个图库上的检测效果均优于其他算法,主要原因是文献[4]算法将目标划分为多个块,然后提取各个块的SIFT和LAB颜色特征,并通过聚类得到目标的显著性特征,该算法易受块大小、目标样本背景的影响;文献[15]算法忽略了头部区域信息,但头部区域有时包含的显著性信息能有效改善目标再识别精度,如图7(b)中,当n>8时包含头部特征的3种算法的识别准确率均高于文献[15]算法;文献[6]算法将目标水平划分为6个条块,然后动态调整每个样本在颜色特征和纹理特征上的权值,进而根据调整后的权值进行目标再识别,该算法忽略了目标显著性特征信息,且容易受背景环境和目标间遮挡的影响;文中算法首先对目标进行细致分割,以避免复杂背景的干扰,再选择多种互补特征来描述目标部件,并通过各部件的匹配来完成整体目标的匹配,从而增加算法对光照、视角变化和遮挡等因素的鲁棒性.

图7　4算法的CMC曲线Fig.7　CMC curves of four algorithms

4结论

文中对非重叠区域内目标再识别问题进行研究,提出了基于加权欧氏距离度量的多部件目标再识别算法和以显著性因子为权值的SLBP特征,并在常用的VIPeR和i-LIDS图库上对文中算法与现有几种算法进行了对比实验,结果表明:人体头部也存在丰富的信息用于目标再识别;文中算法的再识别精度均优于其他算法.

参考文献:

[1]Bedagkar-Gala A,Shah S K.A survey of approaches and trends in person re-identification [J].Image and Vision Computing,2014,32(4):270-286.

[2]Wang X.Intelligent multi-camera video surveillance:a review [J].Pattern Recognition Letters,2013,34(1):3-19.

[3]黄凯奇,陈晓棠,康运峰,等.智能视频监控技术综述 [J].计算机学报,2015,38(6):1093-1118.

Huang Kai-qi,Chen Xiao-tang,Kang Yun-feng,et.al.Intelligent visual surveillance:a review [J].Chinese Journal of Computers,2015,38(6):1093-1118.

[4]Zhao R,Ouyang W,Wang X.Unsupervised salience lear-ning for person re-identification [C]∥Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland:IEEE,2013:3586-3593.

[5]Layne R,Hospedales T M,Gong S.Towards person identification and re-identification with attributes [C]∥Proceedings of Computer Vision-ECCV 2012 Workshops and Demonstrations.Berlin/Heidelberg:Springer,2012:402- 412.

[6]Liu C,Gong S,Loy C C.On-the-fly feature importance mining for person re-identification [J].Pattern Recognition,2014,47(4):1602-1615.

[7]曾明勇,吴泽民,田畅,等.基于外观统计特征融合的人体目标再识别 [J].电子与信息学报,2014,36(8): 1844-1851.

Zeng Ming-yong,Wu Ze-min,Tian Chang,et al.Fusing appearance statistical features for person re-identification [J].Journal of Electronics & Information Technology, 2014,36(8):1844-1851.

[8]Prosser B,Zheng W S,Gong S,et al.Person re-identification by support vector ranking [C]∥Proceedings of the British Machine Vision Conference.Aberystwyth:BMVC,2010:1-11.

[9]Satta R,Fumera G,Roli F.Fast person re-identification based on dissimilarity representations [J].Pattern Recognition Letters,2012,33(14):1838-1848.

[10]Dikmen M,Akbas E,Huang T S,et al.Pedestrian recognition with a learned metric [M]∥Proceedings of 2010 Asian Conference on Computer Vision.Berlin/Heidelberg:Springer,2011:501-512.

[11]Zheng W S,Gong S,Xiang T.Person re-identification by probabilistic relative distance comparison [C]∥Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs:IEEE,2011:649- 656.

[12]Pedagadi S,Orwell J,Velastin S,et al.Local fisher discriminant analysis for pedestrian re-identification [C]∥Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland:IEEE,2013:3318-3325.

[13]Hirzer M,Roth P M,Köstinger M,et al.Relaxed pairwise learned metric for person re-identification[C]∥Proceedings of European Conference on Computer Vision 2012.Berlin/Heidelberg:Springer,2012:780-793.

[14]黄凯奇,任伟强,谭铁牛.图像物体分类与检测算法综述 [J].计算机学报,2014,37(6):1225-1240.

Huang Kai-qi,Ren Wei-qiang,Tan Tie-niu.A review on image object classification detection [J].Chinese Journal of Computers,2014,37(6):1225-1240.

[15]Farenzena M,Bazzani L,Perina A,et al.Person re-identification by symmetry-driven accumulation of local features [C]∥Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE,2010:2360-2367.

[16]范彩霞,朱虹,蔺广逢,等.多特征融合的人体目标再识别 [J].中国图象图形学报,2013,18(6):711-717.

Fan Cai-xia,Zhu Hong,Lin Guang-feng,et al.Person re-identification based on multi-features [J].Journal of Image and Graphics,2013,18(6):711-717.

[17]Mazzon R,Tahir S F,Cavallaro A.Person re-identification in crowd [J].Pattern Recognition Letters,2012,33(14):1828-1837.

[18]Chen J,Shan S,He C,et al.WLD:a robust local image descriptor [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9):1705-1720.

[19]Cao Y,Pranata S,Nishimura H.Local binary pattern features for pedestrian detection at night/ dark environment [C]∥Proceedings of the 18th IEEE International Conference on Image Processing.Brussels:IEEE,2011:2053-2056.

[20]Wang X,Doretto G,Sebastian T,et al.Shape and appearance context modeling [C]∥Proceedings of the 11th International Conference on Computer Vision.Rio de Janeiro:IEEE,2007:1-8.

Object Re-Identification Algorithm Based on Weighted Euclidean Distance Metricc

TanFei-gangLiuWei-mingHuangLingZhaiCong

(School of Civil Engineering and Transportation, South China University of Technology, Guangzhou 510640, Guangdong, China)

Abstract:As the traditional Euclidean distance has a weak distinctive ability in the feature similarity measure, an object re-identification algorithm based on the weighted Euclidean distance metric is proposed. First, aiming at the problems of the existing object re-identification algorithm, which are that the object segmentation is sensitive to clothing and background color and the human head information is ignored, a simple segmentation method is proposed, which divides a person into three parts according to the statistics of the proportion of each part in VIPeR and i-LIDS data-sets. Then, various complementary features of each part are extracted to improve the robustness of the proposed algorithm to illumination changes and other factors. A significant local binary pattern (SLBP) with a significant factor as the weight is proposed to increase the description ability of the local binary pattern (LBP) to the significance of the object in the part feature description process. Finally, the comprehensive result of the similarity measure of each part is used to determine whether the object is matched. The results of comparative experiments on VIPeR and i-LIDS datasets show that the proposed algorithm is superior to other algorithms in terms of accuracy.

Key words:weighted Euclidean distance; object re-identification; similarity measure; person re-identification; significant local binary pattern

中图分类号：TP391

doi：10.3969/j.issn.1000-565X.2015.09.014

作者简介：谭飞刚(1987-),男,博士生,主要从事智能交通系统、机器视觉研究.E-mail: tanfeigang@qq.com† 通信作者： 黄玲(1979-),女,博士,讲师,主要从事智能交通、机器学习研究.E-mail: hling@scut.edu.cn

*基金项目：国家自然科学基金资助项目(51408237)

收稿日期：2015-03-02

文章编号：1000-565X(2015)09-0088-07

Foundation item： Supported by the National Natural Science Foundation of China(51408237)