王　海　 蔡英凤　 陈　龙　 江浩斌

(1江苏大学汽车与交通工程学院, 镇江212013)(2江苏大学汽车工程研究院, 镇江212013)

基于Haar-NMF特征和改进SOMPNN的车辆检测算法

王海1蔡英凤2陈龙2江浩斌1

(1江苏大学汽车与交通工程学院, 镇江212013)(2江苏大学汽车工程研究院, 镇江212013)

摘要:为解决传统基于Haar特征和自组织映射概率神经网络(SOMPNN)的车辆检测算法中存在当Haar特征向量维数过大时决策时间缓慢和因平滑因子σ单一易导致分类错误的2个不足,提出了一种用低维的Haar-NMF特征代替Haar特征和平滑因子自适应修正的改进SOMPNN(ISOMPNN)车辆检测算法.首先用非负矩阵分解对Haar特征进行降维，生成低维Haar-NMF特征;其次,以SOM输出层神经元的原型向量数作为修正因子,构建了指数函数形式的平滑因子修正函数,并以修正后的平滑因子训练SOMPNN分类器.实验结果表明,与传统的Haar+SOMPNN算法相比,采用Haar-NMF和ISOMPNN构建的车辆检测分类器在检测率、误检率和检测时间等性能指标上都获得明显提升.

关键词:车辆工程;车辆检测;Haar特征;非负矩阵分解;改进SOMPNN;高级驾驶辅助系统

道路车辆检测是车辆主动安全领域中的核心技术,未来将广泛应用于车辆辅助驾驶系统以及自主驾驶车辆中[1-3].然而由于车辆外观的高度差异性,基于视觉的车辆检测是模式识别中的难点.此外,从主动安全角度出发,车辆检测系统还需要具有较好的实时性和鲁棒性,这就给车辆检测算法提出了更高的要求.

目前以车辆检测为代表的基于单目视觉的目标检测技术通常包含外形特征提取和分类学习2部分.外观特征包括Haar小波[4]、方向梯度直方图(HOG)[5]、Gabor滤波器特征[6]、表观特征[7]和颜色特征[8]等.常用的分类学习方法有Adaboost集成学习[9]、支持向量机(SVM)[10]、神经网络(NN)[11]等.

现有基于Haar特征和SOMPNN的方法识别率较低且计算复杂度较高,本文将通过2个方面对其进行改进:① 针对传统Haar特征维数较大的缺点,采用非负矩阵分解(non-negativematrixfactorization,NMF)对其进行降维,提出了Haar-NMF特征,显著降低了特征维数;② 目前SOMPNN算法中平滑因子σ均按照经验取单一值,阻碍了分类效果的进一步提升,本文以自组织映射(SOM)输出层神经元的原型向量数作为修正因子,构建了以指数函数为原型的平滑因子修正函数,并以修正后的平滑因子训练SOMPNN分类器.

1算法结构

本文算法的总体结构如图1所示.首先通过正负样本生成Haar-NMF特征，然后通过训练改进的SOMPNN分类器实现对车辆目标的检测.

图1　算法总体结构图

2Haar-NMF特征

采用Haar特征对图像样本进行表征时,Haar特征向量维数极大,如大小为24×24像素的图像形成的特征向量高达117 941维.本文采用NMF对Haar特征向量进行降维,生成Haar-NMF特征.NMF是一种在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法.

Haar-NMF特征的计算流程如下[12]:

① 设H是维数为l的Haar特征向量.由于Haar特征向量并非所有元素都非负,因此将其取绝对值并转换为m×n的矩阵C形式, 其中l=m×n.

② 对矩阵C进行秩r的NMF分解,即

C=WHT

(1)

式中,W和H分别为m×r和n×r的非负基矩阵和系数矩阵.

③ 对矩阵W和H中每一个列向量v进行归一化处理.

④ 将所有列向量v级联成Haar-NMF特征.

本文中,l=118 000,m=2 950,n=40,r=3,Haar-NMF特征的长度为9 085,特征维数减少了约92%,从而大大减轻了后续分类算法的计算量.

3概率神经网络分类器

概率神经网络(PNN)是Specht[13]提出的一种基于贝叶斯最小风险准则的神经网络模型,具有全局优化的特点,被广泛用于模式识别等应用中[14].PNN实质上是一个前馈的神经网络,它由输入层、模式层、求和层与输出层构成.此外,其结构适用于并行计算,能够保证网络的快速计算.PNN拓扑结构如图2所示.

图2　PNN结构图

输入层的功能是接收来自待判断样本的特征向量,并将特征向量传递给后续网络.因此,其神经元数目和待判断样本的维数相等.由此可见,过高的特征向量维数会导致输入层节点数过多.

模式层的功能是计算从输入层获得的特征向量与训练样本集之中各个模式相匹配的概率值.因此,模式层神经元的个数为各个类别训练样本数之和,该层每个模式单元的输出为

(2)

式中,Wi为输入层到模式层连接的权值;X为输入的特征向量.在模式层中,特征向量X的维数和决策时间成正比.

平滑因子σ的计算公式如下:

(3)

式中,m=1,2,…,M为样本类别;Sm为每一类的样本数;x为样本特征向量.

求和层的功能是根据式(2)计算模式层中数据属于某个类的概率并进行累计,从而得到分类模式的估计概率密度函数.待判断的每一个类别中只有一个求和层单元,该单元仅与属于自己类的模式层单元相连接,并将其输出相加.求和层单元的输出与各类基于Kernel的密度估计成比例,最后通过输出层的归一化处理获得各类的概率密度估计.

输出层的功能是在求和层中各个分类模式的估计概率密度中选择一个具有最大后验概率密度的神经元作为整个系统的输出.输出层神经元是一种竞争神经元,每个神经元分别对应一个数据类型即分类模式.概率密度函数最大的那个神经元输出为 1,其所对应的那一类即为待识别的样本类别,其他神经元的输出全为0.

由于PNN含有前馈网络结构,因此与传统的神经网络(如BP网络)、SVM和Adaboost等算法相比具有以下特点:

① 具有较为灵活的网络结构框架.在训练样本发生变化如增加或减少时，重训练时间较其他方法需求小.

② 训练速度快.由于不需要传统神经网络训练中所需的误差反向传播算法，其训练时间比传统神经网络快3～4个数量级.

③ 收敛性较好.针对任意分类问题，在满足训练样本数量足够多的前提下，就可以保证获得贝叶斯的最优解.

4自适应SOMPNN分类器

PNN虽然具有很多优点,但因为其模式层神经元个数等于各个类别训练样本数之和,存在当原始训练样本数目大时决策时间长和耗费存储空间大的缺点,极大地限制了其在大规模实际问题中的应用.针对该不足,Yu等[15]提出了一种SOMPNN算法,即利用自组织网络(SOM)通过竞争产生数量较少的样本原型向量,再以原型向量输入到PNN中进行分类或预测.该方法大幅减少了决策时间,并在蛋白质跨膜螺旋预测问题上得到了成功应用.

4.1SOM

首先投资者的投资信心不足，投资农业既要承担气候、环境等自然风险，又要承担市场销售风险，市场竞争力不强。其次农村经济缺乏金融支持，农民除在信用社获得小额贷款外，在其他机构很难获得金融支持。一些涉农企业由于无资产抵押，也很难获得银行贷款。再者，扶持政策多变，2018年开始，中央和省降低了对于无人飞机、自动导航驾驶系统等的补助标准。

4.2SOMPNN

将SOM输出层的d维原型向量作为PNN的输入向量,即构成了SOMPNN模型.SOMPNN模型的学习过程简述如下[15]:

设X=X1∪X2∪…∪Xm∪…∪XM为训练集,其中Xm为类别m的训练集,共有M类.对所有类别,采用文献[15]的方法分别训练得到原型向量数目为Km的SOMm.令cm,k表示第k个输出节点对应的原型向量.

取代了原有以Xm中的训练样本构建PNN中的概率密度函数的方式，SOMPNN中的概率密度函数由SOMm中的原型向量直接构建：

(4)

最终的PNN可统一表示为如下形式:

(5)

式中,pm为第m类的先验概率.

最终决策时,新样本x*所属类别为

(6)

SOMPNN的一个缺陷是所有的概率密度函数都采用相同的平滑因子σ进行计算，因而不能真实反应各个输入变量对正确分类结果的实际作用.通过分析发现，SOM输出的原型向量数d能够表明其含有信息的丰富程度.因此，d较大表明信息量丰富，则平滑因子可取较小数值，从而实现对概率密度函数更佳精确的逼近.反之，平滑因子则选取相对较大的数值.

基于此,本文提出了一种平滑因子自适应修正的改进SOMPNN(ISOMPNN)算法,以SOM输出层神经元的原型向量数Km作为修正因子,构建了如下指数形式的平滑因子修正函数:

(7)

式中,σ0为初始平滑因子,可由式(3)求得.

将平滑因子修正函数代入式(4),得到修正后的SOMPNN概率密度函数:

(8)

5实验与分析

5.1实验

本文选取Caltech1999数据库中的图片和项目组实际采集的道路图片共3 715幅,构成正样本.通过相应的裁剪,正样本统一归一化至24×24像素.负样本在1 000张不含车辆的图片中产生,其尺寸、位置均随机生成,共37 832个.部分正负样本示例如图3所示.测试图片均为实际道路采集图片,包含高速路、城市等多种路况,共2 360幅,其中含有车辆3 281辆.

用于车辆检测器性能评价的实验平台为惠普工作站,其主要参数为：Intel酷睿2双核2.67GHz处理器,2GB内存,操作系统为WindowsXP,编程软件为MicrosoftVisualStudio6.0.

5.2实验结果与分析

为全面评价和比较本文构建的基于Haar-NMF特征和ISOMPNN的车辆检测分类器的性能,采用同样的训练样本和测试样本,分别用3种算法(Haar+SOMPNN、Haar-NMF+SOMPNN、Haar-NMF+ISOMPNN)进行了3组实验.训练测试流程如图4所示.

(a) 正样本

(b) 负样本

图4　训练测试流程图

本文选取分类器检测时间、检测率(RD)和误检率(RF)作为评价指标，其中

式中,TP为正确识别车辆数;AP为总车辆数;FP为错误识别车辆数;AS为所有样本数.

图5给出了3 种算法的ROC曲线,在Haar+SOMPNN和Haar-NMF+SOMPNN方法中,平滑因子σ分别固定为2.7和2.56.而本文所提出的基于Haar-NMF+ISOMPNN算法的平滑因子σ则在[0,2.56]区间范围内自适应变化.在晴好天气、雨雾天气和夜间3个数据库上的分类器效果分别如表1所示.可看出,基于Haar+SOMPNN的算法检测率高于采用Haar-NMF+SOMPNN的算法,低于采用Haar-NMF+ISOMPNN的算法,但检测耗时最长.这是由于Haar-NMF特征相比Haar特征损失了一些信息量,基于Haar-NMF特征的方法的检测耗时大大减少(3个数据库中平均耗时减少约87%).本文算法由于进行了平滑因子的自适应修正,使SOMPNN结构更加逼近样本中蕴含的概率密度函数信息,因此具有最高的检测率和最低的误检率,且耗时和采用Haar-NMF特征+SOMPNN的方法接近.综上所述，本文算法在3种方法中具有最佳的车辆检测效果.所有测试图片分辨率为640×480像素.搜索方式为全幅图片的滑动窗口法,滑动窗口尺寸以24×24像素为基础,以1.05倍率扩大.部分实际道路检测效果如图6所示,蓝色窗口为正确检出,红色虚线窗口为漏检或误检,可以看出漏检和误检多发生在车辆部分遮挡及雨雾等视野不良天气下.

图5　3种算法的ROC曲线图

表1　3种车辆检测分类器性能比较

图6部分实际道路检测效果

6结语

本文深入分析了传统基于Haar特征和SOMPNN的车辆检测算法的2个不足,并相应地提出了采用低维Haar-NMF特征和自适应改进SOMPNN的算法.实验结果和分析表明,相较于原算法,以本文算法构建的车辆检测器具有更高的检测率、更低的误检率和最少的检测时间.

后续工作将集中在多帧图像的车辆跟踪算法上,通过分析车辆位置、速度参数在时间序列上的特点,进一步将车辆检测率提高到98%以上,以满足前车追尾预警、智能车导航等相关应用的要求.

参考文献 (References)

[1]马雷, 臧俊杰, 张润生. 不同光照条件下前方车辆识别方法[J]. 汽车工程, 2012, 36(4): 360-366, 332.DOI:10.3969/j.issn.1000-680X.2012.04.017.

MaLei,ZangJunjie,ZhangRunsheng.Frontvehicleidentificationunderdifferentlightingconditions[J]. Automotive Engineering, 2012, 36(4): 360-366, 332.DOI:10.3969/j.issn.1000-680X. 2012. 04.017. (inChinese)

[2]文学志,方巍,郑钰辉. 一种基于类Haar特征和改进AdaBoost分类器的车辆识别算法[J]. 电子学报,2011, 39(5): 1121-1126.

WenXuezhi,FangWei,ZhengYuhui.AnalgorithmbasedonHaar-likefeaturesandimprovedAdaBoostclassifierforvehiclerecognition[J]. Acta Electronica Sinica, 2011, 39(5): 1121-1126. (inChinese)

[3]HanSH,AhnEY,KwakNY.Detectionofmultiplevehiclesinimagesequencesfordrivingassistancesystem[C]//International Conference on Computational Science and Its Application.Singapore, 2005:1122-1128.

[4]许庆,高峰,徐国艳. 基于Haar特征的前车识别算法[J]. 汽车工程, 2013, 35(4): 381-384.DOI:10.3969/j.issn.1000-680X.2013.04.018.

XuQing,GaoFeng,XuGuoyan.Analgorithmforfront-vehicledetectionbasedonHaar-likefeature[J]. Automotive Engineering, 2013, 35(4): 381-384.DOI:10.3969/j.issn.1000-680X.2013.04.018. (inChinese)

[5]吴鑫, 王桂英, 丛杨. 基于颜色和深度信息融合的目标识别方法[J]. 农业工程学报, 2013, 29(z1): 96-100.DOI:10.3969/j.issn.1002-6819.2013.z1.014.

WuXin,WangGuiying,CongYang.Objectrecognitionmethodbycombiningcoloranddepthinformation[J].Transactions of the Chinese Society of Agricultural Engineering, 2013, 29(z1):96-100.DOI:10.3969/j.issn.1002-6819.2013.z1.014.(inChinese)

[6]WangH,ZhangWG,CaiYF.Designofaroadvehicledetectionsystembasedonmonocularvision[J]. Journal of Southeast University (English Edition), 2011, 27(2): 169-173.

[7]郭立君, 刘曦, 赵杰煜, 等. 结合运动信息与表观特征的行人检测方法[J]. 软件学报, 2012, 23(2): 299-309.DOI:10.3724/SP.J.1001.2012.04030.

GuoLijun,LiuXi,ZhaoJieyu,etal.Pedestriandetectionmethodofintegratedmotioninformationandappearancefeatures[J]. Journal of Software, 2012, 23(2):299-309.DOI:10.3724/SP.J.1001.2012.04030.(inChinese)

[8]SunZ,BebisG,MillerR.On-roadvehicledetection:Areview[J]. IEEE Transactions on Pattern Analysis and Machine Inteligence, 2006, 28: 694-711.DOI:10.1109/TPAMI.2006.104.

[9]李云翀, 何克忠, 贾培发. 基于阴影特征和Adaboost的前向车辆检测系统[J]. 清华大学学报(自然科学版), 2007, 47(10): 1713-1716.

LiYunchong,HeKezhong,JiaPeifa.ForwardvehicledetectionbasedonshadowfeaturesandAdaboost[J]. Journal of Tsinghua University (Science and Technology), 2007, 47(10): 1713-1716. (inChinese)

[10]周辰雨, 张亚岐, 李健. 基于SVM的车辆识别技术[J]. 科技导报, 2012, 30(30): 53-57.DOI:10.3981/j.issn.1000-7857.2012.30.007.

ZhouChenyu,ZhangYaqi,LiJian.VehicleidentificationtechnologybasedonSVM[J]. Science & Technology Review, 2012, 30(30): 53-57.DOI:10.3981/j.issn.1000-7857.2012.30.007. (inChinese)

[11]WuCF,LinCJ,LeeCY.Applyingafunctionalneurofuzzynetworktoreal-timelanedetectionandfront-vehicledistancemeasurement[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C, 2012, 42(4): 577-589.

[12]孙锐, 陈军, 高隽. 基于显著性检测与HOG-NMF特征的快速行人检测方法[J]. 电子与信息学报, 2013, 35(8):1921-1926.DOI:10.3724/SP.J.1146.2012.01700.

SunRui,ChenJun,GaoJun.FastpedestriandetectionbasedonsaliencydetectionandHOG-NMFfeatures[J]. Journal of Electronics & Information Technology, 2013, 35(8):1921-1926.DOI:10.3724/SP.J.1146.2012.01700.(inChinese)

[13]SpechtDF.Enhancementtoprobabilisticneuralnetwork[C]//Proceeding of the IEEE International Joint Conference on Neural Networks.Baltimore,MD,USA, 1992: 761-768.

[14]明利特, 蒋芸, 王勇,等. 基于邻域粗糙集和概率神经网络集成的基因表达谱分类方法[J]. 计算机应用研究, 2011, 28(12): 4440-4444.DOI:10.3969/j.issn.1001-3695.2011.12.010.

MingLite,JiangYun,WangYong,etal.Geneexpressionprofilesclassificationmethodbasedonneighborhoodroughsetandprobabilisticneuralnetworksensemble[J]. Application Research of Computers, 2011, 28(12): 4440-4444.DOI:10.3969/j.issn.1001-3695.2011.12.010. (inChinese)

[15]YuDJ,ShenHB,YangJY.SOMPNN:Anefficientnon-parametricmodelforpredictingtransmembranehelices[J]. Amino Acids, 2012, 42(6): 2195-2205.DOI:10.1007/s00726-011-0959-2.

[16]KohonenT.Theself-organizingmap[J]. Proceedings of IEEE, 1990, 78(1): 1461-1480.

VehicledetectionalgorithmbasedonHaar-NMFfeaturesandimprovedSOMPNN

WangHai1CaiYingfeng2ChenLong2JiangHaobin1

(1SchoolofAutomotiveandTrafficEngineering,JiangsuUniversity,Zhenjiang212013,China) (2AutomotiveEngineeringResearchInstitution,JiangsuUniversity,Zhenjiang212013,China)

Abstract:The traditional vehicle detection algorithm based on Haar features and self-organized mapping probability neural networks (SOMPNN) has two shortages: High-dimensional Haar features usually cause long decision time; the constant smooth factor σ of SOMPNN often causes false classification. To solve these problems, low-dimensional Haar-NMF(non-negative matrix factorization) features instead of Haar features and an improved SOMPNN(ISOMPNN) with adaptive smooth factor correction are adopted to build the vehicle detector. First, NMF is used to generate low-dimensional Haar-NMF features. Then, the neuron number of the output layer of SOM is set as a correction factor to build the smoothing factor correction function in the form of the exponential function. The SOMPNN classifier is trained with the corrected smoothing factor. Experimental results demonstrate that the performance of the Haar-NMF+ISOMPNN-based vehicle detection classifier is improved in the detection rate, false detection rate and detection time compared with the traditional Haar+SOMPNN-based algorithm.

Key words:automotive engineering; vehicle detection; Haar feature; nonnegative matrix factorization(NMF); improved SOMPNN; advanced driver assistant system(ADAS)

DOI:10.3969/j.issn.1001-0505.2016.03.008

收稿日期:2015-09-06.

作者简介:王海(1983—)，男，博士，副教授，wanghai1019@163.com.

基金项目:国家自然科学基金资助项目(61573171, 61403172, 51305167)、江苏省自然科学基金资助项目(BK20140555) 、中国博士后基金特别资助项目(2015T80511)、中国博士后基金资助项目(2014M561592)、江苏省六大人才高峰资助项目(2014-DZXX-040, 2015-JXQC-012).

中图分类号:TP391.4

文献标志码:A

文章编号:1001-0505(2016)03-0499-06

引用本文: 王海，蔡英凤，陈龙，等.基于Haar-NMF特征和改进SOMPNN的车辆检测算法[J].东南大学学报(自然科学版),2016,46(3):499-504.DOI:10.3969/j.issn.1001-0505.2016.03.008.