APP下载

模糊支持向量机在路面识别中的应用

2014-07-25李忠国刘庆华

数据采集与处理 2014年1期
关键词:平度向量粒子

李忠国 侯 杰 王 凯 刘庆华

(1.江苏科技大学机械工程学院,镇江,212003;2.江苏科技大学计算机科学与工程学院,镇江,212003)

引 言

路面不平度通常用来描述路面的起伏程度,是汽车行驶过程中的主要激励,影响车辆行驶的平顺性、乘坐舒适性、操纵稳定性、零部件疲劳寿命、运输效率、油耗等各方面[1]。因此,对路面不平度的研究对汽车工业有重大意义,不仅能提高汽车产业的质量、利润,也使消费者在价格、舒适性、安全性等方面受益。进行路面不平度的研究需要通过试验来采集必要的数据,通过数据了解路面特性进行深层次的研究。对公路来讲,其功能是行车,所以路面不平度客观的评价依据应是车辆在路面上行驶时的响应——车轮力[2]。本文采用汽车行驶在不同类型路面时由车轮力传感器采集的垂直载荷数据进行路面不平度识别。

由台湾学者Chun-Fu Liu和Sheng-De Wang在2002年提出的模糊支持向量机(Fuzzy support vector machine,FSVM)是对训练样本施加模糊隶属度,使得不同的训练样本对决策面的学习产生不同的影响[3]。模糊支持向量机自诞生至今,衍生出了很多种的类型,使模糊支持向量机的性能不断提高。安金龙等人提出了一种基于密度法的模糊支持向量机[4],在设计隶属度时不仅考虑了样本与类中心之间的关系,也考虑了样本之间的关系,一方面大大减弱了孤立点和噪音点对最优分类面的影响,另一方面,不影响支持向量对最优分类面的决定作用。杜喆等人使用类内超平面代替类中心,提出了基于样本到超平面距离的新隶属度函数[5],该函数降低了隶属度函数对样本集几何形状的依赖。B.Lakshmanan等人针对正负类样本不平衡的情况在设计模糊隶属度时将正负类的样本数目考虑到隶属度中[6],既解决了噪声点和野值点问题,又解决了两类样本的数目不平衡产生的不利影响。在现在实际工程应用中,模糊支持向量机得到了广泛应用,如变压器故障诊断[7]、产品设计时间预测[8]、剪接位点识别[9]、信用风险估计[10]等。

本文采用改进的粒子群算法与模糊支持向量机相结合,对支持向量机中的惩罚参数C和核函数的宽度σ进行参数寻优,并首次应用到路面识别中,在进行模糊支持向量机的设计时,采用基于样本到类中心的距离设计模糊隶属度,充分获取样本自身信息,在本文样本数据少,样本之间无严格界限的不利条件下,使样本分类正确率有所提高,扩展了模糊支持向量机的应用。

1 模糊支持向量机

1.1 模糊支持向量机

支持向量机是由Vapnik提出的,它是建立在统计学习理论上,根据结构风险最小化原则(Structural risk minimization,SRM)设计,针对有限样本情况下的一种学习算法,在很大程度上解决了模型复杂性与推广性问题,维数灾难问题以及局部最优等问题[11]。支持向量机分类时只与支持向量个数有关,而与特征的维数无关,这是支持向量机优于一般神经网络的地方[12]。支持向量机被广泛应用于许多分类和回归领域[13]。但是在支持向量机方法中,最优分类面主要由支持向量决定,支持向量位于类边缘,而野值或含噪声的样本常常也位于类边缘附近,如果在确定样本隶属度时,将有效样本与野值或含噪声样本同等看待,则求出的分类面不是真正地最优分类面[14]。

台湾学者Chun-Fu Liu和Sheng-De Wang在2002年提出的模糊支持向量机[3]。它是将模糊技术应用于SVM中,对不同的样本采用不同的惩罚权系数,对含有噪声和野值的样本赋予较小的权值,从而减弱了噪声和野值对分类正确率的不利影响。

设训 练 样 本 集 (x1,y1,μ1), (x2,y2,μ2),…,(xn,yn,μn),即 训 练 样 本xi被 赋 予 标 签yi∈{- 1 ,1} 以及相应的隶属度μi,ε≤μi≤1,其中ε足够小并且ε>0。模糊隶属度函数μi是训练样本xi在分类中属于某一类的程度,参数ξi是测量错分程度的度量,μiξi表示衡量对于重要性不同的变量错分程度的度量[15]。求解最优分类面的优化问题为

式中:w是将求分类面系数,b是分类间隔,C是惩罚参数,用于对错分样本进行惩罚,C值越大表示对误差的惩罚越大,它实质是实现错分样本的比例与算法复杂度之间的折衷。

利用Lagrange优化方法把上述最优分类面问题进行转化然后解之可得

如果αi>0,相应的样本xi是支持向量。其中满足0<αi<μiC的支持向量位于分类面附近,满足αi=μiC的支持向量是错误分类的样本。

求解该优化问题,判别函数为

式中k(xi·x) 是核函数。根据Mercer条件,在高维特征空间计算中,采用合适的核函数k(xi,yi)=φ(xi)·φ(xj),就可以使得线性不可分转化为线性可分的情况,大大减小了计算复杂度。常用的核函数有:

(1)多项式核函数

(2)径向基核函数

(3)Sigmoid核函数

经比较,径向基核函数性能较好,本文选择径向基核函数。其径向基宽度参数σ和惩罚参数C的取值对结果支持向量机的训练和测试有较大的影响,需要进行优化选择。

1.2 模糊隶属度函数

在模糊支持向量机中,选择合适的隶属度函数是非常重要的,目前隶属度函数的构造方法还没有一个可遵循的一般性准则。基于样本到类中心的距离的隶属度函数[3]是最常用的一种隶属度函数,它是将样本的隶属度看作是样本到所在类中心之间距离的线性函数。文献[14]中采用的S型隶属度函数是针对样本到所在类中心的之间不是简单的线性关系的。文献[16]中采用了高斯型隶属度函数,根据高斯函数对训练样本设计隶属度。本文分别采用这3种隶属度函数进行模糊隶属度的设计,通过对比数据处理结果表明基于样本到类中心的距离的隶属度函数在路面不平度识别中表现出了较好的性能。

基于距离的模糊隶属度函数的确定步骤如下:

(1)计算两类样本的类中心

(2)计算两类样本的类半径

(3)计算各样本的隶属度

在上述步骤中,x1i表示正类的训练样本,x2i表示负类的训练样本,n1表示正类样本个数,n2表示负类样本个数,是正类的类中心是负类的类中心,r1是正类的类半径,r2是负类的类半径,μ1i是正类样本的隶属度,μ2i是负类样本的隶属度,ε是一个很小的正数,避免出现隶属度为零的情况。

基于距离的模糊隶属度函数是根据样本到所在类中心的距离赋予样本隶属度的,样本距类中心的距离越小表明样本越重要,对样本的分类作用越大,因此样本的隶属度相对较大,反之,样本距类中心的距离越大则样本的隶属度越小。对于距离类中心较远的噪声点和野值点,隶属度很小,因此有效地解决了支持向量机不能解决的噪声点和野值点问题。在变压器故障诊断[17]、地层岩性识别[18]等应用中都取得了较好的效果。

2 改进的粒子群算法

粒子群优化算法[19](Particle swarm optimization,PSO)是J.Kennedy和 R.C.Eberhart在1995年提出的一种基于群体智能原理的优化算法,源于对鸟群觅食过程中的迁徙和聚集的模拟。粒子群算法具有鲁棒性强,收敛速度快的优点[20],在支持向量机的参数寻优方面有很大优势,但是,标准的粒子群算法容易陷入局部最优,搜索精度不高。改进的粒子群算法通过对惯性权重ω作动态的调整来控制全局和局部寻优能力,通过对加速常数c1和c2作动态的调整来提高寻优的精度,从而弥补了标准粒子群算法的缺陷。

假设在一个D维的目标搜索空间中,有m个粒子组成一个群体,第i个粒子的位置为xi=(xi1,xi2,…,xiD),i=1,2,…,m,其速度为vi=(vi1,vi2,…,viD)。PSO 初始化为一群随机粒子,然后通过迭代找到最优解。在每次迭代中,粒子通过跟踪两个极值来更新自己,第一个是粒子本身到当前时刻为止找到的最优解,第i个粒子迄今为止搜索到的最优位置为pi=(pi1,pi2,…,piD)。另一个极值就是整个种群到当前时刻找到的最优解,整个粒子群搜索到的最优位置为pg=(pg1,pg2,…,pgD)。为了更好的控制算法份的探测和开发能力,Shi和Eberhart于1998年首次提出了在PSO算法的速度项引入了惯性权重ω。粒子更新公式为

当vid>Vmax时,取vid=Vmax;当vid<-Vmax时,取vid=-Vmax。式中,i=1,2,…,m,d=1,2,…,D,加速常数c1和c2为非负常数;r1和r2服从[0,1]上的均匀分布随机数。惯性权重ω线性递减公式为

式中:ωmax,ωmin分别是ω的最大最小值;t,Tmax分别是当前迭代步数和最大迭代步数。带惯性权重的PSO为标准粒子群优化算法(Inertia weight particle swarm optimization,WPSO)。改进的粒子群优化算法是实现c1和c2随进化代数线性的改变,即

式中R1,R2,R3,R4是初始设定的定值。该方法称为动态加速常数协同惯性权重的粒子群算法,简称改进的粒子群算法(Inertia weight with dynamic acceleration constant particle swarm optimization,WCPSO)[21]。

本文采用改进粒子群算法对支持向量机的参数进行优化的程序流程图如图1所示。

图1 改进粒子群算法的程序流程图Fig.1 The program flow chart of WCPSO algorithm

3 试验与数据处理

3.1 特征参数提取以及参数设置

使用车轮传感器对汽车在不同路面上行驶时的垂直载荷进行采集,再将采集到的数据进行小波变换处理得到实验数据[22]。采用静态小波变换去除随机信号带来的噪声,并用谱减法去除发动机振动产生的周期性信号。最后采用bior1.5小波,做3层小波分解,以3层细节系数和第3层近似系数求幅值均值和方差,归一化后作为识别路面不平度的特征参数[23]。实验数据共有17个样本,包含5种不同的路面类型,分别是搓板路、石块路、碎石路、鱼鳞路和水泥路。

模糊支持向量机的核函数选择径向基函数,径向基函数的宽度σ和支持向量机的惩罚参数C采用改进的粒子群算法进行寻优。改进的粒子群优化中,选取粒子数m=20,粒子搜索维数D=2,权重因子最大值ωmax=1.2,最小值ωmin=0.4,最大迭代次数t=50,取R1=1,R2=0.5,R3=6,R4=2。训练测试过程进行5次,每一次选取9个样本作为训练样本,剩下的8个样本作为测试样本。在5次样本轮换中,训练样本和测试样本的选取要尽量使每次选取尽量不同,以消除人为选取样本的偶然性。最后取5次结果的平均值作为实验结果。

3.2 实验结果及分析

本文采用支持向量机和模糊支持向量机两种方法对样本进行训练,模糊隶属度函数分别采用S型隶属度函数、高斯型隶属度函数和基于样本到类中心的距离的隶属度函数。

图2显示的是粒子群算法中5次实验的平均识别率作为函数适应值随着进化代数的变化曲线图。由图中可以看出,由于粒子群算法在设定速度和位置的初始值时是随机初始化的,设定的参数值不是最优值,平均识别率只达到了0.65。但是随着进化代数的增加,改进的粒子群算法不断调整步长,选取粒子的最佳落脚点,不断记录最优值,最后在第29次进化时,平均识别率达到了最大值0.775,并稳定下来。

图2 FSVM平均识别率随进化代数的变化曲线图Fig.2 Average recognition rate curre with the evolution algebra by FSVM

表1的第一行数据是采用一般支持向量机进行数据处理的结果,第二行到第四行数据是分别采用S型隶属度,高斯型隶属度和基于样本到类中心距离的隶属度的模糊支持向量机进行数据处理的结果。

根据表1显示的实验结果对比可以看出,模糊支持向量机比支持向量机有一定的优越性,具有更好的识别能力。在支持向量机方法中所有样本都同等看待,因此求出的分类面不是真正的最优分类面。模糊支持向量机在标准支持向量机的基础上对样本赋予模糊隶属度,赋予对正确分类贡献较大的样本以较大的隶属度,增强了这些样本对分类的作用,而赋予对分类不利的噪声和野值样本以较小的隶属度,减弱这些样本的不利影响。然而基于样本到类中心的模糊隶属度函数相比于S型隶属度函数和高斯型隶属度函数对分类产生的影响较大,因为基于样本到类中心的隶属度在确定分类面时考虑了样本中心的影响,而样本中心是全部样本确定的结果,消除了单个样本的偶然性影响,增加了分类面的稳定性和准确性。

表1 四种分类器数据处理结果比较Table 1 Data processing results comparision between four kinds of classifiers %

4 结束语

路面识别是支持向量机在多分类问题的一种应用。本文对模糊支持向量机在路面类型识别中的应用进行了探索,使用改进的粒子群算法对模糊支持向量机的参数寻优,最高平均识别率为77.5%。模糊支持向量机方法中,采用样本到类中心的距离作为模糊隶属度,每个样本被赋予不同的隶属度,强化了对分类有利的样本的作用。支持向量机和模糊支持向量机对数据处理的比较表明模糊支持向量机方法具有较高的分类精度。

[1]段虎明,石峰,谢飞,等.路面不平度研究综述[J].振动与冲击,2009,28(9):95-101.

Duan Huming,Shi Fei,Xie Fei,et al.A survey of road roughness study[J].Journal of Vibration and Shock,2009,28(9):95-101.

[2]李忠国,张为公,刘庆华,等.基于车轮垂直动载的路面不平度识别研究[J].仪器仪表报,2006,27(6):2132-2133.

Li Zhongguo,Zhang Weigong,Liu Qinghua,et al.Study on road roughness recognition based on analysis of wheel vertical dynamic load[J].Chinese Journal of Scientific Instrument,2006,27(6):2132-2133.

[3]Lin Chunfu,Wang Shengde.Fuzzy support vector machines[J].IEEE Transactions on Neural Networks,2002,13(2):464-471.

[4]安金龙,王正欧,马振平.基于密度法的模糊支持向量机[J].天津大学学报,2004,37(6):544-548.

An Jinlong,Wang Zhengou,Ma Zhenping.Fuzzy support vector machine based on density[J].Journal of Tianjin University,2004,37(6):544-548.

[5]杜喆,刘三阳,齐小刚.一种新隶属度函数的模糊支持向量机[J].系统仿真学报,2009,21(7):1901-1903.

Du Zhe,Liu Sanyang,Qi Xiaogang.Fuzzy support vector machine with new membership function[J].Journal of System Simulation,2009,21(7):1901-1903.

[6]Lakshmanan B,Jeril Priscilla A,Ponni S,et al.E-valuation of imbalanced datasets using fuzzy support vector machine-class imbalance learning(FSVMCLL)[C]∥IEEE International Conference on Recent Trends in Information Technology.Chennai:Anna University,2011:1131-1136.

[7]肖燕彩,张清.基于模糊支持向量机的变压器故障诊断[J].北京交通大学学报,2012,36(1):117-121.

Xiao Yancai,Zhang Qing.Research of transformer fault diagnosis based on fuzzy support vector machines[J].Journal of Beijing Jiaotong University,2012,36(1):117-121.

[8]商志根,严洪森.基于模糊支持向量机的产品设计时间预测[J].控制与决策,2012,27(4):531-541.

Shang Zhigen,Yan Hongsen.Forecasting product design time based on fuzzy support vector machine[J].Control and Decision,2012,27(4):531-541.[9]孙波,李小霞,李铖果.基于模糊支持向量机的剪接位点识别[J].计算机应用,2011,31(4):1117-1120.

Sun Bo,Li Xiaoxia,Li Chengguo.Recognition of splice sites based on fuzzy support vector machine[J].Journal of Computer Applications,2011,31(4):1117-1120.

[10]Wang Yongqiao,Wang Shouyang,Lai K K.A new fuzzy support vector machine to evaluate credit risk[J].IEEE Transactions on Fuzzy Systems,2005,13(6):820-831.

[11]张学工.关于统计学习理论与支持向量机[J].自动化学报,2000,26(1):32-42.

Zhang Xuegong.Introduction to statistical learning theory and support vector machine[J].Acta Automatica Sinica,2000,26(1):32-42.

[12]崔建国,李一波,李忠海,等.基于小波包与支持向量机的复杂信号模式识别[J].数据采集与处理,2008,23(2):163-167.

Cui Jianguo,Li Yibo,Li Zhonghai,et al.Complicated signal pattern recognition based on wavelet packet and support vector machine[J].Journal of Data Acquisition and Processing,2008,23(2):163-167.

[13]Kamruzzaman J,Begg R K.Support vector machines and other pattern recognition approaches to the diagnosis of cerebral palsy gait[J].IEEE Transactions on Biomedical Engineering,2006,53(12):2479-2490.

[14]张翔,肖小玲,徐光祐.模糊支持向量机中隶属度的确定与分析[J].中国图象图形学报,2006,11(8):1188-1192.

Zhang Xiang,Xiao Xiaoling,Xu Guangyou.Determination and analysis of fuzzy membership for SVM[J].Journal of Image and Graphics,2006,11(8):1188-1192.

[15]张秋余,竭洋,李凯.模糊支持向量机中隶属度确定的新方法[J].兰州理工大学学报,2009,35(4):89-93.

Zhang Qiuyu,Jie Yang,Li Kai.Method of membership determination for fuzzy support vector machine[J].Journal of Lanzhou University of Technology,2009,35(4):89-93.

[16]许磊,李朝峰,杨蒙召.SVM结合模糊方法在遥感图像分类中的应用[J].计算机工程与应用,2005,36:79-82.

Xu Lei,Li Chaofeng,Yang Mengzhao.Application of support vector machines and fuzzy method for remote sensing image classification[J].Computer Engineering and Applications,2005,36:79-82.

[17]刘同杰,刘志刚,韩志伟.自适应模糊支持向量机近邻增量算法在变压器故障诊断中的应用[J].电力系统保护与控制,2010,38(17):47-52.

Liu Tongjie,Liu Zhigang,Han Zhiwei,Application of adaptive fuzzy support vector machine with adjacent incremental algorithm of transformer fault diagnosis[J].Power System Protection and Control,2010,38(17):47-52.

[18]张翔,肖小玲,严良俊,等.基于模糊支持向量机方法的岩性识别[J].石油天然气学报(江汉石油学院学报),2009,31(6):115-118.

Zhang Xiang,Xiao Xiaoling,Yan Liangjun,et al.Lithologic identification based on fuzzy support vector machines[J].Journal of Oil and Gas Technology,2009,31(6):115-118.

[19]Kennedy J,Eberhart R C.Particle swarm optimization[C]∥IEEE International Conference on Neural Networks.Perth,Australia:[s.n.],1995:1942-1948.

[20]余华,黄程韦,金赟,等.基于粒子群优化神经网络的语音情感识别[J].数据采集与处理,2011,26(1):57-62.

Yu Hua,Huang Chengwei,Jin Yun,et al.Speech emotion recognition based on particle wwarm[J].Journal of Data Acquisition and Processing,2011,26(1):57-62.

[21]Li Zhongguo,Hou Jie,Wang Qi,et al.Road type recognition based on SOM and SVM[C]∥2011International Conference on Consumer Electronics,Communications and Networks.Xianning,China:[s.n.],2011:2570-2573.

[22]李忠国.基于垂直动载的路面不平度识别研究[D].南京:东南大学,2007:16-17.

Li Zhongguo.Research on road roughness recognition based on wheel vertical dynamic load[D].Nanjing:Southeast University,2007:16-17.

[23]李忠国,张为公,刘庆华,等.静态小波变换在汽车道路模拟试验中的应用[J].数据采集与处理,2007,22(2):238-241.

Li Zhongguo,Zhang Weigong,Liu Qinghua,et al.Application of stationary wavelet transform in Vehicle Road Simulation Test[J].Journal of Data Acquisition and Processing,2007,22(2):238-241.

猜你喜欢

平度向量粒子
向量的分解
平度马兰油桃美名扬
聚焦“向量与三角”创新题
基于粒子群优化的桥式起重机模糊PID控制
发现平度之美
基于粒子群优化极点配置的空燃比输出反馈控制
平度:开启养生美食之门
向量垂直在解析几何中的应用
向量五种“变身” 玩转圆锥曲线
基于Matlab的α粒子的散射实验模拟