改进孪生支持向量机的一种快速分类算法
2012-06-02高斌斌李秋林
高斌斌,刘 霞,李秋林
(1.西南大学数学与统计学院,重庆 400715;
2.新疆大学数学与系统科学学院,乌鲁木齐 830046)
支持向量机 (support vector machine,SVM)[1-10]是Vapnik等提出的一种基于统计学习理论的机器学习方法,能非常成功地处理分类和回归问题。由于它采用结构风险最小化的原则[11]而具有良好的学习能力和泛化性能,因此得到广泛应用(如图像识别、文本分类、生物信息、金融应用)。尽管许多快速 SVM算法(如 Chunking、分块、SMO和Liblinear等[12]算法)已被相继提出,但在实际应用中面对大规模数据,分类算法需要进行大量的二次规划计算,分类计算量大、分类速度慢,速度问题在很大程度上限制了SVM的应用。
2007年,Jayadeva等[13]提出了孪生支持向量机(TSVM)。该算法优化目标要求超平面离本类样本尽可能的近,离它类样本尽可能的远。TSVM计算时间开销缩减到SVM的1/4。然而,奇异性问题导致TSVM不能保证得到较好的分类性能。基于TSVM思想,近年来发展了许多有关非平行的超平面学习方法,如光滑 TSVM[14]、最小二乘TSVM[15]、TBSVM[16]。最近,彭[17]提出了 TPMSVM,该模型通过正、负参数间隔超平面间接确定分类最优超平面。
为了更好地提高TSVM算法的学习速度和泛化能力,提出改进的TSVM(ITSVM)模型,并将收缩技术[18]嵌入坐标下降方法[19]求解改进模型,十分有效地改善了TSVM的学习速度和分类能力。仿真实验表明:相对于传统的SVM、TSVM及TPMSVM方法,ITSVM不仅提高了分类的准确率,而且大大改善了计算效率。
1 改进的孪生支持向量机
给定 2类 n维的 m个训练样本,T={(xi,yi)},xi∈Rn,对于二分类问题,yi={+1,-1}(i=1,…,m)作为类别的标签。分别用m1×n的矩阵X+和m2×n的矩阵X-表示为+1类和-1类,m1、m2分别表示2类样本的数目。……
