基于Fisher向量投影的支持向量机增量算法
2018-07-12吴青,赵祥
西安邮电大学学报 2018年1期
吴 青, 赵 祥
(西安邮电大学 自动化学院, 陕西 西安 710121)
支持向量机(support vector machines, SVM)是一种基于统计学习理论的机器学习方法[1-2],其借助最优化理论来解决机器学习问题,体现了统计学习理论中的结构风险最小化思想,目前已经得到了广泛的应用[3-5]。支持向量(support vectors, SV)是SVM训练样本中的一组特殊向量集合,这些向量通常离最优分类面较近,对最终的分类面的确定起着决定性的作用[6]。通常情况下,SV只占训练集的一部分,但是在标准SVM算法的学习过程中,大量时间花费在非SV的样本上,当处理大规模样本集时,算法的学习效率进一步降低,使得SVM算法在很多实际应用问题中受到制约[7]。因此,提高算法的效率是一个很重要的研究课题。
在支持向量机的基础上提出了增量学习SVM(incremental learning algorithm of SVM, ISVM)[8]算法。由于ISVM算法在处理大规模数据集以及流数据方面具有优势,已经得到了广泛的研究[9-10]。与标准SVM算法相比,其优势在于能够充分利用历史训练信息,无需对加入新增量后的训练集重新训练,但是其训练样本中包含了很多对最终结果无用的数据,对算法的训练效率造成了一定的影响。为了解决上述问题,一种基于向量投影的支持向量机增量学习算法[11]被提出,该算法利用预选取训练样本的方法对训练样本进行预处理,有效地提高了增量算法的训练速度,但其选取边界样本的方法过于简单,致使选取的边界样本的数目过多,影响了算法的性能[12]。
为了提高算法学习效率及其在处理大规模……
登录APP查看全文
