顾斌杰, 潘　丰

(江南大学轻工过程先进控制教育部重点实验室, 江苏 无锡 214122)



改进的v-支持向量回归机的v解路径算法

顾斌杰, 潘丰

(江南大学轻工过程先进控制教育部重点实验室, 江苏 无锡 214122)

摘要：v-支持向量回归机(v-support vector regression, v-SVR)的对偶形式与ε-支持向量回归机的对偶形式相比增加了一个额外的不等式约束,截止目前还没有找到有效且可行的v-SVR 的v解路径算法。针对Loosli等人提出的v-SVR的v解路径算法存在路径不可更新的问题,提出了改进的v-SVR的v解路径算法。该算法基于v-SVR的修改形式及Karush-Kuhn-Tucker(KKT)条件,通过引入新的变量和附加项的策略,能够有效地避免在绝缘增量调整过程中存在的冲突和异常,并最终经过有限次数迭代拟合出整个v解路径。理论分析和仿真结果表明,该算法是有效且可行的。

关键词：机器学习; 模型选择; v-支持向量回归机; v解路径

0引言

由文献[1]提出的支持向量机(support vector machine, SVM)是一种基于统计学习理论的机器学习算法,它能够有效地处理小样本学习问题,具备良好的泛化能力。目前，SVM已经成为机器学习领域最为流行的方法之一。然而,仍有一些未解决的问题需要进行深入的研究,其中之一就是如何调整SVM的参数使其具备最佳的泛化性能,也就是模型选择问题[2-4]。

常规的模型选择方法首先选定一些候选参数值,然后采用交叉验证(cross validation, CV)的方法从上述候选参数值中选择最佳的参数[2]。当搜索空间较大时,常规的模型选择方法将会在不同的参数下训练SVM很多次,这就极大地限制了常规的模型选择方法在实际中的应用。……