曹 杰，顾斌杰，熊伟丽，潘 丰

江南大学 轻工过程先进控制教育部重点实验室，江苏 无锡214122

支持向量机（support vector machine,SVM）自20世纪90 年代由Vapnik[1]提出以来，受到广泛的关注。SVM的主要思想是通过最大化间隔实现结构风险最小化，使得模型具有良好的学习性能和泛化性能[2-3]。目前，SVM 已经成功运用到特征选择[4]、文本分类[5]、时间序列预测[6]、目标跟踪[7]和行人检测[8]等领域。之后，Collobert 等人[9]把支持向量机的思想用于解决回归问题，提出了支持向量回归机（support vector regression，SVR）。

近年来，SVM 又衍生出了新的算法。2007 年，Jayadeva等人[10]提出了孪生支持向量机（twin support vector machine，TSVM）。TSVM 通过求解两个小规模的二次规划问题，构建两个非平行超平面，训练时间缩短到原SVM的1/4左右，并且同样具有很好的泛化性能。2010 年，Peng[11]基于TSVM 的思想，提出了孪生支持向量回归机（twin support vector regression，TSVR），通过寻找两个非平行的超平面，构建回归模型。实验结果表明，TSVR在训练速度以及泛化性能方面均优于传统SVR。因此，TSVR迅速成为了支持向量机领域的研究热点。同年，Singh 等人[12]提出了约简孪生支持向量回归机，通过随机选择部分支持向量构成行列不等的核矩阵，获得稀疏解，加快了训练和预测的速度，但预测精度有所降低。2013 年，Shao 等人[13]提出了ε-孪生支持向量回归机，不仅改进了损失函数，还通过添加正则化项实现了结构风险的最小化。2014年，卢振兴等人[14]提出了最小二乘孪生支持向量回归机，用等式约束代替不等约束，极大地加快了训练的速度。2016 年，Rastogi 等人[15]提出了v型孪生支持向量回归机，通过在目标函数中引入vε项，把不敏感参数ε作为变量，实现了自动控制ε的目的。……