卢振兴，杨志霞，高新豫

新疆大学 数学与系统科学学院，乌鲁木齐 830046

最小二乘双支持向量回归机

卢振兴，杨志霞，高新豫

新疆大学 数学与系统科学学院，乌鲁木齐 830046

1 引言

支持向量机（Support Vector Machine，SVM）[1-2]主要用于解决分类问题和回归问题[3-4]。它是基于结构风险最小化原则[2]的一种方法，在机器学习领域中备受关注，近些年得到了飞速的发展。然而，基于支持向量机的回归算法，并不像分类算法发展得那么完善。目前基于支持向量机的回归算法主要有支持向量回归机[5]（Support Vector Regression，SVR）、最小二乘支持向量回归机[6-7]（Least Square Support Vector Regression，LSSVR）和双支持向量回归机[8]（Twin Support Vector Regression，TWSVR）等。传统的支持向量回归机是通过求解一个二次规划问题来得到最终的回归函数，计算复杂度相对较高。最小二乘支持向量回归机只需求解一个线性方程组，其计算复杂度比传统的支持向量回归机降低了很多。2009年，文献[8]提出了双支持向量回归机。它是受双支持向量分类机[9]的启发，不像传统支持向量机用两个平行超平面构造回归函数，而是用两个非平行超平面构造回归函数，因此双支持向量回归机具有更好的推广能力。双支持向量机的另一个优点是通过求解两个较小规模的二次规划得到最终的回归函数，比传统支持向量回归机的计算复杂度低。

本文提出了最小二乘双支持向量回归机（Least Square Twin Support Vector Regression，LSTSVR），它整合了最小二乘思想和双支持向量回归机的思想，即在双支持向量回归机的基础之上加入了最小二乘的思想，同样是通过两个非平行平面构造最终的回归函数。……