林香亮，袁瑞，孙玉秋，王超，陈长胜

(长江大学信息与数学学院，湖北 荆州 434023)

20世纪90年代，俄罗斯数学家Vapnik等[1]提出了支持向量机(Support Vector Machines，SVM)[2，3]的概念：支持向量机以统计学习理论(Statistical Learning Theory，SLT)[4，5]为基础，基于结构风险最小化(Structural Risk Minimization，SRM)[6]原理建立数据模型，为解决有限数据样本情况下的统计模式识别奠定了坚实的基础。与传统机器学习方法相比，该方法具有结构简单、适应性好、全局最优、训练速度快和泛化能力强等诸多优势。下面,笔者简要回顾了传统支持向量机的发展历史与基本理论，介绍了支持向量机的改进算法，系统总结了支持向量机在分类与回归问题中的具体应用实例及其优势。

1 支持向量机的基本理论

1.1 传统支持向量机

图1 支持向量机原理

支持向量机的基本思想如图1所示，实心点和空心点分别代表2类数据样本；H代表分类超平面；H1和H2分别代表数据样本中离H最近且平行于H的面，H1和H2之间的距离称为分类间隔(Margin)。H面不但能将H1和H2这2类样本正确分开,而且使H1和H2之间的分类距离最大，在确保结构风险最小化的情况下，真正的降低了风险。H1和H2上的数据样本点就叫做支持向量(Support Vector)。

假设给定样本数据为(xi，yi)，i=1,2,…，l，其中xi∈Rn，yi∈{-1,+1}。n维空间中的线性判别式为:

f(x)=(m*xi)+n

分类超平面方程为：

(m*xi)+n=0

其中,m为权重向量；n为偏置向量。

该约束条件可引入 Lagrange(拉格朗日)函数:

则可得出对偶问题:

进而，可得到最优分类函数：

以上解决的问题是线性可分的。但在实际应用中，遇到的大多数问题是非线性可分问题，因此支持向量机的主要思想就是通过非线性变换将样本数据映射到高维的特征向量空间(Hilbert空间)中，在高维特征向量空间中求得最优分类超平面，再用变换后的内积运算重复上述过程。……