杜世平 智岩

[摘要]支持向量机（SVM）是通过寻找最优分离超平面实现分类的目标。但是这个过程涉及负责的逻辑过程。本文通过详细解释SVM的相关逻辑关系，展示了SVM中解决优化问题的一般性数值关系推导。

[关键字]支持向量机;分离超平面;优化问题;最大化间隔

Vapnik[1]提出SVM算法[2，3，4]用于解决两类问题，第一类是线性可分的问题第二类是线性不可分问题。本文讨论svm能够解决的线性可分问题为例，介绍SVM。

注意到，使用margin最大的条件来求解支持向量引出的问题就是这样的直线并不唯一。理论分析表明，支持向量机寻找的最优的分类直线应该满足：（1）该直线分开了两类;（2）该直线最大化了间隔（margin）;（3）该直线处于间隔的中间，到所有支持向量的距离相等。即支持向量就是分离超平面最近的那些点（“最近的意思是，点和直线可以刚好相交”）。支持向量机就是寻找空间中的一条能够将类别不同的对象以最大间隔分割开来的直线，这条直线与两侧的支持向量直线的距离相等。

上述关于是基于二维特征空间的结果，而在高维空间中，直线将变成超平面。理论表明，上述结论却是一致的。现在，我们开始寻找最优的分类超平面的过程。为了说明这个问题，我们首先看“线性可分”的定义：

假定训练样本是线性可分的，SVM需要寻找的是最大化间隔的超平面，则这个优化问题可写成如下形式：

之所以有以上关系，是因为，我们可以假定w是一个m维的向量具体的，设，则，||w||2=w12+w22+ ... wm2。这就是说，SVM的优化问题就是最小化w模的平方，且有N个限制条件。……