贾 凝

（陕西邮电职业技术学院，西安 712000）

0 引言

传统的神经网络的学习算法和最小二乘法都是基于经验风险最小化准则提出来的，即最小化经验风险(训练误差)从而试图使期望风险最小化。而支持向量机(Support Vector Machine-SVM)是由AT&T贝尔实验室的研究小组于1995年在统计学习理论的基础上提出来的一类新型的机器学习方法。它是结构风险最小化准则基本思想的具体实现，为了最小化期望风险，做到同时最小化经验风险和置信范围，即以训练误差作为优化问题的约束条件，而以置信范围值最小化作为优化问题的目标来实现。所以支持向量机的泛化能力要明显优于神经网络等传统的学习方法[1]。

支持向量机的主要思想可以概括为两点：（1）它开始是针对线性可分情况进行分析的，后来对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本映射到高维属性空间使其线性可分，使得在高维属性空间采用线性算法对样本的非线性特性进行分析成为可能；（2）它通过使用结构风险最小化准则在属性空间构造最优分割超平面，使得机器学习得到全局最优化，解决了过学习问题，对样本具有较好的泛化能力。另外，由于支持向量机的训练问题本质上是一个经典的二次规划问题，避免了局部最优解，有效地克服了维数灾难，而且可以利用最优化理论中许多成熟的算法。正是基于支持向量机的上述优势，无论在理论基础上还是在应用前景上，SVM都具有其它机器学习方法难以比拟的优越性，它已经在模式识别和回归估计方面取得越来越多的进展。……