王宏涛++孙剑伟

摘要：介绍了BP神经网络和SVM算法的分类原理。附加动量因子和随机梯度下降法是对BP神经网络进行优化的重要方法，利用Google实验室的MNIST手写数字库研究了动量因子和随机数以及SVM不同核函数对分类性能影响，为实际应用中模型的选择提供一定依据。同时也研究了两个算法在不同样本数下的性能表现，实验表明样本数较少时SVM比BP具有更高的泛化能力。最后结合两个算法特点，给出层次分类法并做为今后研究方向。

关键词：MNIST数字库；BP神经网络；支持向量机；分类性能

中图分类号：TP391.41

文献标识码：A

DOI：10.3969/j.issn.1003-6970.2015.11.024

0 引言

很多实际应用问题都可归为分类问题，如故障诊断、模式识别等，分类过程包括分类器构造和运用模型进行分类两个步骤。神经网络和支持向量机（SVM）是分类领域中两种重要方法。神经网络是模拟人脑神经系统的数学模型，具有高度并行性、较强的自学习自适应和联想记忆功能特点。Vapnik在20世纪90年代基于统计学习理论提出支持向量机，它是借助最优化方法解决问题的，求解支持向量转化为解凸二次优化问题，它能够获得全局最优解，是结构风险最小化的算法。经过多年发展神经网络和支持向量机在很多领域取得成功，但是神经网络和支持向量机参数选择没有理论上支撑，参数选择优化是算法应用成功的关键，挖掘模型参数对算法性能影响具有重要意义。本文在Google的手写数字库上研究了BP（Back Propagation）神经网络和支持向量机的附加动量因子、随机数和不同核函数等变量对准确率、计算时间以及收敛曲线的影响，比较两个算法在不同训练样本数时性能表现。……