董 晴,宋 威

(江南大学 物联网工程学院，江苏 无锡 214122)

基于粒子群优化的深度神经网络分类算法*

董 晴,宋 威

(江南大学 物联网工程学院，江苏 无锡 214122)

针对神经网络分类算法中节点函数不可导，分类精度不够高等问题，提出了一种基于粒子群优化(PSO)算法的深度神经网络分类算法。使用深度学习中的自动编码机，结合PSO算法优化权值，利用自动编码机对输入样本数据进行编解码，为提高网络分类精度，以编码机本身的误差函数和Softmax分类器的代价函数加权求和共同作为PSO算法的评价函数，使编码后的数据更加适应分类器。实验结果证明:与其他传统的神经网络相比，在邮件分类问题上，此分类算法有更高的分类精度。

深度神经网络； 自动编码机； 粒子群优化算法； 分类

0 引 言

近年来，神经网络的研究一直受到学者们的关注，如感知机[1]，反向传播(back propogation,BP)神经网络[2]，径向基函数(radial basis function,RBF)神经网络及其各种改进算法[3～5]等。2006年，Hinton G E教授提出了“深度学习”[6]的概念，卷积神经网络、深度信念网络、自动编码机是深度学习中经常用到的基础模块[7]，并有学者对此进行了改进，如Vincent P等人提出了一种降噪自动编码机[8]，使网络的泛化能力更强。宣森炎等人联合卷积和递归神经网络进行交通标志识别[9]，减少了训练时间。阳武等人将深度信念网络应用于故障指示器检测[10]，识别正确率高于BP算法和支持向量机(support vector machine,SVM)算法，可以看出以上神经网络在分类或图像识别上有一定的效果，但还存在一些不足：当节点函数不可导或没有梯度信息存在时无法使用传统方法解决权值优化；……