尹　征,唐春晖,张轩雄

(上海理工大学 光电信息与计算机工程学院,上海　200093)

基于改进型稀疏自动编码器的图像识别

尹征,唐春晖,张轩雄

(上海理工大学 光电信息与计算机工程学院,上海200093)

摘要传统的稀疏自动编码器不具备平移不变性,同时对非高斯噪声较为敏感。为增加网络平移不变的特性,借鉴卷积神经网络的相关理论,通过对原始的像素块进行卷积运算以达到上述目的;而为了提高对非高斯噪声的鲁棒性,自动编码器的代价函数由均方误差改为了最大相关熵准则。通过在MNIST和CIFAR-10数据集上进行试验,结果证明,改进后的方法较传统的自动编码器具有更好地识别效果,识别率提高了2%～6%。

关键词深度学习;自动编码器;卷积神经网络;最大相关熵

Image Recognition Based on Improved Sparse Auto-encoder

YIN Zheng,TANG Chunhui,ZHANG Xuanxiong

(School of Optical-Electrical and Computer Engineering,University of Shanghai for

Science and Technology,Shanghai 200093,China)

AbstractThe traditional sparse auto-encoder lacks invariant translation and is sensitive to non-Gauss noise.A method convolving the original pixel block is proposed to increase the network invariance with the mean square error (MSE) replaced by the maximum correntropy criterion (MCC) in cost function to improve the anti-noise ability.The proposed method is evaluated using the MINIST and CIFAR-10 datasets.Experimental results show that the proposed approach improves the recognition rate by 2% in the condition of non-noise and by 6% in the noise condition.

Keywordsdeep learning;auto-encoder;convolutional neural network;maximum correntropy criterion

由于深度学习能够具有模拟人类大脑结构的功能,通过组合底层特征形成更加抽象有效的特征表达来完成对图像的整体描述[1]。深度学习可看成是神经网络发展的产物,传统的多层神经网络在采用深度架构时,因采用BP训练算法,系统容易陷入局部最优。而深度学习有效地克服了这种弊端,已成功应用于图像识别、语音识别、人脸识别等领域。

自动编码器(Auto-Encoder)是典型的深度学习框架之一,由Bourlard在文献[2]中被提出,但主要的应用和发展是在2006年Hinton在文献[3]中提出了一种解决深度信念网(Deep Belief Network,DBN)不易训练问题的方法--贪婪逐层训练算法,该种算法通过无监督学习对网络进行逐层训练,与传统的BP算法训练多……