林少飞，盛惠兴，李庆武

（河海大学物联网工程学院，常州213022）

基于堆叠稀疏自动编码器的手写数字分类

林少飞，盛惠兴，李庆武

（河海大学物联网工程学院，常州213022）

将稀疏自动编码器（Sparse Autoencoder，SAE）模型应用于数字识别中，并通过多个稀疏自动编码器的堆叠构建了深度网络，采用非监督贪婪逐层训练算法（Greedy Layer－Wise Unsupervised Learning Algorithm）初始化网络权重，使用反向传播算法优化网络参数。利用堆叠稀疏自动编码器学习数字图像的特征，使用softmax分类器进行数字分类。经实验证明，与其它浅层学习模型对比，深度网络不仅进一步学习了数据的高层特征，同时还降低了特征维数，提高了分类器的分类精度，最终改善了手写数字的分类效果。

堆叠稀疏编码器；非监督贪婪逐层训练；反向传播算法；softmax分类器

1 引 言

手写数字识别（Handwritten Numeral Recognition，简称HNR）是模式识别学科的一个传统研究领域，主要研究如何利用计算机自动辨识手写的阿拉伯数字。经过几十年的发展，现有HNR技术取得了诸多进展，国内外都研发了相对成熟的产品。但当前多数分类、回归等学习方法都局限于浅层结构学习，如K最近邻节点算法（k－Nearest Neighbor algorithm，简称KNN）［1－2］、支持向量机（Support Vector Machine，简称SVM）［3－4］以及神经网络［5］。其局限性在于样本有限、计算单元对复杂函数的表示能力不足以针对复杂分类问题及其泛化能力受制约等。为克服这些问题，近年来兴起了深度学习的研究热潮。所谓深度学习，即是通过学习一种深层非线性网络结构，实现对复杂函数逼近，表征输入数据分布式表示，并展现其强大的从少数样本集中学习数据集本质特征的能力。……