刘 彬,杨有恒,刘 静,王卫涛,刘浩然,闻 岩

(1.燕山大学 电气工程学院,河北 秦皇岛 066004;2.燕山大学 信息科学与工程学院,河北 秦皇岛 066004)

1 引 言

极限学习机[1](extreme learning machine,ELM)作为机器学习中一项重要分支,被广泛应用于图像分类[2]、数据挖掘[3]、工业预测[4,5,16]等各个领域。随着神经网络算法的不断发展,使用ELM进行图像分类越来越受到重视,并且在理论和应用方面都做出了突出的贡献。Kasun等[6]基于ELM自动编码器(autoencoder,AE)的堆叠式模型构建多层神经网络,提出多层极限学习机(multi-layer extreme lea-rning machine,ML-ELM),具有良好的分类性能;Tang等[7]结合多层感知器的分层学习结构和l1范数自动编码器提出分层极限学习机(hierarchical extreme learning machine,H-ELM),实现了更好的特征提取。然而,上述算法在面对庞大且复杂的训练数据时[8]:由于数据量呈指数增加,但内存的增长跟不上数据的增长,从而导致算法由于内存的限制,很难测试更多的隐藏节点以获得最佳性能。目前,针对上述问题有2种解决方法:1)使用物理内存大的超级计算机,然而,超级计算机在硬件和功耗上都是非常昂贵的,并不总是为许多研究人员所用。2)融合其他特征降维方法,比如,文献[9]基于PCA和ELM-AE,通过减少每一层的隐藏节点数,提出堆叠式极限学习机(stacked extreme learning machine,S-ELM),具有更高效的非线性数据处理能力;文献[10]基于核方法提出基于经验核映射的多层极限学习机(empirical kernel map-based multilayer extre-me learning machine,ML-EKM-ELM),克服了传统算法存在的内存存储和计算问题;文献[11]采用LLTSA算法将训练样本和测试样本的高维向量压缩为具有更好区分性的低维向量,增强了数据的自适应性,为快速训练ELM分类器提供更低内存消耗。……