张国令,王晓丹,李 睿,来 杰,向 前

(空军工程大学 防空反导学院,西安 710051)

0 概述

极限学习机(Extreme Learning Machine,ELM)[1]是一种简单高效的单隐层前馈神经网络(Single Hidden Layer Feedforward Neural Network,SLFN)算法。ELM网络的输入权重和隐层偏置均为随机生成,输出权值则通过求解最小化平方损失函数得到,能够有效解决传统SLFN算法收敛速度慢、容易产生局部最优解的问题。ELM因实现简单、训练速度快和泛化性能好等特点,现已被广泛应用于语音识别[2]、故障诊断[3-4]、生物医学[5-6]、计算机视觉[7-8]等多个领域。

大量研究表明,ELM随机确定输入权值和隐层偏置,能够提高整个网络的学习速度,但是隐层参数的随机赋值使得ELM比传统基于调优的学习算法需要更多的隐层节点。然而,过多的隐层节点容易减弱隐含层的稀疏性,产生冗余节点,增加网络结构的复杂度,降低算法分类准确率[9-10]。对此,研究者采用群体智能优化方法对网络结构进行优化,以提高整体性能。文献[9]通过引入差分进化算法提出E-ELM算法,利用交叉算子和差分变异并通过动态调整整个种群得到最优的输入权值和隐层偏置,从而使网络结构更为紧凑。文献[10]引入粒子群优化(Particle Swarm Optimization,PSO)算法对ELM隐层节点参数进行调整,提出PSO-ELM算法,通过编码将输入权值和随机偏置设为待优化的粒子,根据PSO原理得到全局最优值,以提升ELM的整体性能。采用群体智能优化隐层节点参数改进的网络结构,可提高ELM算法的泛化能力和稳定性,但同时也增加了计算复杂度,在处理大规模高维数据集时性能较差。……