改进人工蜂群优化BP神经网络的分类研究
2018-05-21韦鹏宇潘福成
韦鹏宇,潘福成,李 帅
1.无锡中科泛在信息技术研发中心有限公司,江苏 无锡 214135
2.中国科学院大学,北京 100049
3.中国科学院 沈阳自动化研究所,沈阳 110016
4.中国科学院 物联网研究发展中心,江苏 无锡 214135
1 引言
BP(Back Propagation)神经网络[1]是按照误差反向传播进行训练的多层前馈(Multilayer feed-forward)神经网络,是应用最广泛的人工神经网络模型。但是BP神经网络尚有如下不足:(1)BP算法是随机梯度下降算法[2],全局搜索能力差,容易陷入局部最优;(2)BP神经网络的初始权值和阈值是随机而来[3],进而造成结果波动范围比较大,鲁棒性低。
为了克服这些缺点,诸多学者引入群智能算法对BP神经网络进行了改进,有代表性的是蚁群算法[4](Ant Colony Optimization,AOC)、粒子群算法[5](Particle Swarm Optimization,PSO)和遗传算法[6](Genetic Algorithm,GA)。但是它们存在许多缺点,其中ACO算法寻优比较盲目,收敛速度慢;由于信息素更新能力有限,算法容易陷入局部最优解;当问题规模增大时,算法效率明显下降;PSO算法在迭代后期难以保持种群多样性,容易陷入局部最优解,且搜索精度不高;GA算法易早熟收敛,在迭代后期收敛速度慢。
人工蜂群[7](Artificial Bee Colony,ABC)算法是由Karaboga在2005年比较系统地提出的,它是一种基于蜜蜂采蜜行为的优化算法,其主要优点是全局寻优能力强;能利用蜜蜂之间寻优的正反馈机制均有效加快全局寻优过程,尤其适用于求解组合优化和连续优化以及复杂的优化问题[8]。然而,标准ABC算法存在局部探索能力较差,开发能力弱等问题。
针对神经网络和人工蜂群的缺点,本文提出一种基于改进人工蜂群和误差反向传播的神经网络训练方法——IABC-BP(Improved Artificial Bee Colony and Back Propagation)。……
