Copula EDA与BP结合优化神经网络
2014-06-13王丽芳
太原科技大学学报 2014年1期
刘 洁,王丽芳
(太原科技大学复杂系统与计算智能实验室,太原 030024)
人工神经网络拥有特别的结构和较强的处理信息的能力,近年来,在科技、工业等领域得到了广泛应用。人工神经网络是由大量的神经元通过权值阈值连接而成,分为输入层、隐层和输出层,神经网络的权值训练其实质是一种复杂的连续多参数优化求解的问题,即寻找出一组最优的连接权值。BP网络是一种多层前馈神经网络,其中权值的学习规则是反向传播学习算法,但是由于BP算法是用了梯度下降学习,所以其存在极易陷入局部最小值,收敛速度慢等缺点[1]。有专家在BP算法基础上引入了新参数,虽然在收敛速率和误差估计方面有比较好的效果,但这种方法也有其局限性[2]。粒子群优化是群体智能进化技术,优化神经网络各层之间的连接权值,用实数求解的方法,而且需要调整的参数比较小,这样可以使神经网络有较高的精度。可是由于粒子向的自身、邻域、群体历史最佳位置聚集,容易形成种群的趋同效应,所以不可避免的出现陷入局部极值、早熟收敛或停滞现象[3]。文献[4]用了遗传算法优化神经网络的权值和阈值,遗传算法优化权值阈值的步骤分为:选择、交叉、变异三个操作来寻求最优解,虽然其全局搜索能力较强,有效的避免了BP算法容易陷入局部最小的问题,但是交叉、变异过程相对不容易操作,建筑块容易破坏。分布估计算法[5-6]也是基于群体的算法,可以很好的避免遗传算法建筑块被破坏的问题。……
登录APP查看全文
