具有ReLU函数的动力神经场方程稳定解的存在性
2021-04-13秦子雁陈芃合金德泉
广西大学学报(自然科学版) 2021年1期
关键词:区域
秦子雁,陈芃合,金德泉
(广西大学 数学与信息科学学院, 广西 南宁 530004)
0 引言
“动力神经场是皮层神经元群活动动态的平均描述” 这一观点在20世纪70年代被提出[1]。基于这一思想,涌现了很多关于动力神经场的方法和模型,并在优化、数据估计等方面得到了越来越广泛的应用[2-3]。在这些模型中,Amari的动力神经场方程是一个重要模型,因为它在不需要过多数学技巧的情况下就可以对其动态特性进行分析处理。因此,该模型被广泛应用于机器学习、关联记忆等诸多领域[4-5]。
由于动力神经场的相关研究主要依赖于其稳定性,因此研究稳态解的存在条件和动力学性质具有十分重要的意义。在一般研究的动力神经场研究中,阈值函数θ应该是单调且有界的,因此,Amari动力神经场的阈值函数多为传统的阶跃函数或Sigmoid型函数[6-7]。然而,当多个神经场相互耦合时,阶跃函数和sigmoid型函数的梯度可能会消失,这意味着当输入达到一定强度时,无论输入如何变化,都会出现相同的激活区域。由于ReLU激活函数具有较高的收敛速度和良好的逼近性[8],可以很容易地解决深度学习中高层结构的梯度消失问题,因此,ReLU函数在神经网络研究中越来越受欢迎[9-10]。而在动力神经场中,经常用DoG(differential of Gaussian)函数作为相互作用核,但是DoG函数的参数较多,使得相应的动力学性质难以解释,而高斯函数在参数相对少的情况下具有相似的性质。
笔者主要讨论在一维空间中,以ReLU函数作为阈值函数,高斯函数作为相互作用核的Amari动力神经场方程中的稳定解的存在条件和相关结论。……
登录APP查看全文