刘小雷,高凯新,王 勇

(天津大学 数学学院,天津 300350)

近些年来,深度学习已经在计算机视觉和自然语言处理等领域取得了重要的进展.然而随着研究的深入,模型越来越复杂,往往需要耗费大量的训练时间和计算成本.因此,采用有效的训练方法是十分有必要的.以随机梯度下降(SGD)为代表的一阶优化方法是当前深度学习中最常用的方法.近些年来,一系列SGD的改进算法被提出并也被广泛于应用深度学习中,比如,动量SGD (SGDM[1]),Adagrad[2],Adam[3].这些一阶优化方法具有更新速度快,计算成本低等优点,但是也具有收敛速度慢,需要进行复杂调参等缺点.

通过曲率矩阵修正一阶梯度,二阶优化方法可以得到更为有效的下降方向,使得收敛速度大大加快,减少了迭代次数和训练时间.对于有着上百万甚至更多参数的深度神经网络而言,其曲率矩阵的规模是十分巨大的,这样大规模的矩阵的计算,存储和求逆在实际计算中是难以实现的.因此,对曲率矩阵的近似引起了广泛的研究.其中最基本的方法是对角近似,其在实际计算中取得了较好的效果,但是在近似过程中丢失了很多曲率矩阵的信息,而且忽略了参数之间的相关性.在对角近似的基础上,一些更为精确的算法也被提出,这些算法不再局限于曲率矩阵的对角元素,同时也考虑了非对角元素的影响.这些方法对曲率矩阵的研究都取得的一定了进展[4–8].但是如何在深度学习中更加有效地利用曲……