贺昱曜　李宝奇



一种组合型的深度学习模型学习率策略

贺昱曜1李宝奇1

一个设计良好的学习率策略可以显著提高深度学习模型的收敛速度，减少模型的训练时间.本文针对AdaGrad和AdaDec学习策略只对模型所有参数提供单一学习率方式的问题，根据模型参数的特点，提出了一种组合型学习策略：AdaMix.该策略为连接权重设计了一个仅与当前梯度有关的学习率，为偏置设计使用了幂指数型学习率.利用深度学习模型Autoencoder对图像数据库MNIST进行重构，以模型反向微调过程中测试阶段的重构误差作为评价指标，验证几种学习策略对模型收敛性的影响.实验结果表明，AdaMix比AdaGrad和AdaDec的重构误差小并且计算量也低，具有更快的收敛速度.

深度学习，学习率，组合学习策略，图像重构

引用格式贺昱曜，李宝奇.一种组合型的深度学习模型学习率策略.自动化学报，2016，42（6）：953-958

深度学习［1-6］是机器学习领域一个新的研究方向，与传统的机器学习和信号处理方法相比，深度学习模拟人类视觉神经系统的层次体系，含有更多的隐含单元层，通过对原始数据逐层的非线性变换，可以得到更高层次的、更加抽象的特征表达，高层次的表达能够强化输入数据的区分能力，同时削弱不相关因素的不利影响.

深度学习凭借其处理复杂和不确定性问题的能力，在图像分类、文本检测、语音识别等领域取得了比以往方法更好的成绩［7］.成绩的提高是以规模更大、层次更深的网络结构为基础……