牛 磊，赵 佳

（阜阳师范大学 计算机与信息工程学院，安徽 阜阳 236037）

人工智能自1956年诞生以来，经历了“推理期”[1]、“知识期”[2]、“学习期”[3]。进入21世纪，尤其是Hinton[4]在2012年将深度学习应用于ImageNet数据集并大获成功以来，借助于GPU算力的快速提升以及大数据技术的发展，深度学习在语音[5]、图像[6]、文本[7]、视频[8]等领域均取得了长足的进步。当前人工智能的侧重点也已经由模型转为大规模数据的收集，人工智能已经进入“数据期”[9]。而深度学习已经成为处理各类信息的首选工具，但深度学习仍存在如可解释性[10]等若干未解决的问题。魏秀参[11]总结了深度学习实现的若干细节，包括权值初始化、卷积因子及池化尺寸等参数的确定以及激活函数选择等。初始化权重通常使用正态分布，而偏移通常设为0。卷积因子及池化参数随图像尺寸大小而定。Simonyan[12]指出使用更小的卷积核能够得到更精确的结果，这点也在VGG[12]、ResNet[13]、GoogleNet[14]等网络结构中得到体现。Nair[15]通过实验证实使用线性整流函数（rectified linear unit，ReLU）作为激活函数，能够使得训练时间大幅缩短,当前的卷积神经网络的激活函数也大多选择Relu函数。但优化算法的选择也能够极大的影响函数的收敛速度，本文即从优化算法选择的角度，考虑针对不同复杂程度的图片运行时间的变化，为处理各类图片时优化算法的选择提供参考。

1 常用优化算法

本节将列举5个常用的优化算法，为统一符号，设损失函数为J(θ)，其中θ为待求解的参数。

1.1 SGD

梯度下降（gradient descent）是优化理论中常用的算法，其迭代策略为：