史加荣 王 丹 尚凡华 张鹤于

1.西安建筑科技大学理学院 西安 710055 2.省部共建西部绿色建筑国家重点实验室 西安 710055 3.西安电子科技大学人工智能学院智能感知与图像理解教育部重点实验室 西安 710071 4.西安电子科技大学计算机科学与技术学院 西安 710071

作为人工智能目前最活跃的一个研究分支,机器学习根据经验数据来设计、开发算法,其目的是探索数据的生成模式,并用来发现模式和进行预测[1-2].深度学习是一类更广的机器学习方法,允许由多个处理层组成的计算模型来学习具有多个抽象级别的数据表示[3].伴随着深度学习的崛起,机器学习重新受到了学术界和工业界的广泛关注.机器学习技术已广泛地应用在计算机视觉、推荐系统、语音识别和数据挖掘等领域中.

回归与分类等监督学习是机器学习中最常见的一类学习问题,它提供了包含输入数据和目标数据的训练数据集.为了探讨输入与目标之间的关系,需要先建立含参数的表示模型,再通过最小化所有样本的平均损失函数来获得最优的参数,此处的优化模型通常为经验风险最小化(Empirical risk minimization,ERM)[4].梯度下降法是求解ERM 模型最常用的方法,也是二阶方法和黎曼优化的重要基础.传统的梯度下降法在计算目标函数的梯度时,需计算每个样本对应的梯度,总计算复杂度线性地依赖于样本数目.随着数据规模的日益增大,求解所有样本的梯度需要相当大的计算量,因而传统的梯度……