史卫娟 Adibah Shuib Zuraida Alwadood

摘  要：近年来，机器学习发展迅速，在广泛应用于各个领域的同时取得了许多理论突破。它为系统提供访问数据的能力，通过从过去的经验中学习和改进来解决复杂问题，使机器能够执行认知功能。文中将基于改进的Stabilized Barzilai-Borwein（SBB）方法自动计算步长，与SVRG结合形成新的算法SVRG-SBB，并从理论上证明新算法收敛，能够有效地解决机器学习中的常见问题。

关键词：随机优化;SBB步长;机器学习

中图分类号：TP181                     文献标识码：A文章编号：2096-4706（2021）15-0109-04

Abstract： In recent years， machine learning is developing rapidly and has made many theoretical breakthroughs while being widely applied in various fields. It provides the system with the ability to access data， solve complex problems by learning from past experience and improving， and enable the machine to perform cognitive functions. In this paper， the step size is automatically calculated based on the improved Stabilized Barzilai-Borwein（SBB） method， which is combined with SVRG to form a new algorithm SVRG-SBB. It is proved theoretically that the new algorithm converges and can effectively solve the common problems in machine learning.

Keywords： stochastic optimization; SBB step size; machine learning

0  引  言

机器学习为系统提供访问数据的能力，并通过从过去的经验中学习和改进，然后解决复杂问题，使机器能够执行认知功能。

一阶优化算法由于其目标函数假设弱、收敛速度快、易于实现等优点，被广泛用于求解机器学习模型参数。许多一阶随机优化方法已被用于求解机器学习的优化模型，如Robbins和Monro[1]提出的Stochastic Gradient Descent（SGD），Johnson和Zhang[2]提出的stochastic variance reduced gradient（SVRG）和Konečný[3]提出的mini-batch semi-stochastic gradient descent method（mS2GD）。

然而，傳统的一阶优化算法会遇到各种各样的问题。一方面，随着深度神经网络等机器学习模型中数据规模的爆炸性增长和参数规模的不断增大，传统的确定性数值优化算法存在计算量过大的问题。另一方面，数值优化领域中讨论的一阶算法分析往往基于最坏情况下的计算复杂度。

Robbins和Monro于1951提出了随机梯度下降（SGD）方法。后来，它成为科学和工程领域的核心组成部分，如统计学、机器学习、信号/图像处理、反问题等。在经典的SGD算法中，每次重复都会选择一个随机示例。考虑到传统的线搜索技术不适用于随机优化算法，在SGD中通常使用递减步长或手动调整固定步长。……