程大宁 张汉平 夏 粉 李士刚 袁 良 张云泉

1(中国科学院大学 北京 100190)

2(中国科学院计算技术研究所 北京 100190)

3(智铀科技有限公司 北京 100190)

4(苏黎世理工大学 瑞士苏黎世8914)

5(纽约州立大学布法罗分校 纽约 14260)

随着机器学习技术的发展，自动机器学习技术成为了机器学习的关键技术之一[1]，即AutoML技术.当前的机器学习模型的训练需要大量的超参，超参优化是AutoML的重要部分.

为了解决上述问题，超参优化成为了一个非常热门的研究方向.近年来研究者提出了不同的超参优化方法，如Hyperband算法SMAC算法、TPE算法等.这些算法将历史调参信息或者梯度信息作为输入，使用不同模型对最优超参进行预测，从而迭代求解出最优超参.

基于超参梯度的调优是超参调优的重要手段之一，现有的很多工作已经形式化定义了超参梯度并开发出了相关的调参算法.除了超参梯度，元学习也是现代超参调优的重要研究方向.传统元学习方法依照任务目标.机器学习模型和数据集的不同对最优调参任务进行分类，并记录其最优超参值.每次遇到新的机器学习任务时，都从原有的记录中寻找历史记录中这类情况的最优超参.此外，基于经验的人工调参是现有主流调参手段.相比于调参算法，人工调参可以在机器学习训练中的不同阶段灵活依照经验调参.

序列模型优化算法(sequential model-based opti-mization algorithms, SMBO)是现在最好的超参优化算法框架[2]之一.然而，作为黑箱优化算法的延伸，传统的SMBO算法不考虑已有的超……