基于量子遗传的超参数自动调优算法的设计与实现
2021-07-11吴浩楠高宏
吴浩楠 高宏



摘 要:机器学习伴随着海量数据的支持以及强大的计算能力为其提供了强有力的保证下不断地向前发展,训练过程变得更加高效便捷。在此基础上,机器学习算法的超参数对其性能的影响是非常巨大的,因此对众多的超参数进行优化选择就自然有了强烈的需求。由此本文提出了一种基于量子遗传的超参数自动调优算法,实验表明,在针对多种机器学习模型的超参数调优问题上,既解决了一般随机算法的不稳定性的问题,也解决了一般进化算法迭代缓慢、收敛速度较低的问题,并且通过实验结果表明取得了不错的效果。
关键词: 超参数调优;遗传算法;量子遗传算法;机器学习
文章编号: 2095-2163(2021)01-0170-06 中图分类号:TP181 文献标志码:A
【Abstract】With the development of big data and the improvement of computing power, machine learning has been continuously developing, and the training process has become more efficient and convenient. On this basis, the hyper-parameter of machine learning algorithms has a great impact on their performance, so there is a strong demand for optimizing and selecting a large number of hyper-parameter. Thus this paper puts forward a kind of automatic tuning super parameter based on Quantum Genetic Algorithm. The experiments show that for a variety of machine learning model on the above parameters tuning problem,the instability of both randomized algorithms of the general problem is solved, also the problems of slow iteration and low convergence speed of the general evolutionary algorithm are solved, therefore good results have been achieved.
【Key words】hyper-parameter tuning; Genetic Algorithm; Quantum Genetic Algorithm; machine learning
0 引 言
如今,海量数据的支持以及强大的计算能力为机器学习的不断发展提供了有效保证,使其训练过程变得更加高效、便捷。在此基础上,一个机器学习算法的超参数就成为影响算法性能优劣的重要因素。如何在复杂的参数空间中选择出一组超参数使得机器学习算法的性能得到最大的提升,是机器学习领域长期以来一类备受关注的研究问题,超參数优化问题也是在此背景下才得以提出。
研究初期,一般需要相关的工作人员通过已有的经验对超参数进行调节,或者是由设计者给出建议的超参数的配置选择。但在模型复杂以及超参数众多的情况下,就随即对超参数进行自动化调优有了强烈的需求。……
