尚迪雅,孙 华,洪振厚,曾庆亮

(1.新疆大学 软件学院 软件工程技术重点实验室,乌鲁木齐 830002; 2.深圳大学 光电工程学院 光电子器件与系统教育部/广东省重点实验室,广东 深圳 518060)

0 概述

近年来,随着人工智能技术的快速发展,自动化机器学习(Automated Machine Learning,AutoML)[1-2]已成为机器学习领域[3-5]的一个热点研究方向,并广泛应用于计算机视觉[6]、数据挖掘[7]、图像分割[8]和自然语言处理[9]等领域。

机器学习包括统计机器学习和深度学习2个方面[10]。统计机器学习在处理问题时一般包括数据预处理[11]、特征工程[12]和模型选择[13]等内容,这些操作均需要手动完成。在深度学习领域,神经网络结构在通常情况下也需人工设计,为了得到一个效果较好的神经网络结构,往往需要耗费很多时间和精力。为解决上述问题,AutoML应运而生。AutoML包含针对统计机器学习的自动化算法和针对深度学习的自动化算法2个部分。针对统计机器学习的自动化算法包括自动特征工程[14]和自动模型选择[15-16]等内容。本文的研究对象是针对深度学习的自动化算法,即自动化深度学习。自动化深度学习算法是一种特殊的机器学习算法,其可以获得高性能且十分灵活的网络结构。自动化深度学习算法用概念组成的网状层级结构来表示网络世界,每一个概念由更简单抽象的概念相连而成,且前者可通过后者计算而得。自动化深度学习根据当前问题的特点,通过自动搜索网络结构得到更多样且性能更好的神经网络结构,由此减少人工设计网络所花费的时间和人力并提高搜索效率和神经网络的性能。……