黄诚轩, 唐 明,2, 李景海

1. 武汉大学国家网络安全学院空天信息安全与可信计算教育部重点实验室, 武汉 430072

2. 密码科学技术国家重点实验室, 北京 100878

1 引言

机器学习, 以及近期受到广泛关注的深度学习, 由于其高度的实用性和有效性, 在图像识别[1]、机器人[2]、自然语言处理[3], 以及信息安全等不同领域都受到许多研究者的重视[4,5]. 当今计算机不断增长的计算能力和海量可用数据导致了比以前预想的更加复杂的机器学习架构. 例如, 在2012 年时, 由8 层组成的AlexNet 架构在图像分类任务ILSVRC20121http://www.image-net.org/challenges/LSVRC/2012/中是性能最好的算法, 而到了2015 年, 同一任务性能最好的架构是由152 层[6]组成的ResNet. 预计这一趋势并不会停滞不前, 深度学习技术仍然在高速发展. 此外, 深度学习算法在传感器或驱动器等物联网边缘设备中越来越受欢迎, 因为它们在许多任务中是不可或缺的, 如图像分类任务、语音识别任务等. 因此, 越来越多的应用都乐于将神经网络部署在始终处于开启状态的系统上运行.

神经网络模型的训练以及参数调优需要大量的时间与金钱代价. Google 的XLNet 每次训练需要花费61 000 美元来寻找最优的训练参数, 并且, 模型训练过程中的数据集搜集与制作、分布式存储、管理等也需要花费大量的时间与人力. 其次, 许多高阶的针对神经网络的攻击, 诸如对抗样本攻击、数据投毒攻击都建立在模型已知的前提下, 或通过获取模型信息来提升攻击效果[7,8]. 因此, 神经网络模型不仅是重要的知识产权……