陈晋音，上官文昌，张京京，郑海斌，郑雅羽，张旭鸿

（1.浙江工业大学网络空间安全研究院，浙江 杭州 310012；2.浙江工业大学信息工程学院，浙江 杭州 310012；3.军事科学院系统工程研究院信息系统安全技术国防科技重点实验室，北京 100039；4.浙江大学控制科学与工程学院，浙江 杭州 310007）

1 引言

随着深度学习技术的飞速发展，深度学习模型已成功应用于多种任务，包括图像分类[1-4]、文本识别[5-6]、语音识别[7-8]、社交网络挖掘[9-10]、电磁信号处理[11-12]等，且均取得了令人满意的性能。

伴随应用任务的复杂化，以及对任务性能的需求日益增高，深度学习模型日趋复杂化[13-14]，通过本地独立完成这些复杂模型的训练需要大量的训练数据与计算资源的支持。例如，OpenAI 公司花费了将近1.4 TB 的训练数据和460 万美元来训练GPT-3 模型[15]。通常情况下，个体研究人员和小公司负担不了这么多的资源。针对这一问题，近期研究提出了迁移学习，即通过在一个或多个源领域训练获得模型，总结有用的知识并将其应用于新的目标任务。常用的迁移学习方法之一是在已有的预训练模型（教师模型）的基础上进行微调训练，获得性能较好的学生模型。这种方式使个体研究人员不需要大量训练数据和训练资源也能获得性能良好的模型，提高模型的利用效率，降低训练成本。例如，应用于文本处理预训练模型Transformer[16]，可以通过微调训练的方法应用于众多不同任务（如情感分类、文本识别等）中，且取得较好性能。

深度学习在现实商业中的应用日益广泛，其数据的误用和不充足的法律基础所导致的数据隐私问题频繁发生。……