葛轶洲，许 翔，杨锁荣，周 青，申富饶

1.通信信息控制和安全技术重点实验室，浙江 嘉兴 314033

2.中国电子科技集团公司 第三十六研究所，浙江 嘉兴 314033

3.计算机软件新技术国家重点实验室（南京大学），南京 210023

深度学习在计算机视觉、自然语言处理等多个机器学习的子领域上均取得了耀眼的成绩，这归功于越来越庞大复杂的神经网络模型。以图像分类任务为例，解决这类问题的网络层数由2012 年的8 层增加到如今的101 层，甚至有人尝试过1 202 层的卷积神经网络（convolutional neural network，CNN）[1]。神经网络层数的增加，意味着待学习参数数量的增加。为了学习更多的参数，就需要更多的训练数据。当前效果最好的自然语言处理模型GPT-3，其参数量达到了1 700 亿，为此需要45 TB 的数据进行训练[2]。尽管GPT-3 的情况较为极端，但想要将最先进的模型应用到一个现实任务时，经常面临数据不足的问题，数据增强技术应运而生。

“数据增强”一词还没有一个统一的定义，数据增强可以认为是基于少量样本构造出更多样本以扩充数据量的方法。以数据增强技术应用最广泛的计算机视觉任务为例，通过对一张图片进行旋转（rotations）、翻转（flipping）、裁剪（cropping）等操作，就可以把一张图片“增强”成至少四张图片。若对数据集中的所有图片都进行类似的操作，该数据集可以增加到原来的四倍。

数据增强一般被认为是在训练数据集上实施的操作，在训练前进行。可以选择先对数据集整体进行操作，再把增强后的数据集送入整个机器学习流程的后续部分，这种方法被称为线下增强（offline augmentation）。……