莫建文 朱彦桥 袁华 林乐平 黄晟洋

(桂林电子科技大学 信息与通信学院，广西 桂林 541004)

快速适应环境变化的能力是衡量深度学习模型性能的重要指标之一，但一般的深度学习模型往往缺乏这样的能力。当它们不能一次性地访问所有训练数据，而只能按顺序处理分布在变化的连续数据时，它们会在反向传播过程中调整学习到的参数以适应新的数据，从而遗忘了先前学习到的知识，这样的现象可称为灾难性遗忘。克服灾难性遗忘是当今人工智能领域的重点和难点之一[1]。目前，克服灾难性遗忘问题的方法主要分为3类：基于样本回放的方法、基于参数隔离的方法以及基于正则化的方法[2]。

基于样本回放的方法通过保留从旧样本集中抽取的原始样本，将它们和新任务的样本进行联合训练来达到记忆的目的，如Rebuff等[3]通过筛选出最接近类均值的样本并存储。当原始样本无法随时获取时，一个替代方案是利用生成模型合成与原始样本相似的伪样本[4-5]。

基于参数隔离的方法则是将模型参数划分为不同的子集，每个子集都对应特定的数据集，在训练过程中只对当前任务的数据集所属的参数集进行训练。若模型容量没有限制，则可以在原始架构基础上为新任务增加新的网络分支[6-7]。当无法对模型进行扩展时，则可以在学习新任务时使用二进制掩码隔离那些用于识别旧图像样本的参数[8-9]。

基于正则化的方法不需要保存原始样本。……