韩纪东， 李玉鑑,2

(1.北京工业大学信息学部， 北京 100124； 2.桂林电子科技大学人工智能学院， 广西 桂林 541004)

近年来，神经网络模型在很多方面已经远远超过人类大脑，如在围棋领域AlphaGo战胜人类顶尖高手[1-2]，在大规模视觉比赛ImageNet中表现出更强的图像识别能力[3-4]，在电子游戏中战胜专业顶级游戏玩家[5-6]. 注意，本文中的神经网络泛指所有的神经网络. 这不仅使得神经网络模型受到广泛的关注，还极大地促进了神经网络模型的进一步发展，使得神经网络模型在更多领域取得了更加不凡的成就，如图像分割[7-10]、目标检测[11-13]、自然语言处理[14-17]、姿态估计[18-21]等. 神经网络模型的快速发展，并没有使其克服所有缺陷. 神经网络模型依然有很多不足，如灾难性遗忘、广受争议的黑箱子操作等，但是瑕不掩瑜，神经网络在很多方面的惊艳表现使它依然备受学者们的青睐.

一个显而易见的事实是，人类在学习新知识后不会对旧知识发生灾难性遗忘，而这既是神经网络模型的一个重大缺陷，也是它的一个遗憾. 该问题在很久之前就已经引起了学者们的注意. 20世纪八九十年代，连接网络时期，Carpenter等[22]已经提到了神经网络模型中的灾难性遗忘问题，并且用了一个形象的比喻来说明，一个出生在波士顿的人搬到洛杉矶，他再回到波士顿时，仍然不会忘记他在波士顿的一切；也即他在洛杉矶学会新知识后，仍然会记得之前在波士顿的旧知识，而不会发生灾难性遗忘；McCloskey等[23]描述了神经……