张 鹏，王 莉，梅 雪，袁申强

(南京工业大学 电气工程与控制科学学院，江苏 南京 211816)

0 引 言

近年来，许多科研人员将深度学习应用于动作识别领域的研究中，涌现出一大批高效的网络结构，如C3D[1]、I3D[2]、P3D[3]、R(2+1)D[4]、ECO[5]、TSN[6]等。虽然这些网络模型在结构上互不相同，但是对视频数据均具备较高的建模能力，能有效区分自然场景下不同的人体行为。理论上，不同网络模型所获的特征描述向量都对类别信息敏感(以分类任务为例)，并在网络的输出层变得线性可分，即便来自不同的建模过程，得到的特征向量应该是相似的。不同网络结构获取的知识能否被学习和共享是一个值得讨论的问题。Chen等[7]增加原始网络的宽度和深度，利用原始参数的分解或单位矩阵初始化权重参数，实现了跨结构的迁移学习。Ali等[8]利用了2D网络去监督3D网络的输入和输出，让3D网络拟合2D网络的输出特征分布，间接实现了跨结构学习。受此启发，本文进一步放宽模型结构的限制条件，在结构差异更大的两个网络之间，采用有效度量策略[9,10]，实现了更一般意义上的迁移学习，称之为软迁移。

本文基于DenseNet[11]基本模块设计了MDN(modified DenseNet)的新型网络结构，并使用软迁移技术学习继承I3D和R(2+1)D网络的视频特征建模能力，其中不同网络模型在结构上互不相同。记MDN-I3D为一个半监督式的“学习者-监督者”组合。受到GoogleNet[12]多阶段监督的启发，本文提出了三阶段的渐进式监督策略对学习者执行有效的监督。最后，在UCF101和HMDB51数据集上进行实验，成功地将监督者的建模能力迁移到了学习者身上，验证了软迁移学习方法的可行性。……