夏 鼎 王亚立 乔 宇*

1(中国科学院深圳先进技术研究院 深圳 518055)

2(中国科学院大学 北京 100049)

1 引 言

行为识别是视频任务的一个基础问题，在越来越多的领域中得到应用，如智能监控、机器人交互、视频推荐等。近年来，随着深度学习的发展以及大规模视频数据库的出现，行为识别研究逐步走向成熟。

目前，大多数的方法都是将行为识别看作视频分类，关注于更好地利用视频帧的静态特征与帧之间的动态特征。Karpathy 等[1]提出使用一个二维卷积神经网络，独立地提取每一帧的特征，然后融合时间信息的方法。然而，该方法没有考虑帧之间的动态特征。基于此，Simonyan 和Zisserman[2]提出了双流架构——一个二维卷积神经网络学习静态图片特征，另一个二维卷积神经网络学习光流动态特征。此方法的双流融合策略比较简单，并被广泛扩展到其他方法。其中，时序分段网络(Temporal Segement Network，TSN)[3]采用稀疏采样策略来学习长视频片段特征，并利用光流探索了不同组合策略来融合两个流的特征。但计算光流对计算资源消耗太大，所以时空运动网络(SpatioTemporal and Motion，STM)[4]采用一个模块来学习帧级别的动态特征，节省了计算光流的消耗。与 STM 直接将时空特征与动态特征相加不同，时序激活与聚合网络(Temporal Excitation and Aggregation，TEA)[5]利用动态特征来重校准时空特征，从而加强学习得到的运动模式。除了二维卷积神经网络，三维神经网络也被设计用于学习动态特征。C3D[6]模型将 2D 图像模型扩展到时空间领域，用相似的方法处理空间与时间维度。然而，3D 模型参数较多，对计算资源要求较高。……