王 婷, 刘光辉, 张钰敏, 孟月波, 徐胜军

(西安建筑科技大学 信息与控制工程学院， 西安 710055)

0 引言

随着信息时代的快速发展，网络视频数量日创新高，如果不对视频内容加以检索，视频可能会成为谣言的载体，对社会带来不利影响。传统的视频检索是依靠人进行分析检查，而行为识别技术可以代替人工检索，在大量视频数据库中自动检索出指定的行为类别，为视频筛选检查提供技术支持。

针对视频行为识别问题，研究人员先后提出了各种各样的方法，目前，行为识别方法主要可以分为基于传统机器学习[1-2]、基于深度学习[3]两大类。基于传统机器学习的视频行为方法主要是通过类似背景减除法提取人员整体轮廓[4-5]或者诸如时空兴趣点[6]、Harris角点[7]等局部特征，但此方法所提取的行为特征单一、特征提取过程复杂且工作量较大，对高遮挡、光照变化、背景等因素较为敏感。随着社会的发展，诸多领域对行为识别任务提出了更高的要求，这些方法受其自身的局限性，已无法满足行为识别任务的精度要求。

基于深度学习的方法因具备获取输入数据隐含的深层次特征的能力，在图像分类、场景分割、文本识别等领域有着广泛的应用[8-10]，同样被研究人员用于行为识别任务中。Simonyan等人[11]首次提出双流网络模型，该模型包含两个卷积神经网络分支，通过从视频图像中获取不同的输入数据模态进行特征提取，进而提取视频数据的空间信息和时间信息。……