张红颖，安 征

（中国民航大学电子信息与自动化学院，天津300300）

1 引 言

人体行为识别作为视频理解的关键部分，一直以来都是计算机视觉领域的研究热点，在视频监控、虚拟现实、智能人机界面和社交视频推荐等领域有很高的应用价值［1-3］，由于现实场景中存在着复杂背景、对象的外观差异和不同类别行为的相似性等问题，使行为识别仍然是一个具有挑战性的课题［4］。

视频行为识别主要可以分为基于手工设计特征的方法［5］和基于深度学习的方法［6］，而后者展现出了更好的性能，其中双流卷积网络［7-9］的方法能够有效地在视频中提取表观信息和运动信息，在行为识别任务中取得了较好的识别效果，但是仍存在难以有效利用视频中的时空信息的问题。为此，研究学者们提出了多种改进方法，在网络输入方面，Bilen等［10］在保留次序信息的条件下将视频序列压缩为动态图，将其作为深度网络的输入，从而提取视频中的时序信息，但是动态图的生成带来了复杂的计算过程；在网络结构方面，Feichtenhofer等［11］等使用残差网络构建双流网络模型，并提出在两个卷积流之间加入短连接，以增强双流网络间的信息交互；在网络融合方面，文献［12］在隐藏层中间对两个网络融合，使网络学习时间域特征和空间域特征的像素间关系，并提出了多种融合方式。虽然以上三个方面的改进能够使双流网络更好的利用视频中的时空间信息，提高了行为识别准确率，但是仍存在着无法捕捉视频序列中时序关系的问题。……