马翠红，王 毅，毛志强

(华北理工大学 电气工程学院，河北 唐山 063210)

0 引 言

近年来，研究人员将深度学习应用于视频监控的目标检测、行为识别等领域[1]。Simonyan等[2]利用包含空间流网络和时间流网络双流卷积网络分别提取堆叠光流图和RGB视频中的长时运动和表观特征，该模型仅考虑了视频中的短期动态特征，视频中的长期特征没有得到充分利用。

Woo等[3]提出基于RNN可以实现对视频中多对象行为进行识别。Hochreiter等[4]提出了长短时记忆网络(LSTM)，用LSTM替代传统的RNN，解决了RNN梯度消失的问题。Gammulle等[5]设计双流融合LSTM网络用于行为识别，且其应用在模式识别等任务中也取得了很好的效果。

针对上述存在的问题并总结各种网络优势的基础上，提出基于注意力的双流CNN与DU-DLSTM的识别模型来解决复杂场景下监控视频的行为识别问题。

1 整体模型

本文提出的模型采用时空双流网络和视觉注意力提取特征向量，输入DU-DLSTM模块深度解析后经Softmax函数完成识别任务，模型如图1所示。

图1 系统总体框架

2 基于注意力的双流CNN

2.1 LSTM

LSTM是时间递归神经网络(recurrent neural network，RNN)的另一种形式，LSTM的优点是解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，与普通的RNN相比，LSTM能够在较长的序列中发挥更好的作用。

LSTM的整体功能实现的结构如图2所示，其中LSTM的最重要的部位就是她的记忆单元ct，它实现的功能是对信息进行筛选，留下最佳信息，如式(5)所示，LSTM的最大的特点就是通过它自身特殊的门[6]结构对行为信息与记忆单元之间交互的能力进行操控。……