揭志浩,曾明如,周鑫恒，何 强

(南昌大学 信息工程学院，南昌 330031)

1 引 言

相比于诸如物体检测，人脸识别等领域，在利用视频数据进行人体行为识别方面，神经网络的表现依然欠佳.究其原因，是视频数据相比于图像信息还具有时间属性，传统的神经网络主要依靠静态的图像RGB信息，而不能充分利用人体的运动信息[1，2].近年来卷积神经网络在机器视觉方面得到了很好的发展，它也逐渐被运用到人体行为识别.双流(Spatial-Temporal Stream)卷积神经网络是目前运用最广泛的方法之一[3]，相比于传统的方法主要依靠静态图像的RGB信息进行视频数据分析，双流卷积还可以利用视频数据中被检测目标随时间变化的运动信息.在双流卷积的基础上，Du Tran[4]等人提出了3D卷积，将2D的卷积核替换成3D，对连续帧视频数据进行卷积处理.Feichenhofer[5]等人探究了多种对双流信息进行融合的方法，并且发现相比于softmax层，在卷积层对双流信息进行融合效果更好.Zhu[6]等人提出的卷积结构可以自动提取视频数据的时间流信息，而不需要对视频数据进行预处理.这些方法虽然综合分析了连续多帧视频数据中的人体运动信息与RGB信息，但是这些方法在视频级的分析和识别上基于平均预测，对于长时间范围的运动信息分析往往并不准确.长短时记忆循环(LSTM)神经网络在处理序列模型的数据时表现出色，被广泛运用于诸如机器翻译，语音识别等领域.由于视频数据具有天然的序列属性，Donahue[7]等人提出将LSTM用于……