吴松平，王天一

（贵州大学 大数据与信息工程学院，贵阳 550025）

0 引 言

大数据、人工智能的快速发展，产生了大量的视频数据，对这些视频数据进行智能分析、视频摘要、视频信息检索、运动分析等方面有重要的意义［1］。行为识别作为视频分析的一个重要领域，相比传统人体行为识别方式［2］。基于深度学习的人体行为识别方法能够实现端到端的识别，深度学习算法的研究推动了行为识别研究的进步。

基于深度学习的人体行为识别的基本原理是通过构建具有提取非线性特征的卷积神经网络、具有时间序列建模的循环神经网络结构，并利用数据对网络进行训练，得到效果最好的网络参数，提取数据集与人体行为最相关的本质特征。目前，相对于在图像分类、人脸识别、图像分割等方面的任务中的表现，深度学习在人体行为识别的表现依然欠佳，其原因在于视频数据相比图像数据还多了时间维度信息［3］。一般的神经网络只能处理静态图像数据，而不能充分利用人体运动信息［4］。双流（Two－Stream）卷积神经网络是目前运用最广泛的方法之一，与主要依靠图像数据信息进行视频分析的传统方法相比，双流卷积神经网络在以图像数据为信息的基础上加入了时间光流信息，两种信息分别送入卷积神经网络，最后将两路信息进行特征融合［5］。在双流卷积神经网络的基础上，Du Tran 等人提出了3D 卷积，将2D 卷积核替换成3D 卷积核，直接对视频帧处理［6］；Feichenhofer 等人探索了双流卷积神经网络的融合时机［7］。……