季雄武，张永辉，张 健

(海南大学 信息与通信工程学院，海南 海口 570228)

近年来，国内外对视频类的行为识别算法研究如火如荼.虽然，目前对静止图像识别的研究取得了很大的成功，但是对视频类的行为识别仍然是一个具有挑战性的课题.

在行为识别领域，同计算机视觉在各领域的发展一样，集中将卷积神经网络应用于行为识别中.早期的研究人员主要尝试融合光流与RGB视频帧，来提高行为识别准确率.虽然RGB视频具有丰富的细节信息，但缺乏深度信息，对沿着视线方向的动作缺乏识别能力，并且外部的光照和遮挡等因素对其识别能力干扰很大.如文献[1]在2014年首次提出了创造性的双流网络，通过从RGB视频序列提取时空信息进行识别；文献[2]将长短期记忆网络(LSTM)加入到原始双通道模型中，用来加强时域信息的联系；文献[3]使用在ImageNet上进行预训练的ResNet101来搭建双流卷积神经网络，从中提取空间和时间特征，然后微调来进行单帧活动预测.

随着深度相机出现，如Kinect设备，不仅能够提供RGB视频序列，还可以提供深度视频序列.由于深度信息更容易获取，文献[4]从深度图中采样点获得一带3D点以编码空间信息，并采用可扩展的图形模型来编码时间信息；文献[5]将连续深度图的差异堆叠为深度运动图(DMM)，然后使用HOG从DMM中提取相关特征，但对沿着视线方向动作的区分度依然较差.文献[6]提出了基于CNN和LSTM的模型LRCN，该模型通过CNN提取空间信息，再通过一个LSTM网络提取时间……