李元祥 谢林柏

（江南大学物联网工程学院物联网应用技术教育部工程中心 无锡 214122）

1 引言

近年来，人体行为识别被广泛应用于人机交互、视频检索和视频监控等日常生活场景中，利用人体行为识别算法可以有效自动地提取视频数据中高层语义，从而大大降低人力成本。目前，基于传统RGB相机的人体行为识别算法对环境要求较为苛刻，如光照、对象遮挡等因素。随着3D体感传感器的推出，如微软的Kinect，许多研究者开始利用Kinect提供的多源信息，如深度图序列、骨骼位置信息，降低环境因素对行为识别算法的影响，提高算法的鲁棒性。

目前，传统的行为识别算法主要集中对RGB视频序列的处理，包括分类器或特征提取算法的设计，如Laptev等［1］提出使用哈里斯角点检测器在时空3D空间检测兴趣点，取得了一定的识别效果。随着低成本Kinect深度传感器的推出，许多研究者开始尝试利用深度数据或骨骼位置数据解决人体行为识别遇到的挑战，Bulbul［2］等通过DMM计算轮廓梯度方向直方图特征（CT-HOG）、局部二值模式特征（LBP）和边缘方向直方图特征（EOH），并利用分类器KELM进行分类识别，一定程度上降低光照变化和物体遮挡等不利环境因素的影响。

随着卷积神经网络在图像领域取得了巨大的成功，受此鼓舞，研究者将卷积神经网络应用到行为识别领域并取得了显著的效果。Tomas［3］等利用二维卷积神经网络和堆叠编码器（SAE）分别学习RGB视频序列和骨骼位置信息序列的高层语义，其中RGB视频序列被预处理为运动历史图像序列（MHI）以提取其长时域运动信息。……