王永雄，曾 艳，李 璇，尹 钟，张孙杰，刘 丽

(上海理工大学 光电信息与计算机工程学院，上海 200093) E-mail：wyxiong@usst.edu.cn

1 引 言

识别和理解人的行为是智能服务机器人和智能辅助系统的主要任务之一，也是人机共融技术的主要难点和瓶颈.近年来，随着3D设备(例如RGB-D摄像头) 的普及，由于3D视觉具有较大优势和表达能力，基于3D视觉的行为识别也得到了较大的发展.

首先，特征提取是基于图像的行为识别最先考虑的问题.常见的特征主要有尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)[1]、方向梯度直方图特征HOG[2](Histogram of Oriented Gradient)和人体姿态关节角等2D静态特征[3]，人体运动的速度、轨迹等3D动态特征[4]以及时空兴趣点特征(Space-Time Interest Points，STIP[5])和改进密集轨迹特征(improved dense trajectories，IDT[6，7])等基于兴趣点的特征.一般情况下，随着特征维数的增加，识别准确率随之提高，但是计算量随之变大，而且难以从高层语义上进行理解，因此需要对特征数据进行降维，生成有利于识别的高层语义特征.Li FeiFei等人[8]提出了一种新的局部特征方法，通过使用局部的高层语义信息建立局部特征矩阵，然后使用聚类的方法建立BOW特征，实现了多种特征数据的融合和降维.近年来随着深度学习理论的发展，将其应用于人体行为识别中，也取得了很好的效果[9，10].Ji等[11]将传统卷积神经网络扩展到具有时间信息的3DCNN，在视频数据的时间维度和空间维度上进行特征计算.Ng等[12]使用长短时记忆型RNN对视频进行建模，将底层CNN的输出连接起来作为下一时刻的输入，在UCF101数据库上获得了82.6%的识别率.从视觉显著性……