基于深度图像和骨骼信息的人体动作识别方法
2021-06-24钱毅敏
张 良,钱毅敏
(中国民航大学电子信息与自动化学院,天津 300300)
随着计算机视觉技术的飞速发展,研究热点逐渐转向人体行为识别领域。目前,相关行为识别技术已经广泛应用于监控、视频游戏、人机交互等领域。早期研究主要利用传统光学信息、人体关键姿态[1]、剪影[2]、时空特征[3]等方法,而准确识别所有动作仍充满挑战。新一代的深度相机(如微软公司的Kinect 产品)不仅能实时提取彩色图像,还可提取深度图像和骨骼信息。如何更好地融合RGB-D 相机获取的多模信息,成为行为识别领域新的突破点。
在深度图像研究方法中:Yang 等[4]将深度图像序列投影得到深度运动图(DMM,depth motion map),对其提取梯度直方图;Rahmani 等[5]采用方向主成分直方图(HOPC,histogram of oriented principal components)对动作点云数据进行描述,从局部几何形状来刻画动作,忽略各点间的全局约束,对局部自遮挡也具有较好的鲁棒性;Liu 等[6]将深度图像生成运动历史点云(MHPC,motion history point cloud),保留动作空间与时序信息,以此实现动作的全局表示,但对动作类内差异容忍性不足。基于骨骼信息识别的方法:Xia 等[7]提出通过关节点位置直方图(HOJ3D,histogram of 3D joint location)对人体动作进行表示,采用离散隐马尔科夫模型进行分类;Carbonera 等[8]提出基于分组的骨骼点帧间相对位移特征、帧内相对距离特征的方法,并获得较高的识别率。在融合多种数据进行识别方面,毛峡等[9]提出一种基于RGB 和骨骼信息的多模态人体行为识别框架。
目前,基于深度图像和骨骼信息进行人体动作识别的研究较少。针对已有方法的不足,提出使用运动历史点云的全局特征融合人体动作的骨骼特征,构建一种基于深度图像和骨骼信息的人体动作识别方法。……
