刘 云 薛盼盼 李 辉 王传旭

(青岛科技大学信息科学技术学院 青岛 266061)

1 引言

人类行为识别是计算机视觉的一个重要分支，在很多方面都有广泛应用，例如智能监控、人机交互、视频检索和运动分析[1]。目前，已有一些学者对行为识别进行了综述，比如朱煜等人[2]、罗会兰等人[3]、张会珍等人[4]、Zhu等人[5]，这些综述文章无论是侧重于传统行为识别方法还是侧重于深度学习行为识别方法，所利用的信息多是RGB(Red(红色)、Green(绿色)、Blue(蓝色))数据和深度数据，没有专门针对关节点信息行为识别进行系统的归纳总结。近年来，关节点数据的获取随着低成本设备的发展更加容易，例如Microsoft Kinect[6]。随着深度学习的发展，利用关节点数据进行行为识别的研究取得了丰硕成果，但目前在该领域的系统归纳较少。与RGB数据和深度数据相比，关节点本身是人体的高级特征，不易受外观影响，同时能够更好地避免背景遮挡、光照变化以及视角变化产生的噪声影响，同时在计算和存储方面也是有效的[7]。利用关节点数据进行行为识别从发展历程上主要分为两大类：基于手工特征的方法和基于深度学习的方法。传统的利用关节数据进行行为识别是基于手工特征[8—10]。

关节点数据通常表示为一系列点的坐标向量，在不同的深度学习网络和算法中，关节点数据一般表示为伪图像、向量序列和拓扑图，不同的深度学习主干网络架构适合处理的数据表示方式也不同。通常来说，基于深度学习算法的改进主要是针对3个方面：数据处理方式、网络架构和数据融合方式。……