姬晓飞，李晨宇，王昱

(沈阳航空航天大学 自动化学院，沈阳 110136)

双人交互动作识别在视频检索、智能监控、人机交互等方面都具有潜在的应用价值[1]，因此在计算机视觉领域受到越来越多的关注。其中RGB视频数据是人类动作识别的主要数据源，但由于RGB数据只能提供人体运动的二维信息，且易受光照变化等影响，识别率难以提升。随着高性价比的深度传感器(如Microsoft Kinect)和实时姿态估计算法[2]的发展，能够表征人体三维信息的关节点序列成为了人体动作识别的主要数据源。

近年来，深度学习的方法在基于关节点序列的动作识别中取得了良好的识别效果。根据关节点序列表示并反馈给深度神经网络的不同方式，通常可以分为基于卷积神经网络(Convolutional Neural Network，CNN)和基于循环神经网络(Recurrent Neural Network，RNN)。基于CNN的方法是将关节点序列进行编码图像化，然后送入CNN进行深层次特征提取和识别。Wang[3]等对关节点轨迹的空间结构和动态表现进行颜色编码得到三种关节点轨迹图，然后送入CNN中进行识别。该类方法直接对原始数据进行编码，抗噪声的能力比较弱。Ke[4]等将整个身体分成5个部分，从关节点序列中提取每部分的余弦距离特征和归一化幅度特征，并将每部分的所有帧的两种特征按照时间顺序排列编码为灰度图，然后送入CNN进行识别。Yang[5]等提出一种树形结构骨架图(Tree Structure Skeleton Image,TSSI),将固定顺序连接的关节点按照TSSI模型重新连接并转化为灰度图，然后送入CNN进行识别。此类方法的网络结构简单，但对关节点序列的时间信息利用不充分。……