刘 芳, 乔建忠, 代 钦, 石祥滨

(1. 东北大学 计算机科学与工程学院, 辽宁 沈阳 110169； 2. 沈阳航空航天大学 计算机学院, 辽宁 沈阳 110136； 3. 沈阳工程学院 信息学院, 辽宁 沈阳 110136)

动作识别在视频监控、人机交互、智能家居、老年人/儿童看护和医疗看护等应用领域中都具有非常重要的作用,是目前国内外业界和学术界的热点研究问题[1-2].动作识别可以采用多种不同模态的数据,如RGB视频和图像、光流数据和骨架数据等[1-2].与其他模态的数据相比,人体骨架序列由关节点在运动过程中的轨迹表示,可以反映出人体细微的时空运动状态变化,在动作识别问题上具有天然的优势.

人体骨架可以抽象为两种组成元素——关节点和骨骼,关节点连接相邻的骨骼.因此,可以把骨架简化为图,图中的结点和边分别对应关节点和骨骼.循环神经网络(recurrent neural networks,RNNs)或者卷积神经网络(convolutional neural networks,CNNs)在处理骨架数据时通常将其转换为向量序列[3]或者2D网格[4],导致了人体结构信息的丢失.图卷积网络(graph convolutional networks，GCNs)[2,5-7]将卷积操作应用到非欧式的图结构数据中,比较适合对基于骨架数据的动作识别问题进行建模.因此,本文研究基于GCNs的骨架数据动作识别问题.

采用GCNs处理骨架数据的关键是关节点图结构的定义.目前基于GCNs的骨架动作识别方法大多采用人体骨骼自然连接作为关节点的图结构[2].实际上,在人体运动过程中,除了相邻部位,非相邻部位之间同样存在运动交互.例如,对称肢体的协作和全身肢体的交互等.对于走、跑这类动作,肢体间的自然连接和对称连接主导运动；……