李扬志，袁家政，刘宏哲

（1.北京市信息服务工程重点实验室（北京联合大学），北京 100101；2.北京开放大学科研外事处，北京 100081）

0 引言

行为识别的主要任务是分类识别，对给定的一段动作信息（例如视频、图片、二维骨骼序列、三维骨骼序列），通过特征抽取分类来预测其类别。目前基于视频和RGB（Red，Greeen，Blue）图片的主流方法是双流网络［1］，而基于骨骼数据的主流方法就是图卷积网络（Graph Convolution Network，GCN）。其中卷积神经网络（Convolution Neural Network，CNN）适合提取空间上有相关性的数据，循环神经网络（Recurrent Neural Network，RNN）则适合提取时间上有相关性的数据。现有的基于人工特征或递归神经网络的方法无法充分捕捉骨骼序列复杂的空间结构和长期的时间动态，而这对识别动作非常重要［2］。对基于视频的人体行为识别来说，动作的发生与结束与时间空间紧密相关，并且时间与空间具有潜在关系。然而目前对视频中时空相关数据的提取多依赖于手工设计，耗费了大量人力物力；或者提取的数据不够具有判别性。因此，有效地提取视频数据的时空相关性是解决这些问题的关键。如何探索非线性复杂时空数据，发现其固有的时空模式，准确预测人体行为仍是一个非常有挑战性的课题。

近年来，人体行为识别已经成为了一个活跃的研究领域。一般来说，人体行为的识别可通过多种模式，如外观、深度、光流和人体骨架［3］。其中，动态的人体骨架通常包含有重要信息。动态骨架模态可以表示为一系列人体关节位置的时间序列，从而可通过分析运动模式来对人体行为进行识别。……