臧影，刘天娇，赵曙光*，杨东升

1. 中国科学院大学计算机科学与技术学院, 北京 100049； 2. 中国科学院沈阳计算技术研究所，沈阳 110168；3. 湖州师范学院信息工程学院，湖州 313000； 4. 烟台创迹软件有限公司，烟台 264000

0 引 言

人体行为识别已经在视频监控、人机交互、无人驾驶及虚拟现实中得到了广泛应用(Carreira和Zisserman，2017；Martinez-Hernandez等，2018；Wang和Wang，2017)。最初行为识别算法使用RGB图像序列(Zhu等，2018；Sun等，2018)、深度图像序列(Xu等，2017；Baek等，2017)或这些数据的融合(Feichtenhofer等，2016；Wang等，2016)。由于视频序列数据量非常庞大，对于行为识别任务来说，存在大量信息冗余。如图1所示，人体骨架数据具有轻量级及抗干扰性强等优点，仅包含人体关节点位置坐标信息，提供了高度抽象的信息，不受外界环境变化影响。骨架数据还可通过Openpose人体姿态估计算法(Cao等，2021)及Microsoft Kinect传感器(Zhang等，2012)轻松获得，所以基于骨骼的行为识别吸引了越来越多研究者的关注。

图1 NTU RGB+D数据集中RGB图像序列与骨架序列Fig.1 RGB image sequence and skeleton sequence in NTU RGB+D dataset

基于卷积神经网络(convolutional neural networks，CNN)的行为识别算法通常专注于图像任务，而时间信息是行为识别性能提高的关键因素。如何在CNN中充分地利用空间和时间信息是行为识别的关键问题。Li等人(2018)提出了一种端到端的共现特征学习框架，使用CNN自动从骨架序列中学习分层的共现特征。在该框架中逐步汇总不同层级的上下文信息，在时域和空域将它们组合成语义表示，并总结出一个简单而又非常实用的方法来调节按需聚集的程度。Li等人(2019)为了更高效地表示骨架，对骨架信息进行编码，采用多流CNN模型对骨架数据进行识别。……