姜权晏，吴小俊，徐天阳

江南大学人工智能与计算机学院，无锡 214122

0 引 言

行为识别任务的本质是分析视频动作并将其准确分类。由于人与对象交互的多样性及时空推理的复杂性，深度网络在行为分析领域的研究进展缓慢。行为识别任务中的核心需求是捕获复杂的空间信息及动态信息，并在高效处理视频数据的同时尽量使用较低的计算量。

与图像分类任务不同，视频信息的时间维度包含复杂多变的动态信息，其很难通过神经网络进行连贯的推理学习。从基于2维卷积神经网络的分类方法——时间分段网络(temporal segment networks, TSN)(Wang等，2016)到3维卷积网络(3D convolutional neural networks, C3D)(Tran等，2015)与双流膨胀3维卷积网络(two-stream inflated 3D convnets, I3D)(Carreira和Zisserman，2017)，在网络建模能力不断提高的同时，网络复杂性的增加使行为识别领域的计算负担逐步增加。如何降低计算成本逐渐成为研究中不可忽视的问题，行之有效的方法是在深度神经网络体系结构中使用分解的3维卷积(Qiu等，2017)或组卷积(Tran等，2018)。这些方法在减少计算成本方面获得了进展，但缺乏同时捕获时间、空间和通道维度依赖性的能力。

在基于骨架信息的行为识别任务中，除了自适应骨骼中心算法(冉宪宇 等，2018)，图卷积网络通过运用图结构中的关联信息大幅促进了识别性能的提升，包括动作图卷积网络(actional-structural graph convolutional networks，AS-GCN)(Li等，2019b)、时空图卷积网络(spatial temporal graph convolutional networks，ST-GCN)(Yan等，2018)、双流自适应图卷积网络(two-stream adaptive graph convolutional networks，2s-AGCN)(Shi等，2019b)和有向图神经网络(directed graph neural networks，DGCN)(Shi等，2019a)。该类方法的关键在于为骨架数据确定合适的图形结构，以便图卷积网络能够提取相关特征。然而，如何在图卷积网络中设计一种高效、灵活的多维特征嵌合模块以融合各维度的依赖关系仍是一个尚未解决的问题，本文旨在沿该方向推进包含空间、时间和通道维度在内的注意力机制研究。……