王昊飞　李俊峰

摘  要：针对ResNeXt网络（残差网络）中存在的对特征提取不充分，以及数据集中背景信息干扰的问题，将ResNeXt网络和注意力机制相结合，提出了一种基于注意力机制的ResNeXt模型。首先，在ResNeXt网络的基础上，将浅层和深层的特征融合生成新型网络结构。其次，将全连接层由全局平均池化层替代，然后在通道空间注意力机制中添加一个条件因子，同时将改进后的注意力机制嵌入上述网络中。最后，在UCF101和HMDB51上分别进行实验，得到了95.2%和65.6%的准确率。研究表明，本文提出的模型可以有效地提取关键特征，充分利用不同层次的特征信息获得较好的准确率。

关键词：人体行为识别;注意力机制;ResNeXt;全局平均池化

中图分类号：TP183     文献标识码：A

Human Action Recognition Method based on Attention

Mechanism and Improved ResNeXt Network

WANG Haofei， LI Junfeng

（Faculty of Mechanical Engineering & Automation， Zhejiang Sci-Tech University， Hangzhou 310018， China）

haofeiwang@yeah.net; ljf2003zz@163.com

Abstract： Aiming at problems of insufficient feature extraction in ResNeXt network and background information interference in the dataset， this paper proposes a ResNeXt model based on attention mechanism， which combines the ResNeXt network and attention mechanism. First， based on ResNeXt network， shallow and deep features are merged to generate a new network structure. Second， the fully connected layer is replaced by a global average pooling layer. Then channel attention mechanism is improved by adding a condition factor. At the same time， the improved attention mechanism is embedded in the above-mentioned network. Finally， experiments are performed on UCF101 and HMDB51 respectively， and the accuracy rates of 95.2% and 65.6% are obtained. Experiments show that the proposed model can effectively extract key features， and make full use of feature information of different layers to achieve better accuracy.

Keywords： human action recognition; attention mechanism; ResNeXt network; global average pooling

1   引 言（Introduction）

人體行为识别技术是从包含运动信息的图像、视频中进行识别的。在视频监控、智能家居、运动分析以及VR等领域都离不开人体行为的识别。人体行为识别已成为计算机视觉研究中的一个非常重要的领域[1]。由于视点的不同、背景的复杂性以及光照条件等的影响，人体行为识别仍然是一项非常具有挑战性的课题。传统人体行为识别是基于手工设计的特征[2]进行识别，并且依赖数据集特征提取的先验知识，耗费大量的时间和精力。随着深度学习的兴起，解决了手动设计特征的不足，在人体行为识别领域取得了重大进展[3]，已经明显超过了手工设计的特征。XIE等[4]提出了ResNeXt网络，用一种平行堆叠相同拓扑结构的blocks来代替残差网络三层卷积的block，同时增加了“基数”这一概念，减少了超参数数量，计算效率高，准确率高。……