黄文明，阳沐利，蓝如师，邓珍荣，罗笑南

融合非局部神经网络的行为检测模型

黄文明，阳沐利，蓝如师，邓珍荣，罗笑南

(桂林电子科技大学计算机与信息安全学院，广西 桂林 541004)

针对在视频行为检测中卷积神经网络(CNN)对时域信息理解能力不足的问题，提出了一种融合非局部神经网络的行为检测模型。模型采用一种双分支的CNN结构，分别提取视频的空间特征和运动特征。将视频单帧和视频连续帧序列作为网络输入，空间网络对视频当前帧进行2D CNN特征提取，时空网络采用融合非局部模块的3D CNN来捕获视频帧之间的全局联系。为了进一步增强上下文语义信息，使用一种通道融合机制来聚合双分支网络的特征，最后将融合后的特征用于帧级检测。在UCF101-24和JHMDB 2个数据集上进行了实验，结果表明，该方法能够充分融合空间和时间维度信息，在基于视频的时空行为检测任务上具有较高的检测精度。

行为检测；非局部模块；3D卷积；注意力机制

随着视频采集设备的广泛使用，当前的视频监控平台已无法应付日益剧增的海量数据，因此对视频内容进行自动智能分析十分必要。近年来，基于深度学习的视频行为检测技术成为了国内外广大研究者的热点课题。行为检测是指对于给定的视频，识别其包含的行为类别和主体，并确定行为在视频中出现和截止的时刻。行为检测在安防监控等视觉领域有着广泛地应用。

现有的行为检测方法主要有2种：①基……