复杂背景下基于深度学习的视频动作识别
2020-07-15潘陈听谭晓阳
潘陈听,谭晓阳
(1.南京航空航天大学计算机科学与技术学院,江苏 南京 211106; 2.模式分析与机器智能工业和信息化部重点实验室,江苏 南京 211106; 3.软件新技术与产业化协同创新中心,江苏 南京 211106)
0 引 言
随着近年来计算机存储量的爆炸式增长以及网络的快速发展,视频逐渐成为人们日常面对的一类数据。自2012年AlexNet提出以来,图像识别取得了很大的进展。深度学习在图像识别问题上的优异表现也带动了视频动作识别的快速发展。视频动作识别作为机器视觉领域内一个比较年轻也极具挑战性的问题,需要应用图像处理与机器学习等方面的相关知识。视频动作识别从长远来看有着极佳的商业价值,其在物联网方面被用于智能监控;在三维游戏方面被用于人机交互;在智能零售方面被用于顾客行为分析等。然而获取的视频数据通常不是理想条件下的数据,其会受到阴影、人体晃动、背景移动等各种背景因素的干扰。因此研究在复杂背景下的人体动作识别也是一个非常重要的挑战。
视频动作识别,即视频分类,与图片识别的不同之处在多帧图像所隐含的时域信息。为了利用时域信息,目前主要有双流网络、3D神经网络以及循环神经网络( Recurrent Neural Network,RNN)[1]和卷积神经网络(Convolutional Neural Network,CNN)[2]相结合3类算法。本文以双流网络为基础,采用与机器翻译领域的自注意力[3]机制类似的非局域方法[4-5],提出非局域时间段网络以及改进的混合型非局域时间段网络,用于视频分类。该方法在双流网络的基础上,通过增添非局域计算使网络能关注到更大范围的信息,而在非局域计算中融入光流信息则能使网络更精确地将注意力放在动作区域,从而增强对视频复杂静态背景的鲁棒性。……
