基于双流网络融合与时空卷积的人体行为识别
2021-11-10秦悦石跃祥
计算技术与自动化 2021年2期
秦悦 石跃祥



关键词:深度学习;时空卷积网络;双流融合网络;R(2+1)D
近年来,随着计算机科学与信息技术的快速发展,深度学习在计算机视觉领域取得了一系列显著成果。鉴于互联网上多媒体视频的激增,视频行为识别在视频监控,人机交互和社交视频推荐等方面也出现了广泛的应用。行为识别已经成为计算机视觉重要分支中一个研究重点和难点。现阶段,该项研究仍存在许多困难。第一,相比图像识别,视频多出一个时序维度,即不仅要得出每帧视频的静态空间结构信息,还要考虑视频每帧之间的相似性问题和时态变化信息。第二,为了提高网络的学习能力,研究中的深度学习算法不断加深网络,容易出现效果变差的退化问题。尽管任何视频帧都可用图像来表示,但对仅基于动作外观无法捕获的运动模式,特定的时空表示显得至关重要。因此这项任务的关键在于如何合理使用深度神经网络进行时空特征的联合提取。空间特征主要涉及到视频动作中主体对象的外观描述和环境描述,其本质即静态图像识别,因此应着重加强空间建模能力,从而更高效地获取空间语义。对此深度卷积神经网络(CNN)方法已取得很好的效果并广泛应用。时间特征是通过捕获光流特征——在几个连续帧之间堆叠的光流位移场,明确地描述视频帧之间的运动特征。光流网络不需要隐式地估计运动类别,可大大降低识别的难度。
针对时空特征的联合问题,研究人员提出众多办法。……
登录APP查看全文
