蒋圣南， 陈恩庆， 郑铭耀， 段建康

基于ResNeXt的人体动作识别

蒋圣南， 陈恩庆， 郑铭耀， 段建康

(郑州大学信息工程学院，河南 郑州 450000)

人体动作识别是计算机视觉领域的核心研究方向之一，在很多场合都有应用。深度卷积神经网络在静态图像识别方面已取得了巨大成功，并逐渐扩展到视频内容识别领域，但应用依然面临很大挑战。为此提出一种基于ResNeXt深度神经网络模型用于视频中的人体动作识别，主要包括：①使用新型ResNeXt网络结构代替原有的各种卷积神经网络结构，并使用RGB和光流2种模态的数据，使模型可充分地利用视频中动作外观及时序信息；②将端到端的视频时间分割策略应用于ResNeXt网络模型，同时将视频分为段实现对视频序列的长范围时间结构进行建模，并通过测试得到最优视频分段值，使模型能更好地区分存在子动作共享现象的相似动作，解决某些由于子动作相似而易发生的误判问题。通过在动作识别数据集UCF101和HMDB51上进行的测试表明，该模型和方法的动作识别准确率性能优于目前文献中的一些模型和方法的性能。

动作识别；ResNeXt；视频时间分割；数据增强；多模态

在视频中识别人体行为是一项具有挑战性的任务，也是计算机视觉领域的核心任务之一，并受到了研究人员的广泛关注[1-6]。其在行为分析、人工智能交互、视频监控等领域均有重要的应用。与静止的图像分类相比，视频的时间分量提供了用于识别的重要线索，因此基于运动信息可识别多个动作。……