基于压缩域新时空特征的视频动作识别
2021-04-16江凯华江小平丁昊石鸿凌李成华
中南民族大学学报(自然科学版) 2021年2期
江凯华,江小平,丁昊,石鸿凌,李成华
(中南民族大学 电子信息工程学院 & 智能无线通信湖北省重点实验室,武汉 430074)
近年来,基于压缩域的深度学习方法在视频动作识别任务中表现出优异性能[1].这类方法降低了原始视频的冗杂信息且提高了动作识别任务的识别效率,并在光流的监督下获得良好的效果.随着压缩视频动作识别算法的不断改进,这类方法已从直接使用粗糙的运动矢量和残差,发展至以运动矢量模拟光流或以残差逼近原始图像.在基于压缩域的视频动作识别算法研究中,文献[1]率先提出基于压缩域的视频动作识别方法并取得良好的实验结果.该方法以像素域动作识别双流模型为基础,主要思路是利用压缩域特征替换像素域特征来完成模型的训练.该文以I帧、运动矢量和残差为独立特征的“三流”方法解释运动的思路启发了后续动作识别算法研究.受生成对抗性网络(GAN)和光流[2]的启发,文献[3]设计了一个小型生成对抗性网络来完成动作识别任务.该方法的主要思想是联合运动矢量和像素残差对光流进行模拟,借此达到以假乱真的效果.该方法虽然增强了压缩域视频动作识别网络的稳健性、差异性,但生成器和判别器的训练与光流的提取无意间增加了计算开销,且未能大幅提升动作的识别精度.尽管在外部光流的监督学习下压缩特征能提高动作识别的精度,但大幅增加的计算开销也不容小……
登录APP查看全文