基于生成对抗网络的超低分辨率视频中动作识别算法
2021-06-16刘松
电子技术与软件工程 2021年7期
关键词:动作
刘松
(四川大学电子信息学院 四川省成都市 610065)
本文的主要贡献可以概括如下:
(1)提出了一个基于超分辨率重建生成对抗网络的超低分辨率动作识别算法。据我们所知,这是超分辨率重建方法第一次应用于低分辨率动作识别领域。
(2)我们在网络训练中使用了我们称之为长范围时域卷积的新的训练策略,该训练策略取得了很好的效果。
(3)大量的实验表明我们的方法的有效性和优越性。在只采用RGB 图像的情况下,与其他使用了光流图像作为输出的算法相比也毫不逊色。
1 算法描述
1.1 超分辨率模块
如之前的研究工作所假设那样,我们在训练阶段也使用了高分辨率视频。但和半耦合和全耦合网络相比,我们并不如他们那样简单地采用高分辨率图像作为网络输入以辅助训练,我们为了在动作识别模块获得更易识别的特征,我们通过一个生成对抗网络通过学习高低分辨率数据之间的映射以恢复低分辨率图像。图1 展示了我们的超分辨率生成对抗网络的大致架构。
1.1.1 生成对抗网络
自生成对抗网络[2-3]提出以来,其在生成逼真图像方面的优异表现一直令人印象深刻。生成对抗网络通过一个对抗过程轮回优化生成器和判别器,使得生成器达到最优状态。生成对抗网络的损失函数可以表示如下:

其中,x 代表真实数据,z 表示随机噪声,Dθ和Gw分别代表判别器和生成器。
我们本文的目标是自低分辨率图像恢复出高质量图像,同时获得易于识别的特征,因此我们的输入应该是低分辨率图像而不是随机噪声。……
登录APP查看全文
