基于注意力融合网络的视频超分辨率重建
2021-04-20卞鹏程郑忠龙李明禄何依然王天翔张大伟陈丽媛
卞鹏程,郑忠龙,李明禄,何依然,王天翔,张大伟,陈丽媛
(浙江师范大学数学与计算机科学学院,浙江金华 321004)
0 引言
超分辨率(Super-Resolution,SR)技术的主要目的是通过对低分辨率(Low-Resolution,LR)图像填充丢失的细节信息重建出对应的高分辨率(High-Resolution,HR)图像。超分辨率技术可以分为单幅图像超分辨率(Single Image Super-Resolution,SISR)[1-6]重建、多幅图像超分辨率(Multi-Image Super-Resolution,MISR)[7-8]重建和视频超分辨率(Video Super-Resolution,VSR)[9-12]重建。SISR 重建技术主要是通过利用图像先验或者图像内部的自相似性进行重建,而VSR 重建技术不仅可以利用帧内的空间信息,也可以通过显式或隐式的特征对齐进行运动估计和运动补偿,挖掘相邻帧与参考帧之间的时间关系,用于指导目标帧的重建。超分辨率技术应用广泛,主要应用领域有医学影像处理、视频监控、遥感卫星图像处理、刑事案件侦破和超高清产业[13]。
由于超分辨率重建是一种不适定问题,对于单一的低分辨率图像或者视频帧,可能存在许多不同的高分辨率图像与之对应。利用深度学习算法,模型可以直接学习从低分辨率图像到高分辨率图像的端到端映射函数,从而对生成高分辨率图像的过程进行指导和约束。目前,由于深度学习的不断发展,出现了很多基于深度学习的超分辨率重建方法,研究人员在特征提取、非线性映射和重建的架构,以及损失函数、学习策略和评价指标等各个方面开展了广泛的研究,也取得了不断的突破[14]。
现有的基于深度学习的视频超分辨率方法一般有特征提取、对齐、融合和重建四个步骤,特征对齐和融合主要是对多帧进行显式或隐式的运动估计和运动补偿,当视频中存在遮挡、复杂的运动等问题时,特征对齐和融合的策略对视频帧重建的质量起着关键的作用[12]。……
