基于特征图注意力机制的图像超分辨率重建
2021-03-18鲁甜,刘蓉,刘明,冯杨
鲁 甜,刘 蓉,刘 明,冯 杨
(1.华中师范大学物理科学与技术学院,武汉 430079;2.华中师范大学计算机学院,武汉 430079)
0 概述
图像超分辨率(Super-Resolution,SR)重建由HARRIS 等人于20 世纪60 年代提出,其按照重建时输入所需低分辨率(Low-Resolution,LR)图像数量可分为单幅重建和多幅重建。单幅图像超分辨率(Single Image Super-Resolution,SISR)重建问题是一个不适定的逆问题,旨在将LR 图像通过一定的算法重建到视觉较好的高分辨率(High-Resolution,HR)图像上。
随着深度学习的快速发展以及高性能GPU 的出现,以卷积神经网络(Convolutional Neural Networks,CNN)为代表的学习方法[1-3]广泛应用于SR 图像中,通过学习LR 到HR 的非线性映射构造HR 图像。文献[1]将三层CNN 引入SR 图像中,并构建基于CNN的超分辨率重建(Super-Resolution using CNN,SRCNN)模型,该网络模型的3 个卷积层分别表示特征提取、非线性映射和图像重建,其可直接学习LR图像与HR 图像之间端到端的映射关系,取得相较传统方法显著的改进效果。文献[4]提出一种基于较深卷积网络的精准超分辨重建模型,其将网络深度增加到20 层,并通过残差学习和自适应梯度裁剪来降低深度网络的训练难度。为控制模型的参数数量,文献[5]提出一种通过递归监督和跳过连接的深度递归卷积网络(Deep Recursive Convolutional Networks,DRCN),其相比SRCNN 取得显著效果。在文献[6]提出残差网络(ResNet)后,很多研究人员将残差网络引入基于CNN 的图像超分辨率方法中。文献[7]利用多层连接CNN 实现低层次特征和高级特征的级联。文献[8]通过使用简化的残差块构建较宽网络EDSR 和较深网络MDSR(大约有165 层),EDSR 和MDSR 对超分辨重建图像性能的显著改进证明了网络深度对SR 的重要性。……
