基于动态自适应层叠网络的轻量化图像超分辨率重建
2022-12-13张法正杨娟汪荣贵薛丽霞
张法正,杨娟,汪荣贵,薛丽霞
(合肥工业大学计算机与信息学院,合肥 230009)
0 概述
单张图像超分辨率(Single Image Super-Resolution,SISR)重建将一个低分辨率(Low Resolution,LR)图像映射到一个高分辨率(High Resolution,HR)图像,已广泛应用于安保系统[1]、智能监控系统[2]、医学图像增强[3]等领域。由于一个特定的低分辨率图像可能对应多个高分辨率图像,因此SISR 是一个高度病态的过程。研究人员提出基于插值[4]、基于重构[5],以及基于学习[6-7]的SISR 方法,其中基于卷积神经网络(Convolutional Neural Network,CNN)的SISR 方法因其强大的表征能力而具有优异的重建性能。
深度学习已经成为计算机视觉领域的重要工具,通过构建端到端的卷积神经网络来学习低分辨率到高分辨率之间的映射关系。DONG 等将超分辨率重建任务和深度学习相结合,提出只包含3 层卷积层的超分辨率重建网络SRCNN[8],具有较优的重建效果。为提高网络模型的映射能力,KIM 等根据残差学习原理,提出更深的网络VDSR[9]和DRCN[10]。TAI 等在DRRN[11]中引入递归残差块,降低网络的训练难度并通过递归块减少网络参数。这些方法都是通过插值将低分辨率图像放大到与高分辨率图像相同的尺寸,进而提取特征,导致网络的训练时间延长。针对该问题,SHI 等提出ESPCN[12],在网络末端通过亚像素卷积将初始低分辨率图像放大到与高分辨率图像一致的尺寸。后续很多网络模型结合亚像素卷积的优点,重建效果都得到了一定程度的提升。LIM 等考虑到BN 层对超分辨率重建效果的影响,利用残差块堆叠出EDSR 网络[13],并去掉相应的BN层。ZHANG等在RCAN[14]中引入SE[15]模块,在每个残差块中加入SE 模块,使网络在传递信息的过程中不断被修正,从而提高模型的性能指标。……
