深度学习单帧图像超分辨率重建研究综述
2021-04-17曲延云李翠华王菡子
曲延云,陈 蓉,李翠华,王菡子
(1.厦门大学信息学院,福建 厦门 361005;2.西藏民族大学信息工程学院,陕西 咸阳 712082)
单帧图像超分辨率重建(single image super-resolution reconstruction,SISR)技术是指将一幅低分辨率(low-resolution,LR)图像重建成一幅高分辨率(high-resolution,HR)图像的过程,有着广泛的应用,常被应用于医疗成像、卫星遥感、公共安全监控、多媒体通讯等领域.
SISR是一类典型不适定问题.首个基于深度学习的超分辨率卷积神经网络(super-resolution convolutional neural network,SRCNN)[1]通过学习大量的外部图像数据集,实现了一种端到端的解决方案,避免了繁琐的图像预处理过程,也为后续众多的SISR模型奠定了研究基础.SRCNN在定性和定量指标上都超过传统SISR方法,取得突破性增益值.目前,基于深度学习的SISR方法进入快速发展期,大量的研究成果已发表在国际计算机视觉、图像处理与信号处理领域的顶级会议和期刊上.不仅如此,还出现了多篇基于深度学习的SISR综述性论文:2017年,孙旭等[2]从网络类型、网络结构、训练方法等方面综述了现有SISR技术的优势与不足, 梳理了基于深度学习的SISR的发展脉络.2019年,Wang等[3]从有监督、无监督和典型应用领域三个方面,全面阐述了基于深度学习的SISR技术.同年,Yang等[4]从基于深度学习的SISR的两类核心问题(神经网络结构和目标优化函数)出发,对每一类都建立一个基准,总结关键问题并给出关键解释和分析.2020年,唐艳秋等[5]从模型类型、网络结构、信息传递技术等方面详述了各种深度学习SISR方法.
自2010年起,厦门大学信息学院视频和图像处理实验室在SISR上进行了深入的研究[6-18],催生了一批深度学习的重要成果:利用深度玻尔兹曼机(RBM)进行SISR研究[14],是利用深度学习解决SISR问题最早的论文之一;……