基于无配对生成对抗网络的图像超分辨率重建

2021-10-09李学相刘成明

郑州大学学报(工学版) 2021年5期

关键词：模型

李学相，曹淇，刘成明

(郑州大学软件学院,河南郑州 450002)

0 引言

将低分辨率(low resolution， LR)图像经过一系列变换得到高分辨率(high resolution，HR)图像的任务称为图像超分辨率[1]。图像超分辨率作为比较基础的视觉问题，越来越受到计算机视觉界的广泛关注，并且在军事、医学、安全等领域拥有广阔的应用前景[2]。

基于深度学习的超分辨率(super resolution,SR)任务是近年来研究的热门问题。Dong等[3]提出的基于3层卷积的端到端的模型SRCNN是图像超分辨率在深度学习方面的开篇之作，为此后各种基于深度学习的工作指明了方向。为了提升SR的性能，各种深度学习的模型被提出。随着网络的加深，超分辨率在PSNR(峰值信噪比)和SSIM(结构相似性)指标[4]方面取得了不错的成果，但所得到的图像缺乏高频纹理细节，在视觉质量方面达不到满意的效果。针对此问题，Ledig等[5]提出利用残差块建立的基础模型SRGAN，构建了基于生成对抗网络(generative adversarial network，GAN)超分辨率重建的经典模型，在图像感知质量方面取得了较好的效果。

但是，SRGAN在其结果方面展现了极度的不稳定性，部分图像出现伪影现象[6-7]，其结果在PSNR与SSIM方面产生了较大偏差，如图1所示。在真实场景中，SRGAN表现出了极高的不适应性，包括噪声以及下采样未知等问题。同时，在传统的卷积神经网络工作中，通常使用最大化池或平均池和全连接层来获取一阶统计量，而二阶统计量被认为是比一阶统计量更好的区域描述符[8]。