深度生成式对抗网络的超分辨率图像修复与重建
2021-11-16李云红朱耀麟苏雪平谢蓉蓉
李云红,穆 兴,朱耀麟,汤 汶,苏雪平,谢蓉蓉
(西安工程大学 电子信息学院,陕西 西安 710048)
0 引 言
图像修复指的是利用图像修复算法将图像破损或残缺区域补全或填充。目前主流的图像修复算法以深度学习算法[1]为主,包括基于连贯语义注意的图像修复方法[2]、基于前景感知的图像修复方法[3]、基于卷积自编码的图像修复方法[4]、基于循环神经网络的图像修复方法[5]。生成式对抗网络(generative adversarial networks,GAN)[6]作为生成网络通过数据样本和弱标签的联合概率分布能充分挖掘深层网络的表达能力,但是该网络训练不稳定容易产生梯度消失或模型崩溃,使修复图像模糊不清晰。GULRAJANI等提出改进的瓦瑟斯坦生成式对抗网络(wasserstein generative adversarial networks,WGAN)[7],利用惩罚梯度构造损失函数,增加了样本生成的多样性,但其优化难度大,对于小样本数据集,修复图像容易产生模糊现象。DOSOVITSKIY等通过解码器网络反向表达深度卷积网络的特征信息对图像细节进行重建和修复[8],对图像大面积缺失纹理生成精度不高。文献[9]提出自变分编码器(variationl auto-encoder,VAE),通过学习数据生成分布,随机抽取样本并对随机样本进行解码,生成具有高斯似然分布的图像,一定程度上提高了图像的局部真实性,但是生成的部分图像仍然存在语义不连贯问题。YU等提出一种基于深度生成模型的方法[10],该方法利用上下文信息生成图像缺失区域的轮廓结构,对结构简单的图像修复效果较好,而对大面积缺失、纹理结构复杂的图像容易产生视觉上的不连续,对非纹理图像其补全区域会产生扭曲或模糊纹理现象。……
