基于最小二乘生成对抗网络的人脸图像修复研究
2020-08-14谢卓然寸怡鹏姜德航
科技视界 2020年22期
谢卓然 寸怡鹏 姜德航 王 菲
0 引言
随着计算机硬件的飞速发展,深度学习的出现使得计算机视觉课题中的许多难题迎刃而解。但即便在这种情形下,要想让计算机学习并拥有修复一张图片中的缺失部分的能力依然是一件很有挑战性的事。而本文讨论的图像修复方法正是结合深度学习中的生成对抗网络(Generative Adversarial Network,后称GAN),并以最小二乘作为GAN 损失函数的一种图像修复方法。我们称这种网络结构为:最小二乘生成对抗网络(LeatSquare GenerativeAdversarial Network,后称 LSGAN)。
1 现存图像修复方法及问题
1.1 Criminisi 修复
Criminis 算法[1]的本质是将图像本身的纹理“复制粘贴”到破损区进行修复。

图 1 Criminisi 修复算法原理
如图1 所示为Criminis 算法修复残缺图片的过程:Ω是图像中待修补的部分,则可以用∂Ω 表示其边界;Φ 为图像剩余区域;算法在边界先选一以p 点为中心的区域Ψp 作为当前修复目标 ,再到已知的Φ 中搜索一与其纹理最为相似的Ψq,如图1(b)所示。最后复制粘贴到破损部分进行修复形成图1(c)的结果,以此类推。
1.2 数据驱动修复
数据驱动修复图像[2]的方法不将图像修补的素材局限在破损图像本身,而是利用互联网上丰富的图片来解决Criminisi 算法中,不能在剩余图像中找到与待修复区相匹配的纹理的问题。
该方法首先从互联网中挑选数百个与待修复图像最为相似的图片,并用Oliva A 等人[3]计算图像匹配特征向量。接着根据上下文的匹配误差,选择最佳的补全位置。最后返回20 个最佳补全结果供用户挑选。
这种方法抛弃了Criminisi 算法中修补材料只能来源于破损图片的局限性,为如何修复图像提出了新思路。……
登录APP查看全文
