林 竹,王 敏

(河海大学 计算机与信息学院,南京 211100)

图像修复是在保证图像的清晰度和它的语义连贯性的前提下,利用图像中已有的信息,修补图像中的缺失信息或者移除图像中的特定信息的图像处理技术.此技术的核心挑战在于为缺失的区域合成视觉逼真和语义上合理的像素,以便与现有的像素保持一致.图像修复具有重要的现实意义,尤其在艺术作品的保护,修复老照片以及基于图像的渲染和计算机摄影方面有很多应用.

传统的图像修复方法多采用图像级特征来处理修复问题.块匹配(patch-match)[1]方法提出寻找最佳匹配的补丁块来重建缺失区域.此方法在本质上可以提供真实的纹理信息,但是他们仅仅是利用给定上下文的低级特征,缺乏预测上下文高层次特征的能力.

为了更好地提取语义层面的信息,也得益于神经网络和深度学习的不断发展,更多的基于深度学习的方法被提出.上下文编码器(context-encoder)[2]是语义修复的一个开创性方法,给定一个缺失区域的掩码,训练一个神经网络对上下文信息进行编码并对受损内容进行预测,同时利用对抗损失来使得生成的图像尽可能真实,能够较好地修复缺失区域.但是此方法仍然缺乏一些修复细节并且存在明显的修复痕迹.

为了能够修复更高分辨率的图像,Iizuka 等人提出添加膨胀卷积层来增加感受野并且联合局部和全局判别器提升修复的一致性[3].但是此方法无法修复缺……