欧静 文志诚

摘  要：针对当下大面积人脸图像修复过程中广泛存在的色彩差异及生成内容丢失主要面部辨识特征等问题，文章提出一种端到端的三分支修复网络结构——TreeNet。单阶段的生成网络结构简单清晰且参数量较少，其中，逐像素滤波操作有益于减少色彩误差，促进生成图像的细节表达，记忆转化模块促使网络在结构记忆存储器中搜寻相关结构信息以重建缺失纹理信息。测试结果表明，TreeNet可以生成五官结构更加清晰自然、细节色彩更加逼近原图的人脸信息。

关键词：深度学习；生成对抗网络；人脸修复；像素滤波

中图分类号：TP391.4  文献标识码：A  文章编号：2096-4706（2023）09-0094-05

Abstract： To solve the problems of color difference and loss of main facial recognition features in the process of large-scale face inpainting， this paper proposes an end-to-end three branch repair network structure TreeNet. The single stage generation network has a simple and clear structure with fewer parameters. Among them， pixel by pixel filtering operation is beneficial for reducing color errors and promoting the detailed expression of generated images. The memory conversion module enables the network to search for relevant structural information in the structural memory storage to reconstruct missing texture information. The test results show that TreeNet can generate facial information with clearer and more natural facial features and more detailed colors that approximate the original image.

Keywords： deep learning; generative adversarial network; face restoration; pixel filtering

0  引  言

人脸图像去遮挡及修复是图像修复领域的重要研究课题，而今，在实际应用场景中，人脸图像修复常被用于消除因人为遮挡（口罩、帽子、手势遮挡等）和损毁造成的人脸识别失败等情况。因此，人脸修复方法始终面临两大挑战：一是如何生成准确度更高，更贴合原文的图像结构；二是在待处理图像丢失主要面部结构信息时，如何使网络对图像的处理更具有针对性。

针对以上问题本文提出一种新的网络结构——TreeNet，即基于多级交互滤波思想的多尺度特征融合神经网络。TreeNet摈弃了繁复冗余的多阶段深度神经生成网络，试图构建一种单阶段可实现端到端训练和生成的图像修复网络。因此我们遵循传统的对抗生成网络结构思想，并在此基础上引入滤波核处理思想[1]。其次，为应对大面积连续缺失带来的人脸面部结构信息丢失的状况，网络增加了记忆力模块分支。……