朱朴怀 朱航霖 张剑

摘  要： 在视频监控中，常常需要根据低分辨率图像辨识身份，此时人脸图像超分辨率技术将起到重要作用。为此提出一种基于深层自编码器的深度学习方法，用基于深层自编码器的深度前馈神经网络学习高-低图像块间的映射关系，结合分块超分辨率和基于邻域嵌入的残差增强得到最终结果。该算法得到的高分辨率图像与真实图像整体上较为相似，并具有一定細节信息。该技术在数字娱乐、安全监控等领域有潜在应用价值。

关键词： 人脸超分辨率; 自编码器; 深度学习; 前馈神经网络

中图分类号：TP391          文献标志码：A     文章编号：1006-8228（2019）01-67-04

Abstract： In video surveillance， identifying a person with low-resolution face is a common problem， and face super-resolution plays important role in this context. This paper proposes an auto-encoder-based deep learning method to address this problem in which multiple deep feed forward neural network based on auto-encoders are trained to learn the mapping from the low-resolution image blocks to their high-resolution counterparts. Then the high-resolution image can be obtained by using both block-wise super-resolution and neighbor embedding-based residue compensation. Images produced by this method share global similarity with the ground truth high-resolution faces and contain obvious local details. This technique has potential application value in digital entertainment， security monitoring and other fields.

Key words： face super-resolution; auto-encoder; deep learning; feed forward neural network

0 引言

在视频监控中，摄像头拍摄的人脸图像往往具有较低分辨率，对身份识别产生了不利影像。因此，研究基于单幅图像的人脸超分辨率（Face Super-Resolution，FSR）技术将具有重要意义。

基于单幅图像的FSR技术主要依靠机器学习方法实现。核心思想是利用机器学习方法得到高-低分辨率样本图像之间的映射关系，基于此对给定的低分辨率人脸图像进行超分辨率。Liu等人利用线性子空间分析建立映射，实现全局超分辨率，并利用马尔可夫随机域对图像的残差信息进行建模，从而增强重建图像的局部细节[1]。Zhuang等人利用流形学习实现全局超分辨率，采用局部邻域嵌入技术增强图像的局部细节信息[2]。Li等人采用非参数化贝叶斯方法对低分辨率图像聚类，再用回归建立低分辨率类簇到高分辨率图像的映射[3]。Liu等人用SIFT流方法计算测试图像和样本集中低分辨率图像的对应关系，在贝叶斯框架下利用高分辨率样本图像得到超分辨率后的图像[4]。……