刘鑫

摘要：针对低质新闻视频人脸比对识别问题，本文提出了一种关键帧增强与改进视觉Transformer模型相结合的低质新闻视频人脸比对方法，主要优点为：（1）基于内容和聚类结合，实现新闻视频关键帧的精简优化提取;（2）引入改进VDSR模型的超分辨率重建模块，对低质关键帧的人脸特征信息进行有效增强;（3）构建基于改进视觉Transformer的人脸识别比对模型，实现高精度的人脸比对。在网络新闻视频数据集上进行实验表明，该方法具有良好的人脸比对识别效果。

关键词：人脸识别;关键帧增强;聚类;VDSR模型;视觉Transformer

Abstract： This work proposed a video face recognition method based on key frame enhancement and improved vision Transformer model and applied to low-resolution news video face recognition. The advantages are three folds： （1） the key frames are optimally extracted based on content and clustering; （2） the face feature of low-resolution key frame is enhanced based on the improved VDSR model; （3） high precision face recognition is obtained based on improved vision Transformer model. Experiments on news videos illustrate the good performance of the proposed approach.

Key-Words：face recognition; key frame enhancement; cluster; VDSR; vision Transformer

1引言

新聞视频是世界各个国家对政要人物的官方言论、政外活动等行为进行披露和报道的重要渠道，也是基于网络开源数据进行大国关系趋势分析、国家政策分析等研究的重要基础，因此从海量新闻视频中进行政要人物的快速检索比对具有非常重要的意义，有助于实现政要人物动态跟踪，以及热点政外事件发现跟进等[1]。但是新闻视频由于视频源控制、上传压缩等因素常常导致视频质量较差，存在着分辨率低、画面模糊、人物多角度多光照等问题，另外，新闻视频一般时间较长，且画面内容经常来回切换（一是报道事件画面和新闻主播画面的来回切换，二是报道过程中的政要人物画面和其他画面的来回切换）。上述两方面的因素都使得基于低质新闻视频进行准确而有意义的政要人物比对变得十分困难。

视频人脸识别比对也被称为视频人脸检测识别。……