增强卷积神经网络的人脸篡改检测方法
2021-04-23张韩钰吴志昊
张韩钰,吴志昊,徐 勇,陈 斌
1.哈尔滨工业大学(深圳)计算机科学与技术学院,广东 深圳518000
2.深圳市目标检测与判别重点实验室,广东 深圳518000
3.深圳市云天励飞技术有限公司,广东 深圳518040
当前,随着计算机视觉的发展,图像和视频篡改变得越来越容易,甚至可以达到以假乱真的程度。人脸这种具有身份标志性的特征,如果被篡改,会带来身份被盗用或被“嫁接”的严重问题。近年,经由Deepfake这种深度学习换脸算法产生的假视频在互联网上广泛传播,已经对不少公众人物产生了很大的负面影响。
识别一张人脸是否被篡改是一个典型的二分类问题。2012 年,Fridrich 等人[1]手动提取图像特征并使用SVM[2]方法判断图像是否被篡改。2016年,Rahmouni等人[3]利用CNN 架构并使用全局池化层计算特征的统计信息来判断图像的真假情况。2017年,Zhou等人[4]提出了两阶段神经网络算法,但是存在结构复杂、准确率低等问题。2018年Afchar等人[5]提出了一个基于Inception[6]的MesoInception-4模型,并达到了不错的效果。2019年,Sabir 等人[7]提出使用循环神经网络(Recurrent Neural Network,RNN)来从时序上判断人脸视频是否被篡改。Rössler等人[8]发布了一个人脸视频篡改的数据集,并使用预训练模型Xception[9]训练了一个效果不错的模型。这些方法都在一定程度上解决了换脸视频检测问题,但是基本上都存在准确率较低、训练过程复杂或者对未知篡改方式泛化能力低下等问题。
鉴于此,本文基于一个性能优异的预训练模型resnext101_32x8d_WSL[10]进行人脸篡改检测。为了减轻模型训练时的过拟合并增强模型的鲁棒性,在训练时使用cutout[11]数据增强技术,随机遮盖图片的一部分,使得神经网络不会过分依赖人脸图像的某一个特征来区分图像的真假。……
