◆毛志炜 朱铮宇

基于生成对抗网络的唇形重建改进方法

◆毛志炜 朱铮宇通讯作者

（广东技术师范大学电子与信息学院 广东 510665）

在视觉语音识别（Visual Speech Recognition，VSR）研究领域，已有的研究表明，基于正面的视图语音识别率是非常高的。而用于视觉研究的额叶面语料库很少。一方面，研究者从非正面视图（尤其是大角度）尝试提高视觉语音的识别效率；另一方面，研究者试图找到解决在现实场景下难以获取正面视图而从非正面视图进行重构正面视图的方法。本文就是基于第二种方案，基于生成对抗网络（GAN）强大的图像生成能力，对多角度视觉库中唇部进行正面视图重建。本文模型采用了U-Net网络结构，添加身份一致性损失Lid，在重构正面唇形的同时，保留了身份特征。

视觉语音识别（VSR）；GAN；U-Net；图像重建；身份损失

1 研究背景

语音识别作为人工智能领域重要的一类，近些年发展非常迅猛。而视觉唇读语音识别也是其中的研究热门。我国语音技术发展相对于发达国家来说还不够完善，尤其是视觉语音识别方便的研究相对甚少。缺少合适的语音视听研究语料库是存在的突出问题。

近些年，随着硬件水平的提高，也带动了深度学习领域飞速发展。深度学习成了继人工智能、大数据又一热门的词汇。在深度学习领域，2014年基于自编码器改进的对抗生成网络的诞生，改变了传统的机器学习方式，尤其在和卷积神经网络融合之后。现如今，对抗生成网络成为图像处理领域绕不开的一个模型。……