英伟达AI算法提升视频会议体验
2021-08-16宋奇
宋奇

受新冠疫情的影响,加速了各行业企业移动化办公的需求,这期间,有大量的用户和企业选择了线上视频会议。那么,应该如何在视频会议中展现更完美的自己呢?
近日,2021年国际计算机视觉与模式识别会议(CVPR 2021)正式召开。基于GAN研究的NVIDIA Maxine云AI视频流SDK现已在CVPR 2021上展出。让我们看一看GAN研究是如何重塑視频会议的呢?
起床、启动笔记本电脑、打开网络摄像头——得益于NVIDIA研究人员开发的AI技术,每次都能在视频通话中展现完美的自己。
Vid2Vid Cameo 是用于视频会议的NVIDIA Maxine SDK 背后的深度学习模型之一,它借助生成式对抗网络(GAN),仅用一张人物2D图像即可合成逼真的人脸说话视频。
要使用该模型,参与者需要在加入视频通话之前提交一张参照图像(真实照片或卡通头像)。在会议期间,AI模型将捕捉每个人的实时动作,并将其应用于之前上传的静态图像。
也就是说,上传一张穿着正装的照片之后,与会人员即使头发凌乱、穿着睡衣,也能在通话中以穿着得体工作服装的形象出现,因为AI可以将用户的面部动作映射到参照照片上。如果主体向左转,技术可以调整视角,以便参与者看上去是直接面对摄像头的。
除了可以帮助与会者展现出色状态外,这项AI技术还可将视频会议所需的带宽降低10倍,从而避免抖动和延迟。它很快将在NVIDIA Video Codec SDK 中作为AI Face Codec 推出。
NVIDIA研究人员兼项目的联合创作者Ming-Yu Liu 表示:“许多人的互联网带宽有限,但仍然希望与朋友和家人进行流畅的视频通话。这项基础技术除了可以为他们提供帮助外,还可用于协助动画师、照片编辑师和游戏开发者的工作。……
