APP下载

英伟达AI算法提升视频会议体验

2021-08-16宋奇

计算机与网络 2021年12期
关键词:关键点模型研究

宋奇

受新冠疫情的影响,加速了各行业企业移动化办公的需求,这期间,有大量的用户和企业选择了线上视频会议。那么,应该如何在视频会议中展现更完美的自己呢?

近日,2021年国际计算机视觉与模式识别会议(CVPR 2021)正式召开。基于GAN研究的NVIDIA Maxine云AI视频流SDK现已在CVPR 2021上展出。让我们看一看GAN研究是如何重塑視频会议的呢?

起床、启动笔记本电脑、打开网络摄像头——得益于NVIDIA研究人员开发的AI技术,每次都能在视频通话中展现完美的自己。

Vid2Vid Cameo 是用于视频会议的NVIDIA Maxine SDK 背后的深度学习模型之一,它借助生成式对抗网络(GAN),仅用一张人物2D图像即可合成逼真的人脸说话视频。

要使用该模型,参与者需要在加入视频通话之前提交一张参照图像(真实照片或卡通头像)。在会议期间,AI模型将捕捉每个人的实时动作,并将其应用于之前上传的静态图像。

也就是说,上传一张穿着正装的照片之后,与会人员即使头发凌乱、穿着睡衣,也能在通话中以穿着得体工作服装的形象出现,因为AI可以将用户的面部动作映射到参照照片上。如果主体向左转,技术可以调整视角,以便参与者看上去是直接面对摄像头的。

除了可以帮助与会者展现出色状态外,这项AI技术还可将视频会议所需的带宽降低10倍,从而避免抖动和延迟。它很快将在NVIDIA Video Codec SDK 中作为AI Face Codec 推出。

NVIDIA研究人员兼项目的联合创作者Ming-Yu Liu 表示:“许多人的互联网带宽有限,但仍然希望与朋友和家人进行流畅的视频通话。这项基础技术除了可以为他们提供帮助外,还可用于协助动画师、照片编辑师和游戏开发者的工作。……

登录APP查看全文

猜你喜欢

关键点模型研究
一半模型
FMS与YBT相关性的实证研究
肉兔育肥抓好七个关键点
辽代千人邑研究述论
重尾非线性自回归模型自加权M-估计的渐近分布
视错觉在平面设计中的应用与研究
EMA伺服控制系统研究
3D打印中的模型分割与打包
医联体要把握三个关键点
锁定两个关键点——我这样教《送考》