神经辐射场加速技术综述
2023-05-13郑清芳ZHENGQingfang
郑清芳/ZHENG Qingfang
( 1. 中兴通讯股份有限公司,中国 深圳 518057;2. 移动网络和移动多媒体技术国家重点实验室,中国 深圳 518055)
过去10 年,视频相关技术[1-5]领域最深刻的变革发生在内容分析方面。自从2012年AlexNet[6]在ImageNet大规模图像识别挑战(ILSVRC)竞赛中夺冠以来,基于深度学习的计算机视觉技术突飞猛进,将内容分析的准确率提升至前所未有的水平,并催生出巨大的市场应用规模。以人脸识别为代表的各项视频内容分析技术走出实验室,服务于千行百业。
未来10 年,同样激动人心的突破有望发生在视觉内容生成方面。简单便捷地从2D视频/图像集中合成出崭新视角的视频/图像,甚至重建出物体及场景的3D模型,并且画质达到照片级的逼真度和清晰度,一直是内容生成方面的长期技术研究课题[7]。2020年美国加州大学伯克利分校的研究团队提出神经辐射场技术(NeRF)[8]。NeRF 因其创新的方法及突出的效果,吸引了业界的广泛关注,成为视图合成/3D重建领域新的技术框架。自从发表后近两年的时间里,该NeRF 论文被引用超过1 000 次。同时业界研究者对NeRF 技术进行了大量的改进,并将其应用领域扩展到视频编辑[9]、数据压缩[10]、虚拟人[11]、城市建模[12]、地图构建[13]等诸多方面。
NeRF 技术的一个显著缺点是模型训练及图像渲染的速度极慢。在Nvidia的高端显卡上,训练一个场景的模型需耗时1~2 d,而从模型中渲染出一幅800×800分辨率的图像需耗时超过20 s。运算速度方面的不足阻碍了NeRF 技术在实际应用中的部署。可喜的是,经过业界研究者近两年的努力,渲染速度提升超过10 000 倍[14],训练速度提升超过300倍[15]。……
