APP下载

拓展虚拟视界—移动虚拟现实的未来

2016-09-15ARM高级图形架构设计工程师

单片机与嵌入式系统应用 2016年8期
关键词:显示器应用程序流程

ARM高级图形架构设计工程师

Sam Martin



拓展虚拟视界—移动虚拟现实的未来

ARM高级图形架构设计工程师

Sam Martin

如果你还未曾见过人们初次体验虚拟现实(VR)的情景,强烈建议你来感受一下。无论是七岁的孩童,还是七十岁的老人,他们戴上眼镜之后,都情不自禁会像演员一般手舞足蹈,伸长着脖子,盯着周围的虚拟空间,仿佛突然进入了全新的世界维度。然后,他们还会兴奋地分享眼前景象。这让我想起随身听兴起的那些日子,我们兴奋地朝着对面的人大声说话,却忘了歌曲只有自己才能听见。

这样来介绍VR非常贴切:这是一个令人兴奋的新事物,能够立刻吸引你,让你情不自禁地想要和别人分享。的确,Facebook收购Oculus,说明他们已经看到了VR应用于社交媒体的巨大潜力。想象这样一个未来场景并不困难:我们坐在虚拟咖啡厅,对着亲朋好友栩栩如生的头像聊天;或者在你最喜爱的社交网络上浏览VR视频和360度全景照片,而事实上,你却只是穿着睡衣坐在家里的沙发上。关于VR未来发展的展望无处不在,然而,VR未来将如何被使用和消费,我们仍需拭目以待。就目前而言,也有一些其他技术拥有和VR同样的潜力和影响力,比如和VR来自同一家族的增强现实(AR)。本文将讨论当今的VR市场及其面临的挑战,并介绍一些能够实现VR的技术。

游戏被认为是VR率先采用的领域,尽管它只是VR技术众多潜在用途之一。VR技术打开了全新的世界,让游戏开发者可以营造更高级的沉浸感,创造全新的游戏机制、体验与控制方法,这些体验绝对是传统技术无法实现的。移动游戏刚问世时,很多开发商都只是单纯地将传统游戏移植到移动平台,但这一做法因无法实现而被舍弃。两者不同的控制方法和形状因子、多样化的用户与使用模式,以及移动市场截然不同的期望,都促使开发商必须重新思考移动游戏的核心。从PC、电视迁移到移动设备,游戏本身所受到的影响远远超过预期。今天,手机游戏仍然与PC、电视游戏共享品牌。尽管在高端设备上,已经可以支持相同的图像内容,但游戏行业已经知道了该如何调整传统游戏,使其更适应移动市场,并针对移动市场开发了完全不同的游戏类型。这样的转变推动了移动游戏市场的快速成长,有时,移动游戏的收益甚至超过传统的PC、电视游戏。

我们正处于新一轮的探索期:如何将VR更好地应用于游戏,了解哪些有用、哪些没用。所有人都在探寻并试图抓住这一千载难逢的机遇,接下来的数年将是见证奇迹的时刻,我们将亲眼目睹VR的发展和演化。历史的经验告诉我们,全沉浸式的游戏尽管可以营造出更加身临其境的感官体验,但是被外星人一枪爆头的感觉只会让人惊恐万分。相较于此,温和的娱乐形式尽管乍看起来没什么特别,但通常却更令人印象深刻。当然,不排除会有很多开发商觉得白天吓人一大跳是件值得骄傲的事情,有的玩家也很乐意体验一下世界最大的虚拟过山车是什么感觉。市场需求是多种多样的,所以不能一概而论。Oculus Store中多元化的应用告诉我们,“体验”和“概念”将各自衍生出全新的娱乐形式。即便只在其中添加细微的交互元素,也有可能打造出一款全新的“游戏”。

现在,已经很难找到哪个创意产业不考虑VR电影、照片及现场直播的潜在影响力。对媒体而言,VR将非常受欢迎。站在球场中间,参加你最喜欢的体育赛事,或亲临重大新闻事件,或目睹坐在身旁的演员捧得梦寐以求的奥斯卡奖,或者在美国下一任总统的就职典礼上占据靠前或居中的好位置。记者、剧院、艺术家、音乐家、教育中心和博物馆都已经蓄势待发,探索应用VR的可能性。尽管标准化的视频及图像容器与元数据技术都尚未成熟、亟待发展,但能够拍摄360°全景视频和照片的专业摄像机已悄然上市。此外,人们对消费型VR摄像机也抱有极大的兴趣,不远的未来,将可以通过VR拍摄猫咪过生日、全家度假的点点滴滴以及令你瞬间发笑的婴儿视频,相信这将引爆新一轮的社交分享狂潮。在探讨VR视频分享时,Facebook首席产品官Chris Cox如是说:“你会这样做,Beyoncé也不例外。”目前,Facebook和YouTube都已支持360° VR视频流及相关项目,以期进一步提高质量标准的Google Jump 就是一个例子。

并不是所有的VR视频都采用传统意义上的实景录制来完成拍摄。Oculus电影工作室正在探索利用游戏引擎技术来讲述动画故事——对故事进行渲染,而不是拍摄后的重新播放。“用VR进行故事讲述”的概念已经激发了很多天马行空的想象。不过,首次尝试将电影和游戏进行结合的时候,勇于吃螃蟹的制片方也尝到了痛苦的教训:尽管整合游戏技术可以打造沉浸式更强的故事情节,但将交互元素与故事情节随便杂糅只会营造出四不像的体验。即便挑战重重,使用渲染仍然是一项不错的技术选择。粗略计算,相比普通高清视频,高清立体的VR电影对视频流及编码的要求明显高出一个量级。如果使用传统方法进行视频拍摄、压缩及流化,大量的制作过程都会被浪费,360°拍摄的内容约有5/6都无法呈现在屏幕上。如果能够从用户取景的角度来考量,其实可以做得更好。这种新的思维方法特别适用于内容渲染,并进一步突出视图自适应技术的优势。从OTOY和8i正在开发的新技术,或者光场相机相关及新型领域的快速成长中,不难发现,以GPU为中心的视频技术正快速发展,希望整个行业也可以跟上步伐。

图1 Huang et al的光照野外立体镜

实现高品质VR的挑战

高品质移动VR不仅对GPU有更高的要求,对整个系统都是很大的挑战。发热限值是VR设备的重要参数,为确保设备在运行时间内不超出发热限制,很多组件都需要重新设计,才能够实现视频、GPU和显示器的超低延迟、零拷贝路径,以及严格的功耗管理。Linux系统对实时操作的要求不高,但低延迟的VR应用则需要接近实时的系统运行。因此,线程间通信、线程优先级、动态调频调压(DVFS)以及其他系统集成细微的改变都会对“光子运动”关键路径的稳健性产生影响。暂时不谈VR,一款安卓应用需要经过操作系统的三重缓冲,仅仅图像提交路径就会产生50 ms的延迟。尽管最后的效果还过得去,短时视频体验也还不错,但是眼睛和屏幕的延迟非常明显。如此,看不了太久,延迟就会使人不舒服,甚至感到恶心,哪怕是观看相对静态的内容也不会有很大的改观。尽管VR体验让人印象深刻,但产业发展的重点是为大众市场带来高品质VR产品,只有如此,才能进一步释放其巨大的发展潜力。

业界通用的“光子运动”延迟最高为20 ms,只要低于20 ms,延迟就难以被察觉。对刷新率为60 fps的标准面板来讲,这一目标很难实现,但通过一系列技术的结合,三星Gear VR设备现在已经可以实现,比如异步时间扭曲流程、接渲染到显示器前置缓冲、使用低持续性的OLED显示器。

一旦通过应用框架,应用程序就可以收集最新的头部追踪数据,将当前世界渲染成“眼部缓冲区(eyebuffer)”(一种特殊纹理,对应左右眼分成逻辑两侧)。如果可能的话,建议应用程序以60 fps的速度运行,但实际应用中很难保证,所以将目标设定为30 fps更为现实。为了保证帧速率,降低有效延迟时间,异步运行的时间扭曲流程会负责收集最新的有效eyebuffer,并在显示器读取之前直接将其写入前置缓冲。安装ARM Mali GPU的“context-priority”扩展后,时间扭曲流程能采用单独的高优先级OpenGL ES(嵌入式系统开放图形库)内容进行渲染。提交高优先级内容后,GPU上现有的渲染工序会自动中断,完成高优先级内容渲染后再继续执行原有任务。采用该流程,时间扭曲流程可以及时提交渲染任务,显示器也可以再次读取返回的数据。时间扭曲流程对显示屏的渲染时间比应用程序更短,其获得的头部追踪数据也就更新、更快,进而可以调整eyebuffer内容,使之与头部的实际方向更加匹配。时间扭曲流程仅能针对头部转动进行调整,而无法根据头部固定位置或动画场景来调节,但在实际应用中,因为头部转动的时间延迟低于可被注意到的阈值,流畅的体验就可以形成。这种“刚好及时”将内容渲染到前置缓冲的方式最适合低持续性的OLED显示器。

对全局背光LCD显示器来讲,屏幕必须及时照亮单点图像。相反,低持续性OLED显示器的照亮时间很短,因为帧缓冲已经完成读取。若屏幕保持水平,使用慢动作摄影机观看,每一帧的画面都会看到一道在面板上从左到右运行的光波。这使得观看屏幕时,头部可以旋转至不同方向,并进一步降低延迟。

图2 减少延迟时间的方法

尽管延迟时间是一个亟待攻克的技术难关,但人们对VR的需求不会因此而终结。在头部佩戴镜头以放大面板倍率的做法,则进一步印证了我们对高清面板的渴望。哪怕原始分辨率已经达到1440p,面板的视差发光格栅仍清晰可见;但对分辨率大于1440p、帧率超过60 fps的显示屏来讲,还需要在系统上花更大的功夫,并进一步提高外置存储器带宽。随着压缩视频、GPU和显示器间的帧缓冲交换变得愈加重要,所有ARM IP均使用无损ARM帧缓冲压缩(AFBC)技术,以尽可能地减少帧缓冲存储器流量。还有一点非常重要,为了高效地创建eyebuffer,且无需为左右眼重复做功,应用程序需要更有效地渲染至多视图。在具备该技术的平台上,Mali可以支持“多视图”OpenGL ES扩展,允许应用程序在一帧图像到达驱动器后提交绘制命令,同步完成左右眼的eyebuffer创建。这一流程可以显著缩短应用程序和驱动器所需要的CPU计算时间。同时,我们进一步优化了Midgard Mali GPU的顶点运算能力,运行顶点着色器中不依赖眼睛的部分,并实现双眼共享。

Vulkan是Khronos公司开发的全新跨平台API,可以进一步降低CPU开销,让开发者对产品有更大的掌控力度,促进移动VR的发展。

VR是一项开创性的技术,正在快速发展。得益于现代移动设备的普及和强大功能,VR不再只是昂贵的定制台式机或控制台系统的专属。

为了真正实现VR,发挥其对世界的潜在影响,移动VR必须面向大众市场。作为这一领域的业界领袖,ARM致力于推动其持续发展并与合作伙伴密切协作,提供高品质的VR体验,发挥该技术的最大潜力,实现更加美好的虚拟世界。

猜你喜欢

显示器应用程序流程
吃水果有套“清洗流程”
把显示器“穿”在身上
删除Win10中自带的应用程序
IDC发布《2018年PC显示器市场跟踪报告》
一种新型点阵显示器的设计
谷歌禁止加密货币应用程序
违反流程 致命误判
本刊审稿流程
析OGSA-DAI工作流程
点距小也不怕