虚拟现实头盔上的明珠,已经被摘下了吗? 2016年11月11日,最让热衷虚拟现实的科技男们兴奋的,不是得到了女神晚餐的邀请,而是HTC无线虚拟现实头盔发布的消息。是的,这一天应该被记住,就好像电话在一夜间进化为手机。 自从Oculus DK1引爆本次虚拟现实革命后,人们对VR体验的空间要求不断被刷新:桌面级三自由度、桌面级六自由度、站立式交互、房间级交互、仓库级多人交互,每一次升级都会带来更多的玩法和更好的沉浸式体验。随着空间要求不断变大,VR输入设备日新月异,但VR头显却发展缓慢,Palmer Luckey曾在CES上明确表示,制约站立式以上体验的最大障碍是电线。 剪掉VR头盔上的电线,真的那么难吗? 是的,因为VR头盔对技术指标要求极为苛刻。首先是延时,合格的VR体验对Motion to Photon的延时要求在20ms内,超过这个时间就容易造成眩晕;其次是分辨率,目前VR头显的主流分辨率是2.5k(2560*1440),在符合视角要求下低于这个分辨率会有明显纱门效应,破坏沉浸感;再次是渲染能力,VR的双目渲染会比单目渲染多消耗70%左右的GPU,降低渲染能力几乎会成倍减少画面质量。 尽管无线虚拟现实头盔的研发障碍重重,但在追求无线的道路上,我们仍然看到了诸多已提出或未来会提出的解决方案,笔者将对这些方案从概念到技术一 一梳理,以勾画出无线虚拟现实头盔的昨天、今天和明天。 昨天篇无线虚拟现实头盔的昨天之一,手机头盔。 没错,手机头盔是我们最早接触的无线虚拟现实头盔。手机头盔从Cardboard开始到体验最佳的Gear VR,再到水货遍地的一体机,其借助于手机芯片的移动化天生做到了无线。手机头盔的技术无需多述,优势是成本低廉,劣势是缺乏原生空间定位支持和GPU性能过低,无法进行复杂场景和高质量渲染。手机头盔在当前移动GPU性能的束缚下,最佳使用场景是全景视频,j2直播,很难提供站立式以上的高质量沉浸式交互体验。 国内最早一批生产手机头盔的是暴风魔镜,在那个VR严重匮乏的年代暴风魔镜成为中国无线虚拟现实头盔的启蒙。 无线虚拟现实头盔的昨天之二,串流式手机头盔。 串流式手机头盔可以将PC上运行的虚拟现实应用程序视频输出结果逐帧捕获(Capture),将捕获结果经过编码压缩后通过wifi传输到手机头盔或一体机上,由手机头盔或一体机进行解码后输出到屏幕。串流式手机头盔的优点是可以使用PC上的强悍显卡资源进行复杂场景的高质量渲染,缺点是视频编码解码相当费时间,叠加wifi传输会带来很长的Motion to Photon延时,造成严重眩晕感;并且高质量渲染后的图片经过视频编码压缩会显著降低画质。 串流式手机头盔最早的产品是Trinus VR Trinus VR使用CPU进行视频捕获和编码压缩,传输延时高达100ms以上,但其开启了一个真正的无线时代。 感谢Nvidia的Nvidia Video Codec SDK,我们可以直接调用GPU的nvenc直接对应用程序的视频输出进行捕获和硬编码,结合手机或Tegra平台的硬解码,视频编码压缩和解码的时间可大幅降低到20ms以内。Nvidia最早将此技术应用到Shield掌机的跨屏游戏中,但该技术随后被用到串流式手机头盔上,使得串流式手机头盔的Motion to Photon延时降低至40ms以内,最早提出该方案的是Visus VR。 尽管延时缩短到40ms,j2直播,但依然会带来强烈的眩晕感。 无线虚拟现实头盔的昨天之三,背包+有线头盔。 尽管无线虚拟现实头盔的研发大大滞后,但随着人们对大范围交互的渴求,诞生了一个折中方案,背包+有线头盔。 第一次系统化提出背包+有线头盔商业解决方案的是澳洲的Zero Latency。 Zero Latency的目标是提供一个仓库级的多人VR交互方案,让多个玩家同时进入到一个游戏场景中游戏。想做到这点必须连过几道关卡: 首先是无线,由于场地大小设置为400平米,所以玩家必须以无线方式进入场景,有线很难支持如此大范围行走; (责任编辑:本港台直播) |