徐抗：Facebook并没有对其相机x24的深度获取方式进行过多的阐述，其表示在一定时间内甚至不会对外出售，atv直播，而是通过授权的方式与其他商业伙伴进行合作。

　　不过，由于在x24上并没有看见任何主动式深度获取设备，以及考虑到Facebook之前开源的Surround 360项目，很大概率上x24还是采用了前文提到的MVS方式，即通过特定算法直接从每个镜头拍摄的视频中计算像素深度，这也是Deepano目前所采用的深度获取方式。

　　Lytro的Immerge是一款光场相机，通过多个微透镜阵列加上特定算法计算场景深度。

　　Adobe实验室曝光的6自由度VR视频

　　问题： Adobe曝光了视频，用移动的360°视频画面计算出深度信息，转换成6自由度 360°视频，对此Deepano怎么看？

　　徐抗：我们看到视频后立即对Adobe发表的论文进行了研究。

　　Adobe以2D移动的全景视频作为输入，通过离线运算生成新的六自由度视频。在Demo视频中我们可以看到画面可以对用户的头部移动产生响应，即我们所说的“6自由度全景视频”。

　　Adobe提出的算法大大降低了六自由度视频的制作门槛，其中，其提出的实时新视点生成算法是其工作中的亮点。一旦算法发展成熟，可以将目前大量存在的2D全景视频转换成六自由度的VR视频，是非常有意义的一件事情，

　　不过，Adobe的做法还存在一定的局限。

　　1. Adobe采用的 “运动推断结构”（Structure from Motion, SfM）算法要求相机一定要运动，且这种运动越大越好，才能产生足够的视差来提供深度信息，而我们知道在VR里面运动与眩晕有比较大的相关性，剧烈的相机运动通常是不被建议的。

　　2. 由于采用帧间匹配计算场景深度，该算法要求场景中不能有太多剧烈运动的物体（较少的运动物体可以有一定的trick解决）。

　　3. 在播放时，Adobe利用每一帧的相机姿态、场景深度及当前用户头部的位置，将当前帧重新投影（Warp）到用户所在部分，得到六自由度的虚拟视点。由于warp算法是直接采用当前帧进行，用户从物体正面移动到侧面时，看到的仅仅是正面图像的扭曲/拉伸到侧面，而不是像Lytro等公司发布的六自由度视频一样可以真正看到物体侧面乃至背面的图像。

　　问题：如果用算法或者软件能够实现6自由度视频，像Facebook、Lytro这样的高端拍摄硬件是否还有必要存在？

　　徐抗：利用Adobe这种算法的方式，首先就存在着上面提到的几个限制情况。其次，算法也仅仅是生成高质量VR内容工作流的一环，一个高端的VR视频工作流，还包括优秀的相机成像质量，方便的素材管理，相机硬件同步、ISP一致性调教以及大量的后期工作。

　　因此，深度恢复算法和高端拍摄硬件并不是竞争关系，而是相辅相成的依赖关系。优秀的算法通常会针对特定的拍摄设备进行大量的fine-tune，而高端的拍摄设备也离不开背后运行的拼接算法。

　　在下篇文章中，Deepano的CTO徐抗将会详细阐述深度信息在360°视频和VR影像领域的具体应用。同时，还有更多关于Deepano团队成员、技术、项目以及对VR视频行业的深刻见解，敬请期待。

　　相关阅读

　　【术说】

　　[IN2原创资讯转载请注明来源及链接图片|视频来自Facebook]

　　IN2

　　专业VR影像

　　VR影视+360视频

　　策划|拍摄|推广

　　寻求报道/商务合作