|
2017-07-29 15:12 来源:IN2 视频 /技术 /操作系统 原标题：迪士尼最新混合现实技术：无需头盔手控直接与CG电影角色互动
你走到一个大屏幕前，在一张长凳上坐下来，看见自己的形象出现在屏幕上，就像在照镜子一样。然后一只迪士尼的小飞象坐在了你的身边，递给你一只金色的球，你可以直接伸手接过来……
这凳子需要配电脑买吗？ 这是迪士尼在演示自己最新的混合现实技术Magic Bench——真的就像一只“魔法凳子”——任何人只要坐上去，就能与自己熟悉的卡通角色直接交流。 这个技术与概念中的AR或者VR最大的不同之处，是我们不需要头显或者任何手控设备。 位于匹兹堡的迪士尼研发团队在描述这项技术时，首先强调了上面那句话，然后用一句妇孺皆知的通俗方式解释： 这是（对所谓人机交互）最简单的说明，一个人进入一台电脑，电脑把这个人跟一个（电脑制作出的）角色摆在了一起。 不仅这个解释非常巧妙和简洁。从演示视频看到的效果也非常惊艳。其实背后的原理也一点不复杂就能说清楚：
迪士尼R&D团队开发的Magic Bench技术，就是在一台大的电脑显示器上让观众看到自己的镜像，然后使用深度传感器重建一个与现实人物周围一样的数字场景，在这个跟自己环境一模一样的数字场景中，现实中的观众就能以第三人称视角，看着自己的镜像与电脑CG出的动画形象互动了。 Magic Bench真正与目前概念中的混合现实不同之处，就是它把现实中观众的镜像与CG形象放在了一个与现实场景一样的数字环境中。而不是把一些视频影像叠加在另一些上面。事实上，观众看到的是实时生成的自己的“影子”在与虚拟的目标互动。
迪士尼这项技术的研发人员旨在创建一种“动态游戏”的体验。那只魔法凳是带有触觉感应功能的设备，可以提供震动等多种触觉感知。使坐在上面的人能真切地感觉到CG交互对象“真切地”存在。此外，魔法凳还能识别坐在上面的人的具体位置和数量，以此推断出需要实时创建的镜像及其位置。而且，坐姿不同也会有不同的体验。
然而，魔法也不是万能的。这里存在一个很显著的问题是，在深度传感器和相机镜头无法完全对应的区域内，会出现“深度阴影”。解决方法是，Magic Bench系统使用修改后的算法来创建2D背景。 等重建后的3D形象和2D背景被定位在虚拟空间中之后，再用这些3D形象置换原来背景中的目标。简单而言，这样得到的实时渲染出的场景就是一个能把现实背景与虚拟物体，光和阴影交互融合后形成的影像。给观众的感觉更加真实。
这套Magic Bench的3D重建系统，使用的是既有的Microsoft Kinect运动检测装置，结合了深度感知系统和颜色传感器的功能。具体的解释就是：研发人员以点云中的各个点作为目标多边形物体的每个顶点，j2直播，先给目标创建一个固定不变的网格状外观，然后将来自相同Kinect的RGB摄像机给到的色彩与网格一一吻合。（RGB摄像机可以在三根不同的电线上传送红蓝绿三种基本颜色。这种类型的相机经常使用三个独立的CCD传感器来获取三色信号。用于非常精确的彩色图像采集——译者注）。用这种方式给网格“着色”，同时完成3D重建的视频。
看看青蛙怎么变王子？ 这项技术目前看似是一个“小游戏”，atv，细思之后会发现在未来的“沉浸式娱乐”上，有广阔的发展空间。迪士尼研究机构的首席数字艺术家Moshe Mahler在关于Magic Bench的演示视频中说：“我们这个项目的“魔法”是：（观众）听到一个角色过来，看到它们进入了自己的空间，然后发现到它们在自己身边坐了下来。”
|
