比如，我想显示一个虚拟的杯子在桌子角上，我现在一转头再看回来，真实世界的桌子和杯子还在那儿，但如果我的计算位置不精确，虚拟的杯子的位置就移动了。但在虚拟的世界中，我怎么知道你看的是原来的位置，我应该把这个东西显示出来在原来的位置呢？这就要求计算机必须知道在真实的世界中，我现在在哪儿、我在看哪儿，这个东西必须要实时算出来，同时必须非常稳定、不能有扰动，不然用户就会觉得显示的内容在空中飘……这个挑战是非常大的。微软通过HoloLens上的摄像头和非常先进的算法，包括专用的HPU来进行所有的计算，把所有的位置信息能实时地提供给你。这些东西是所有做增强现实，特别是混合现实（MR）最关键的技术。

同时，我们也认识到混合现实这一全新体验背后需要一系列的技术做支撑，无论是内容生成方面、智能交互方面，还是最上面的内容的智能理解交互方面，都需要专业的算法，门槛很高。如果只有几个大公司做内容、做开发，可能还是不能满足大家的需要。最好的办法就是我们建立一个生态系统，我们不仅提供像HoloLens这样一个标杆的硬件，而且提供Holographic这样一个软件平台，通过把不同的算法和服务变成普通用户都能用的API，想开发某些应用的人就能用我们的工具和服务来开发应用，最后可以做到HoloLens上去，也可以用到其他虚拟现实、增强现实设备上去。

记者：虚拟现实和混合现实开启了一个沉浸式的三维图形显示的时代，在三维图形领域，还有哪些问题是需要解决的？

童欣：光影技术在图形学里叫“绘制技术”，实时的、光影真实的三维场景绘制技术一直是研究的热点。在微软研究院，我们第一次尝试用机器学习的方法处理这一问题，第一次把一些原来非常难做到的复杂光影效果做成实时。我们相信，随着这些技术的发展，会有更多的酷炫的光影效果，可以在VR和MR中呈献给大家。

还有一个问题在于怎么更方便地产生更真实的三维场景和交互内容。传统上我们需要艺术家去造型，但另一个方法是从真实世界中直接拍摄捕捉。比如，我想做一个咖啡馆，以前艺术家要用三维造型软件手工去做，包括所有细节，这是一种方法。还有一种方法，是拿一个深度相机或普通相机，把一个咖啡馆里所有的桌子和墙的几何形状、材质完全捕捉下来，把它放在三维场景里，真实感一下就提高了，所有桌面的材质都会很真实。有了这个技术，艺术家就不是无中生有了，他可以在这个场景的基础上把材质改改，比如让桌子生点锈，把它变得更有质感。因此内容捕捉技术是非常重要的技术路径。微软研究院在这个方向做了非常多的研究工作，我们的目标也是希望通过我们的推动，能让普通的用户享受这项技术，通过比如Kinect这样的深度相机，甚至像手机或者是普通相机拍摄的东西，把用户感兴趣的三维物体和几何形状表面的丰富材质、光影效果都捕捉下来，完美再现在虚拟的世界里。一旦这个问题解决了，所有普通用户都能产生高质量的三维内容，那虚拟世界、混合现实的世界就会变得丰富多彩，用户的体验也会提升一个数量级。

记者：混合现实真的要变得实用，还需要解决哪些问题？

童欣：首先从交互的角度来讲，要有定位，要有语音和手势、表情等自然的交互方式，这方面技术还需要进一步成熟。如果高质量的输出和用户的输入方式不匹配，j2直播，用户就会觉得这个东西不好用、不自然。一个常被大家忽略的问题出在智能感知层面，为了让混合现实的体验变得更好，我们需要有更好的下一步的人工智能技术和识别技术。