童欣博士现任微软亚洲研究院网络图形组首席研究员。1993年毕业于浙江大学计算机系，获工学学士学位；1996年获浙江大学计算机系硕士学位；1999年获清华大学计算机系博士学位，同年加入微软亚洲研究院。目前主要从事计算机图形学方面的研究。

记者：您是研究图形学的，您最早开始接触VR（虚拟现实）和MR（混合现实）是在什么时候？为什么20世纪6-70年代就有VR这概念，但一直没有发展起来，这中间技术的掣肘点在哪里？

童欣：早在图形学开始发展之初，VR和AR（增强现实）这些概念就已经存在了。1990年代初，图形学里高端的VR系统叫做CAVE System，由EVL研发，由几个显示屏组成屋子的墙，提供一个沉浸的环境，每个屏幕后面有图形能力很强的图形工作站。用户戴上立体眼镜，通过一些穿戴上的跟踪设备和数据手套，就可以在里面自由地走动，旁边的内容会随着交互而改变。这在当时是一个非常高端、售价非常昂贵的系统。那时VR更多还是面向工业应用（比如美国的航天系统）或者是军事应用。PC出现之后，大家开始用PC代替原来的超级计算机，用PC把所有显示屏搭起来就能做成一个CAVE系统。这是VR发展的一条线索。另一条线索则是供单个人使用的头戴显示器这样的VR系统。

AR方面也很早，但主要还是面向非常专门的工业应用。一是军工。比如说，一家军工厂需要修理一颗导弹，有了AR就可以知道先打开什么地方、需要执行什么样的操作，极大地提高效率，减少失误。对军工来说，只要能提高效率，这成本就是值当的。一个是飞机制造和维修。波音公司很早就采用了AR的系统，就是小的半透明显示器置于眼睛前面，显示的内容叠加在真实场景中——无论是装配飞机或者是修理飞机，都是非常高难度和复杂的任务，需要借助维修指南，哪怕只是显示你在手册上需要查哪儿，这显示器的用处也很大。

至于最近这一波VR/AR浪潮的兴起，一个原因是手机产业过去这几年的发展，让所有的传感器和显示器小型化，且价格真的能让大家接受，同时，随着个人计算机计算能力的增长和图形处理器的发展，使内容显示的计算能力跟得上。所有这些条件结合在一起，终于可以用一个普通用户也能接受的价格为大家提供比较好的VR体验。

VR其实一直都在，但之前很小众、很昂贵，现在慢慢终于发展到了可以面向普通用户的时候。

记者：在这一波VR/AR浪潮里，计算图形学、人机交互和传感有什么技术突破？

童欣：有几个最重要的进步。首先，在硬件上，过去的传感器已经非常精确，但售价非常昂贵。智能手机普及后，传感器大量生产，价格变得非常便宜，传感器的发展也让很多定位技术有所进步。GPU的发展也很快，在这么高的分辨率下，能做到非常真实的显示——当然，在这所有的背后，还要有很多实时算法进行支持，能结合传感器数据进行实时的定位，同时把真实感很强的内容显示出来。另方面是交互技术的进展。目前在VR中，大家的交互基本上还是依靠设备，现在可以通过传感器帮助用户确定在虚拟环境中的位置和头的朝向，还有输入，用游戏手柄或者依靠语音、手势进行，提供很好的自然的交互体验。这也是一个很大的突破。

以微软的HoloLens为例，微软一直在自然交互，VR和AR领域中进行重点投入和研发。在真实感实时现实方面，微软研发了很多算法并通过Direct3D提供给用户，与GPU的发展相互推动，带给用户更真实的内容体验。自然交互方面是Kinect，这是第一次把很自然的体感交互体验推给用户，用价格便宜的深度摄像头，结合最新的算法，来达到用户姿势的实时识别和跟踪。近来推出的全息眼镜HoloLens就是把所有的交互、显示的最新技术与硬件集大成了。不仅仅是硬件上的波导显示、全息处理器（简称HPU，HolographicProcessing Unit），以及整个计算平台的可穿戴化和小型化，更有软件上的实时定位与场景重建技术、语音识别和手势识别的技术……所有这些组合在一起才能让混合现实的技术真正落地和活起来，才能给用户带来全新的体验。

记者：透过HoloLens可以看到近几年技术发展的哪些层面？

童欣：我觉得其实很多。首先是硬件层面，这么小的重量却要包括一台头戴显示器。HoloLens就做到了，配备一个See-Through屏幕，半透的，能看清外面，同时内容要显示在上面，分辨率要足够高。另方面，HoloLens就是一台头戴式的计算机，所有的计算单元包括电池都集成在上面，这些并不是理所当然地往里塞，而要平衡很多方面。硬件集成进去，需要保证它高质量地工作，续航能坚持足够长的时间，比如说3到4个小时……所有这些都依赖于硬件的进步和工艺的进步。有了这些还不够，还要有最基础的软件去支撑硬件。对混合现实来讲，最核心的技术叫做SLAM（SimultaneousLocalization and Mapping），就是实时定位和场景建模的技术。这是什么意思呢？当我做VR的时候，由于整个视野沉浸在虚拟环境中，我只需要根据计算的位置，显示整个虚拟的场景。现在我在一个真实的世界里，虚拟的东西可以按照我计算的视点移动，但真实环境的物体并不会。所以我要知道你的头在真实世界中的精确位置，这样，虚拟的东西和真实的东西混合才会真实。