但是作为研究员来讲，我们更多的是想怎么样实现这样的技术，例如，这些屏幕从哪来？所以我们在想，能不能通过云端生成这样一个屏幕，把它投影到不同的显示设备上。它的好处就是，当我从一个房间换到另外一个房间时，所有的内容都可以跟着我走，可以跑到我周围所有的显示设备上去，这样通过云或者超强的服务器来实现屏幕渲染，即可以简化系统。

除了这些超炫的显示设备，我们回过头来看看现有的有显示功能的计算设备，如手机、平板电脑、智能电视等。我们认为这些设备通过网络连接起来，就可以建成一个私有云，或者叫做设备云，再和公有云结合起来，就形成了一个完整的云环境。

搭建这样的云环境，并不复杂，atv直播，通过用户界面的虚拟化就可以实现。虚拟化的好处是可以尽量利用现有的应用。通过虚拟化，可以将包括云在内的各种设备的输入、输出等模块暴露出来并共享给其它设备使用。譬如说，我们可以将Xbox上渲染的内容在平板电脑上显示，同时将平板上的输入反馈给Xbox，这样就可以在平板上玩Xbox的游戏。这个功能目前已经在Windows系统中实现了。实现这个功能，主要是通过用户界面，特别是屏幕做虚拟化，然后对屏幕视频进行压缩和传输。

刚才提到的关键技术是设备的虚拟化。虚拟化包括计算和存储。当然，我们更关注它的输入和输出，如果我们把输入和输出虚拟化，然后对这些相关的数据进行压缩再传输，从而实现云和终端之间的同步，那么我们就可以认为这个计算可以在任何地方进行，它的显示、输入可以在另外任何一个其他的地方得到结果。

这是一个用户界面虚拟化及串流的基本过程。看似这个过程比较简单，但是挑战却非常大。通常流媒体可以允许一定的延迟，例如几百毫秒，甚至几秒的延迟。而云与端显示内容的同步要求延迟最多几十毫秒，甚至接近于0。用户界面的同步，既包括输入的同步，也包括输出的同步，所以屏幕视频的数据量极大，因此屏幕视频的压缩也是关键。

上图是一个典型的计算机屏幕图像，它和传统的自然图像不太一样。首先这里有很多文字，还有一些文字在图像上。我们当然可以用一些传统的视频压缩算法来压缩，但效率不高，也很难保证文字部分的视觉质量。

所以我们组开发了一些新的屏幕图像压缩算法，主要是对屏幕内容进行分析，对文字丰富的区域和自然图像区域采用不同的编码方法。这样不仅可以提高编码效率，还可以针对输出设备的不同，做一些增强的显示。现在，一些视频编码标准也开始关注屏幕视频的压缩，我们研究组有几项技术被国际最新的编码标准H.265所采纳。

大家想一想，如果能对图像进行内容分析，那么就可以实现更多的功能，比如一个图像显示在电视上和手机上，我们关注的重点是不一样的，我们想把它自适应地显示到所有的显示设备上，这就需要一些智能的处理，在这个里面的研究内容会非常的多。

刚才介绍的是把视频作为一种输出，实际上视频还可以作为一种输入，在几年前这个可能听起来不是那么容易理解，但是今天以图像、视频作为输入的系统已经有很多了。微软推出的认知服务，就包括了计算机视觉API等，通过上传图像到云端，就可以识别图像中的人脸，表情，年龄等，然后再返回给用户。但是要把视频作为输入，就相当的具有挑战性。如果是离线应用还好，不需要太在意延迟，但如果需要实时交互，则对视频处理的实时性要求更高。因此，我们研究的重点就是实时的、低延迟的智能视频分析。