基于这样的想法，我们就提出了我们互联网图形组的愿景，这就是，atv，我们希望做一些图形学的工具和系统，能帮助每个人很方便地产生、观看和分享一些三维内容。同时，我们希望能在自然世界和虚拟世界间提供更自然的界面和交互的方式，另外我们还想在可视的和不可视的抽象信息之间提供一些自然的界面，把抽象的信息变成可视的展现出来。

过去五年我们为了这一愿景做了很多不同方面的研究，慢慢意识到也许基于智能或者数据的方法是个很好的解决方案。原因有下面几个：第一，我们已经有了一些昂贵的设备，这些设备帮助我们捕捉了大量高质量的数据。第二，我们也有了比较便宜的设备，这些设备可以为我们的系统提供一个初始的输入，不用从零开始了。最后，是一些关于机器学习方面的技术进展可以让我们把这些技术用到图形学的问题里。

那么也许一个比较好的解决方案是通过低价普及的设备，比如普通相机和深度相机，加上智能的算法，再有些时候需要一些简单的用户输入，来方便地产生三维的内容。关于智能算法，我们希望它能做两件事，一是希望能够利用到所有三维数据的本征特性，用这些帮助我们产生内容; 二是可以用机器学习来进行端到端的学习，在输入和输出之间直接建立一些联系。

下面我用我们组研究的一个研究课题三维物体的数字化来进一步说明举例。

三维物体数字化的目标是希望将一个真实世界的三维物体，完美地传递扫描进一个虚拟世界。为做到这一点，我们不仅仅要捕捉三维物体的几何形状，还要重现它的材质信息。注意，有了几何信息虽然可以知道物体形状，却不知道这个物体是什么，只有有了物体材质表面反射属性以后，我们才能在三维世界中真正栩栩如生地体现出来，大家就会的清楚知道这是真实世界的一个啤酒瓶，上面有一个纸标签，标签上有烫金字……我想我不需要再说明这样一个工具对VR/AR内容的产生、或者对虚拟购物等应用是多么重要。

那么我们看看现在的解决方案是什么。基本上我们可以发现这流水线还是非常长的，首先用设备扫描三维几何形状，但是扫描得到的这些几何形状在大部分情况下非常糟糕，需要大量人工交互工作来去除噪声、平滑三维模型。材质捕捉就更麻烦了，我们需要把物体挪到专用的捕捉室，放在专用的设备上，捕捉物体在各种光照、各种视点下的外观，有了这些才能采集出真正的物体形状和材质。大家可以发现这样一个基本的任务还是有很多障碍，首先去噪方面需要很多手工交互工作，其次材质捕捉设备很昂贵，另外这个流水线很长，需要分开的步骤去先捕捉几何，再用另外的设备捕捉材质。

那么我们看看我们用一些智能的算法能帮我们做什么事情：第一个要介绍给大家的是我们去年研发出来的一个数据驱动的模型去噪算法。这里要做的是希望有个自动的算法，帮我们除去扫描模型上的噪音，同时保留模型上面所有的几何细节，并且算法对不同设备扫描出来的模型都能很好的处理。我们的算法通过收集带噪声的扫描模型和对应的基本没有噪声的高质量模型，先去学习训练这些几何之间的对应关系。基于这个对应关系，我们就可以将一个带有噪声的扫描模型直接对应生成它的没有噪声的模型，从而实现去噪的效果。这是我们组的刘洋研究员带领实习生完成的工作