那么我们看看用一些智能的算法能帮我们做什么事情:第一个要介绍给大家的是我们去年研发出来的一个数据驱动的模型去噪算法。这里要做的是希望有个自动的算法,帮我们除去扫描模型上的噪音,同时保留模型上面所有的几何细节,并且算法对不同设备扫描出来的模型都能很好的处理。我们的算法通过收集带噪声的扫描模型和对应的基本没有噪声的高质量模型,先去学习训练这些几何之间的对应关系。基于这个对应关系,我们就可以将一个带有噪声的扫描模型直接对应生成它的没有噪声的模型,开奖,从而实现去噪的效果。这是我们组的刘洋研究员带领实习生完成的工作。
我们这个算法在训练好了以后,用户在用的时候是全自动的。更了不起的是,我们的算法在我们所有的测试模型上去噪效果都超过了所有目前已有的模型去噪算法。同时我们的算法还比所有已知算法都要快。我们很快会把我们的算法源代码和数据公布在网上,希望其他研究人员都可以在基础上继续研究,同时很多用户也可以直接使用我们的算法。 下面我们来看一些实验结果。左边是输入一个扫描模型,有很多的噪声,右边是Ground Truth,右边第二个是我们算法得到的结果。
这是另一个例子,扫描模型的噪音非常大,以前的算法只能除掉一些噪音,或者会抹去很多模型上的集合细节。我们的算法可以比较好地去掉模型上的噪声,同时比较好地保留它的几何细节。
我们再看看材质捕捉方面,刚才我们说材质捕捉设备很昂贵,捕捉过程很麻烦。有什么更好的做法来做呢?我们在两年前做了世界上第一个不需要任何特殊设备和光照,只从自然未知光照下拍摄的物体视频出发进行材质捕捉的算法。这是我们团队的董悦研究员带领实习生完成的工作。输入就是大家看到的左边的视频序列,右边是输出的材质捕捉的结果,最后我们把它放在一个新的光照下,物体可以栩栩如生地再现出来。
这个算法的关键是我们要从视频中同时估计物体的光照和材质属性。我们发现自然环境中的光照和材质本身具有不同的属性,可以用这些属性很巧妙地从观察的数据最终把二者分分离开来。 这里显示了我们算法所恢复的物体的材质效果,不论是啤酒瓶上印刷的标签,还是光滑的瓷器,还是带有铁锈的金属,我们的算法都能自动地从一些视频序列中把高质量的材质重构出来。
有了这些工作,上面的流水线变得简单自动了很多,但还是要经过两步。有没有可能一步就把所有事情搞定?去年我们在这方面做了一些研究,做了世界上第一个从视频中同时恢复物体的几何形状和表面材质的算法。这个方法只是用了视频而不再需要任何的深度相机捕捉的数据。同样,我们的算法不需要知道光照信息。左边是我们算法输入的视频,右边是捕捉的物体和材质在新的光照环境下绘制的结果。
这是我们捕捉到的几何和材质和真实照片的对比,你可以看到所有的几何细节、表面反光和材质属性都被很好的重建出来了。在不同的光照下看,所有物体都像真实物体一样得到真实再现。
基于这一结果,我们把做的结果放到HoloLens,并和我们周围的真实光照结合在一起,可以生成非常真实的效果。 (责任编辑:本港台直播) |