我们这个算法在训练好了以后,用户在用的时候是全自动的。更了不起的是,我们的算法在我们所有的测试模型上去噪效果都超过了所有目前已有的模型去噪算法。同时我们的算法还比所有已知算法都要快。我们很快会把我们的算法源代码和数据公布在网上,希望其他研究人员都可以在基础上继续研究,同时很多用户也可以直接使用我们的算法。 下面我们来看一些实验结果。左边是输入一个扫描模型,有很多的噪声,右边是Ground Truth,右边第二个是我们算法得到的结果。 这是另一个例子,扫描模型的噪音非常大,以前的算法只能除掉一些噪音,或者会抹去很多模型上的集合细节。我们的算法可以比较好地去掉模型上的噪声,同时比较好地保留它的几何细节。
我们再看看材质捕捉方面,刚才我们说材质捕捉设备很昂贵,捕捉过程很麻烦。有什么更好的做法来做呢?我们在两年前做了世界上第一个不需要任何特殊设备和光照,只从自然未知光照下拍摄的物体视频出发进行材质捕捉的算法。这是我们团队的董悦研究员带领实习生完成的工作。输入就是大家看到的左边的视频序列,右边是输出的材质捕捉的结果,最后我们把它放在一个新的光照下,物体可以栩栩如生地再现出来。
这个算法的关键是我们要从视频中同时估计物体的光照和材质属性。我们发现自然环境中的光照和材质本身具有不同的属性,可以用这些属性很巧妙地从观察的数据最终把二者分分离开来。 这里显示了我们算法所恢复的物体的材质效果,不论是啤酒瓶上印刷的标签,还是光滑的瓷器,还是带有铁锈的金属,我们的算法都能自动地从一些视频序列中把高质量的材质重构出来。
有了这些工作,上面的流水线变得简单自动了很多,但还是要经过两步。有没有可能一步就把所有事情搞定?去年我们在这方面做了一些研究,做了世界上第一个从视频中同时恢复物体的几何形状和表面材质的算法。这个方法只是用了视频而不再需要任何的深度相机捕捉的数据。同样,我们的算法不需要知道光照信息。左边是我们算法输入的视频,右边是捕捉的物体和材质在新的光照环境下绘制的结果。
这是我们捕捉到的几何和材质和真实照片的对比,你可以看到所有的几何细节、表面反光和材质属性都被很好的重建出来了。在不同的光照下看,所有物体都像真实物体一样得到真实再现。
基于这一结果,我们把做的结果放到HoloLens,并和我们周围的真实光照结合在一起,可以生成非常真实的效果。 刚才我们以物体的数字化为例说明了如何采用智能的算法帮助我们简化建模过程,方便普通用户捕捉三维内容。总结一下,在过去几年中我们在智能算法方面做了很多努力,我们逐渐认识到,智能算法也许是能够实现普通用户产生三维内容的一个最终解决方案。 最后,我也想分享一下我在这个过程中所得到的经验或者教训:我总结为三个D。首先是Open-minded。我们要积极地学习借鉴其他领域的方法算法,比如现在我们也在学习和深度学习相关的东西。第二是Concentrated。第一条就像吸星大法,把别人的东西都吸过来了,但还不够,还要易筋经,把东西化成自己的,要知道自己拿到这个工具是要解决自己的问题的,聚焦于自己的问题,把那些东西为你所用。最后是End to end,我们并不想发了一篇论文然后研究就结束了,atv,论文更多的是一个交流表达的手段,关键是把问题真正给解决掉,最后给用户提供一个真正的端到端的解决方案。 (责任编辑:本港台直播) |