【新智元导读】微软亚洲研究院AI大咖童欣在中国科技大学进行题为《数据驱动方法在图形学中的应用》的前沿演讲,解释了如何通过数据驱动的方法来处理图形学问题,以及最新的图形方面的解决方案。
微软亚洲研究院童欣博士在中国科技大学进行演讲——数据驱动方法在图形学中的应用,全文如下(文字内容略有精简)。
今天报告的题目是数据驱动方法在图形学中的应用。 我所在的组叫做网络图形组,主要在做一些跟图形相关的东西。我们希望达到三个目标,以研发一些新的图形方面的解决方案。 第一,我们希望每一个人都可以很轻松地产生、分享和去享受这些三维的内容,比如像左边这个,是如何在 Kinect 上通过一些手势的模拟操作,来产生一个三维的 Avatar,用户可以产生各种形象,还可以驱动它去做动画。
第二,人都生活在真实世界里,以前我们通过一个计算机屏幕和虚拟世界打交道,现在我们希望能够打破这个界限,通过一些新的设备和新的交互方式在真实世界和虚拟世界之间提供一个更自然的交互方式,比如 HoloLens,通过手势等很自然地交互,它可以把虚拟的物体展示在一个真实世界里,和真实世界混合在一起。 第三,除了可视的世界之外,还有很多抽象的信息,我们希望能够把这些抽象的信息经过可视化技术展现出来,提供一个良好的可视与非可视信息之间的交互方式,帮助用户通过可视的方式快速理解抽象的信息,获得想要的信息。为了达到这个目标,我们也做了很多努力。 在图形学的方面,传统的手段是 physical based approach(基于物理的方法)。因为真实世界都是靠物理规律来控制的,所以过去图形学方面无论是光影效果,还是动画的效果,甚至水的声音,都通过对物理规律的计算来进行模拟,从而达到相应的效果。 这个方法很好,因为物理规律都非常的简洁漂亮,所以模型算法很干净。但它的缺点就是,为了模拟这些丰富的细节,计算量往往非常大,需要很昂贵的计算成本。而当我们很关心物体的视觉效果时,就会关注很多视觉细节。于是科学家们就把目标转向了另外一种方法——data based approach(基于数据的方法)。 这种方法就是通过研发一些设备,然后直接将真实世界中想要的信息进行捕捉。所以人们研发了三维扫描仪,从真实世界中获取几何形状,还研发了光穹设备来捕捉物体在不同光照、不同视点下的材质外观。还有动作捕捉设备等被广泛用于影视制作中,以捕捉人或物体的动态。 基于数据的方法有很多的优点,因为所有的数据都是直接从真实世界中获取的,所以它包含了所有细节,质量非常好,而且计算非常的简单、快速。但是这个方法也有缺点,需要捕捉的很多数据的维度都非常高,所以需要非常昂贵的捕捉设备以及复杂的设置过程,很多时候捕捉数据需要一间专用的实验室,上百万美元的设备才可以完成。 由于数据维度高,因此经常一个很简单的现象,需要捕捉很巨量的数据才能描述。数据量非常大,又缺乏对数据的理解,当编辑这些数据的时候,人们发现非常困难。因为无法修改、编辑这些数据,艺术家就没有办法去使用,只能捕捉成什么样就是什么样,这是它的另一个缺点。 在过去几年中,针对以上两个方法的缺点人们又研究了新的方法——data driven approach(基于数据驱动的方法)。该方法还是需要捕捉一些数据,当我们捕捉完成,则利用数据本质所蕴含的特性——本征特性来重构整个函数,以保持它的特点。 这个方法的好处是:第一,稀疏数据的捕捉,使得数据非常的紧凑、数据量少。第二,由于捕捉到了数据的本征特征,所以在做重构的时候,所有的细节都被保留了下来,从而使得结果质量非常高。第三,因为知道数据的本征特征,所以数据之间是有联系的,人们可以很容易地对数据进行编辑,同时还保持它的本征特征,以达到合理的结果。 (责任编辑:本港台直播) |