当我们把一个戒指或者很闪亮的东西放到桌上的时候，桌子上的反光会形成一些很漂亮的光斑，我们叫做散焦（caustics）。假设有光从窗户里面照进来时，在图中柜子顶上会形成由于反光造成的一个阴影，我们叫做间接光照阴影（indirect shadow）。另外，如图，厨房里面装修了一些铝合金的东西，很闪亮，当把东西放在上面的时候，光线会在里面弹射多次之后形成一些光泽材质间的相互反射（glossy inter-reflections），它反射多次之后会形成一些模模糊糊的倒影，所有这些效果在全局光照中都是非常难模拟的。

　　在传统中，要计算任何一个效果都需要使用最好的CPU去算几分钟，甚至几个小时的时间。同时，为了制作实时的动态效果，还需要支持移动的光照和视点。我们的目标就是实现实时的动态的全局光照效果。

　　这个问题的难点是什么？在示意图中，我们看到当两条从光源出发的光线打在物体上，在场景中进行交互的时候，他们的路径非常不同，虽然初射时只有很小的角度差别，但弹射多次之后，最后的落脚点可能彻底不同了。

　　我们想做的一个方法是，不看物理原则，把绘制过程当作一个黑箱，做成从光照方向、视点方向、材质到最终图像的一个函数，然后看能不能学习这个函数，我们把这个函数叫做 radiance regression fuction。这是我们第一次把绘制当作一个机器学习的方式来进行研究。给定一个场景，在场景中先绘制一些图片，利用这些图片学习我们定义的函数，等函数学习好了，当任意给出一个新的光照方向或者视线方向，该模型可以通过函数展示出物体在该光照或视线方向下的图像，可以想象这个函数就像一个画家一样。通过不断的临摹场景学会了场景在不同光照和视点下的图片。

　　为了建模这个函数并支持一个实时绘制的过程，我们选择了单层的神经网络。我们希望这个表达足够的简洁，越小越好，同时还希望这个计算能够做到实时。除此之外，我们发现场景还是很复杂，所以就把场景分成若干小块，每一小块再配一个神经网络。完成之后，我们发现我们第一次实现了实时的全局光照效果。我们绘制的这个卧室场景被很多离线的绘制程序设立为一个标杆。

　　我们所学习的这个映射不仅仅可以用来做绘制，在经过简单扩展后，我们也可以用它来学习做材质的编辑，比如前面的厨房场景，我们可以把后面的面板做到反光更强或者更弱一点，或者改变物体的颜色，人们可以实时地看到非常真实的光照效果。这个研究的应用对影视制作，装修设计等等都非常有用。

　　之后，我们还把这一技术用于实际拍摄的光照环境中，同样用神经网络的方法对简单的图像进行学习之后再做重新打光，可以叠加一个新的光照效果。

　　最后我们来看看，如何在计算机的动画中应用数据驱动的方法。下图是一个实时的3D面部追踪（facial tracking）。当捕捉到人面部动作的三维模型之后，我们就可以实时地把它使用到另外一个虚拟的角色上，让这个虚拟角色跟着人的动作来活动。

　　为了更好的实现这个效果，我们希望我们的算法或者系统有几个特性：

　　第一，我们希望这个系统是与用户无关的。也就是说任何一个新用户来使用这个系统，都可以立即实现，无需经过任何训练。

　　第二，我们希望这个系统能够鲁棒。比如，开奖，当用户把某个部位遮住时，系统还能够把三维的人脸和动作恢复出来。

　　最后，我们希望当只有用户的声音时，系统也能把人脸的动作，至少嘴部的动作可以恢复出来。