本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

码报:【j2开奖】专栏 | 顾险峰:看穿机器学习的黑箱(II)(2)

时间:2017-02-16 16:12来源:天下彩论坛 作者:本港台直播 点击:
我们考虑所有的可微双射 ,满足条件 。存在唯一的最优传输映射,它是Brenier势能函数 的梯度映射 。映射的极分解理论就是说 可以分解成两个映射的复合

我们考虑所有的可微双射,满足条件。存在唯一的最优传输映射,它是Brenier势能函数的梯度映射。映射的极分解理论就是说可以分解成两个映射的复合(composition),

,

这里映射保持初始测度不变,因此的雅克比行列式处处为1。所有这种在映射复合的意义下构成一个李群(Lie Group),被称为是保体积微分同胚群(Volume-Preserving Diffeomorphisms),记为。我们下面来说明,这个李群是无穷维的。

码报:【j2开奖】专栏 | 顾险峰:看穿机器学习的黑箱(II)

图4. 曲面上的光滑矢量场。

如图4所示,我们在曲面上构造一个光滑切向量场,则切向量场诱导了曲面到自身的一个单参数微分同胚群,满足常微分方程:

直观上,切向量场可以视作曲面上的一个流场,每一点p依随这个流场流动,流动的速度向量等于矢量场在p点处的切向量。在时刻 t,流场初始点到终点的映射,就给出了微分同胚。那么,如果切矢量场的散度(divergence)处处为0,则的雅克比行列式处处为1,即不可压缩流场诱导保体积微分同胚。这一点,可以用嘉当的神奇公式来证明(Cartan's Magic Formula)。

我们来仔细解释嘉当的神奇公式。我们以平面为例,平面的面元是一个2阶微分形式(2-form)。考察任意一个区域,在微分同胚下的像为区域。像的面积为

,

由此,我们定义所谓的拉回2-form,

,

那么关于时间t的导数被称为面元关于矢量场的李导数(Lie Derivative),记为

嘉当的神奇公式具有形式:

atv直播

这里d是外微分算子。在平面上,为2-形式,因此恒为0。如果矢量场散度处处为0,则恒为0。直接计算得到:

因此 我们得到

因此面元关于矢量场的李导数为零。微分同胚保持面元不变,的雅克比行列式处处为1。

由此可见,曲面上不可压缩流场(散度为0的切矢量场)诱导保面积微分同胚。曲面上任选一个光滑函数,atv,其梯度场旋量处处为0。在曲面上任意一点p处,我们将梯度向量围绕法向量逆时针旋转90度,所得的矢量场散度处处为0。我们知道,曲面上的函数是无穷维的,因此无散场也是无穷维的,保面积微分同胚群也是无穷维的。

我们现在可以回答上面提出的问题,满足保持测度条件的映射不唯一;所有这种映射可以表示成保体积微分同胚和最优传输映射的复合;保体积微分同胚是无穷维的。

码报:【j2开奖】专栏 | 顾险峰:看穿机器学习的黑箱(II)

图5. 两个满足保测度条件的映射,彼此相差一个保体积微分同胚

从理论上讲,如果我们两次训练GAN网络,其生成器所得到的映射之间相差一个保体积微分同胚。保体积微分同胚群内有一个自然的黎曼度量:我们在保体积微分同胚群内构造一条路径,

,

连接着两个同胚。这条路径的长度可以计算

  

  ,

两个保体积微分同胚之间的距离定义为连接它们的所有路径长度中最短者。用这个度量,我们可以定量测量两次训练结果的内在差异程度。保体积微分同胚群的度量几何(无穷维微分几何)在视觉领域和医学图像领域被作为形状空间的一种理论工具。

小结

通过以上讨论,我们看到如果用一个深度学习的网络来逼近一个映射,解空间只有一个映射;如果来逼近一个概率分布,则解空间为无穷维的保体积微分同胚群。因此,用深度学习网络来逼近一个概率分布要比逼近一个映射、函数容易得多。这或许可以用来解释如下的现象:基于老顾以往的经验,我们用神经网络来求解非线性偏微分方程,要比用神经网络给图像分类困难,因为前者需要精确逼近泛函空间中的可逆映射,而后者需要逼近图像空间中的概率分布。

©本文为机器之心转载文章,转载请联系本公众号获得授权

  ?------------------------------------------------

加入机器之心(全职记者/实习生):[email protected]

投稿或寻求报道:[email protected]

广告&商务合作:[email protected]

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容