这篇文章是顾险峰老师所写的《看穿机器学习的黑箱》的第三篇，与可点击超链接查看。

　　上周，老顾访问了UCLA的师兄朱松纯教授和吴英年教授，向他们学习计算机视觉的统计观点。早在二十多年前，以Mumford先生，朱松纯教授为代表的计算机视觉领域的哈佛学派就大力提倡将统计概率系统性地引进到视觉领域，用统计方法来解释和处理视觉领域的基本问题。目前，这一方法论早已在视觉领域深入人心，实际上也是机器学习的理论基础之一。最优传输理论描述了概率分布的几何，因此有助于我们研究视觉方面的机器学习。下面，我们开始撰写第三次讲稿。

　　概览

　　直观而言，视觉领域机器学习的统计观点如下：我们将所有可能的图像构成的空间设为，其中n是总的像素个数，每张图像视为全图像空间中的一个点。每个有意义的视觉“概念”（例如所有猫的图像）是全空间的一个可测子集，。固定一个概念，每张图片是否表达了这个概念就给出了一个概率分布。这样，视觉中的问题就被转化为概率统计的问题：如何表示概率分布，如何衡量概率分布间的距离，如何近似一个概率分布，如何生成满足特定概率分布的随机变量，如何根据概率分布进行统计推断，等等。

　　近年来，依随Internet技术的发展，人类已经积累了大量的视觉数据，这使得估计各种概率分布成为可能。同时，GPU技术的发展，使得各种统计计算方法的实现成为可能。因此，我们迎来了机器学习的科技大潮。但是，我们依然无法严密解释机器学习算法的有效性。

　　老顾倾向于认为，从基础理论角度而言，研究概率分布的一个强有力工具是最优传输理论（optimal mass transportation theory），这个理论着重揭示概率分布这一自然现象的内在规律，因此并不从属于某个学派，也不依赖于具体的算法。相反，这一理论会为算法的发展提供指导，同时真正合理有效的算法（例如机器学习算法），应该可以被传输理论来解释。

　　简而言之，传输理论给出了概率分布所构成空间的几何。给定一个黎曼流形，其上所有的概率分布构成一个无穷维的空间：Wasserstein空间，最优传输映射的传输代价给出了Wasserstein空间的一个黎曼度量。Wasserstein空间中的任意两点可以用Wasserstein距离来测量相近程度，自然也可以用测地线来插值概率分布。每个概率分布有熵，沿着测地线熵值的变化规律和黎曼流形的曲率有着本质的关系。这一几何事实在网络领域已经被应用，但在视觉领域，似乎还没有相关工作。

　　但在实际计算中，高维的最优传输映射，Wasserstein距离计算复杂。一个自然的想法是降维，将高维空间的概率分布投影到低维子空间，在低维空间上计算边际分布之间的变换。这有些象盲人摸象，每次得到局部信息，如果摸得充分，我们也可以恢复大象的整体信息。

　　回顾

　　在（看穿机器学习W-GAN的黑箱）中，我们给出了最优传输问题的凸几何解释：给定两个概率分布，存在唯一的最优传输映射，将初始概率分布变换成目标概率分布，，同时极小化传输代价，

,

　　这里被称为是两个概率分布之间的Wasserstein距离。同时，最优传输映射是某个凸函数的梯度映射，，这个函数满足蒙日-安培方程。我们的理论给出了一种几何变分方法来求解最优传输映射。

　　在（看穿机器学习的黑箱（II））中，我们澄清了这样的观点：相比于学习一个映射，学习一个概率分布要容易很多。满足的映射构成了一个无穷维的李群。

　　但是，在视觉问题中，通常图像全空间的维数非常高，计算难度较高。因此，我们可以放弃理论上的最优性，寻找计算更加简单有效，同时又和最优传输距离等价的算法。下面，我们就讨论这些更为实用的算法及其背后的理论。

　　直方图均衡化

　　图1. 直方图均衡化结果（histogram equalization）。

直方图均衡化是提高灰度图像对比度的常见算法。如图1所示，开奖，左侧输入图像的灰度分布在一个狭窄区域，朦胧昏暗；右侧是直方图均衡化的结果，清晰明亮，对比鲜明。我们设输入图像像素的灰度为一随机变量，其取值范围为单位区间，其概率测度为，直方图均衡化算法的核心就是求灰度空间（单位区间）到自身的一个映射，这一映射将变换成均匀分布。

实际上，传统的直方图均衡化就是一维的最优传送映射。假设我们有两个连续的概率分布，其对应的累积分布函数（CDF）是

,

　　那么直方图均衡化映射就是传输映射：。首先，我们可以证明这个映射满足两个条件：

，

单调递增。