另一方面,我们应用最优传输理论:存在一个凸函数,其梯度映射给出最优传输映射。由函数的凸性,我们得到最优传输映射也满足上面两条性质。更进一步,我们可以证明,j2直播,在一维情形,满足上面两条的映射是唯一的。这意味着,一维直方图均衡化映射就是最优传输映射。 因此,一维的最优传输映射非常容易计算。下面,我们应用一维最优传输映射来近似高维最优传输映射。 迭代分布传输算法 有多种最优传输映射的近似算法。我们先讨论迭代分布传输算法(Iterative Distribution Transfer ):给定单位向量,我们将整个空间投影到一维线性子空间上,投影映射为: , 投影诱导的概率分布(边际概率分布)记为。在算法第k步,假设当前源空间的概率分布为;我们随机选取欧氏空间的一个标准正交基;为每一个基底向量构造一维的最优传输映射 , 由此构造映射,在标架下 , 其诱导的概率分布为 。不停地重复这一步骤,对于足够大的n,复合映射: , 将初始概率分布映成了目标概率分布。 图2. 从拉东变换恢复的医学图像。 这一论断的证明需要用到拉东变换(Radon Transform):给定中的一个概率分布,的Radon transform 是一族一维的概率测度, , 换句话说,给定一个单位向量,它生成一条直线,我们将全空间向这条直线投影,得到边际概率分布。拉东变换的基本定理断言:如果两个概率测度的拉东变换相等,则两个概率测度相等。如图2所示,这一定理是医学图像上CT断层扫描技术的基本原理。 迭代算法如果最后达到一个平衡状态,则在任意一条过原点的直线上,的边际概率分布等于的边际概率分布,因此由拉东变换原理收敛于,。这样,我们将高维的传输映射转换成一维传输映射的复合,降低了计算难度。 投影Wasserstein距离梯度下降法 另外一种迭代算法想法比较类似。给定两个上定义的概率测度和,对于任意一个单位向量,我们考虑投影映射。投影映射诱导两个直线上的概率分布和,它们之间的最优传输映射记为。由此,每个点都沿着平移一个向量: 。 我们考察所有的单位向量,然后取平均 , 去一个步长参数,每个点平移到,相应的概率分布变为。重复以上步骤,我们可以证明所得的概率分布沿着距离收敛。这里距离是所谓的投影Wasserstein距离,其具体定义如下:
, 这里是Wasserstein距离。投影Wasserstein距离和Wasserstein距离诱导Wasserstein空间同样的拓扑,但是计算起来相对容易很多。
图3. 用于愚弄深度神经网的图像(A. Nguyen, J. Yosinski and J. Clune, Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images, CVPR2015.) 局限性和脆弱性 拉东变换将联合概率分布转换成向所有一维子空间投影所得的边际概率分布,从而实现了降维,简化了计算。但是,如果有一些子空间的边际分布缺失,我们无法精确恢复原来的联合分布。在视觉问题中,每个线性子空间被视为一个特征,向子空间投影,等价于特征提取。 深度神经网在解决视觉分类问题中表现出色,但是也非常容易被愚弄。如图3所示,人类可以轻易看出这些是非自然图像,在现实生活中不具备任何意义。但是深度神经网络非常自信地将它们归结为训练过的类别。如果,我们以欣赏现代抽象艺术的心态来研究这些图像,我们能够领会到深度神经网络分类结果的内在合理性:这些图像的确具有它们所对应类别的内在“神韵”。从纹理层次而言,它们和对应类别的纹理非常“神似”;从语义层面而言,这些图像则是无意义的和荒谬的。 (责任编辑:本港台直播) |