在机器学习领域的相当多的一部分学者，直接从贝叶斯定理出发，建构了整个机器学习领域。比如说广义线性模型，深度学习，你尽可以从几何的角度进行解释和推导，但贝叶斯学者们可以用贝叶斯概率论和统计参数估计来解释和推导整个体系，而且严丝合缝。

　　因此在《终极算法》一书中，贝叶斯与连接、类推、符号和进化并称机器学习五大学派。贝叶斯学派的代表人物有微软的David Heckerman，图灵奖得主Judea Pearl、伯克利大学的机器学习泰斗Michael Jordan等人。近年来贝叶斯学派势头很猛，出了几本高质量的著作，比如 Kevin Murphy的 Machine Learning: A Probabilistic Perspective，David Barber 的 Bayesian Reasoning and Machine Learning，Sergios Theodoridis 的 Machine Learning: A Bayesian and Optimization Perspective。

　　而早在 31 年前本文作者就将贝叶斯方法用在黑白棋博弈程序中，至少在这个领域中开了应用贝叶斯方法的先声。

　　评价函数的质量是棋类博弈 AI 程序的关键。一个好的评价函数，对于不同的棋盘形势和弈棋步骤能够给出靠谱的评分。以这个评分为导引，棋类博弈 AI 就能够展现出极高的水平。作者在这篇论文里详细考察了黑白棋 AI 程序的发展过程，并且点出传统 AI 的关键缺陷是线性的评价函数，进而用贝叶斯方法构建了一个非线性评估函数。

　　如前所述，这在当时是开创性的。显然在黑白棋的博弈中，一个优秀的评估函数理应是非线性的，因此 BILL 从基因里就优于当时其他的黑白棋 AI，也难怪三年之后能够横扫天下。

　　其次，开发一个博弈 AI，科学是其中一部分，工程的方面同样重要。

　　本文透露出来的工程细节也是令人饶有兴致的，作者使用多个 AI 程序相互对抗，并且将优胜者的参数权值拿出来增强对抗方的实力，重复多轮迭代，得到越来越强悍的 AI 程序。

　　如果你看到论文中的这一部分，会联想到当下火爆的生成式对抗网络 GAN 和迁移学习，内心定会有拈花一笑的喜悦。

　　论文所展示出来的严谨和渊博也是这篇文章的一大看点。我在论文的第五部分看到作者为了验证多元正态分布假设时，竟然不惜辛苦的将三千盘游戏当中四项特征的分布图形一一找出。这短短的一段话、几张图背后，是多大的工作量，是怎样认真的态度！反正我读到这一段时，内心是相当钦佩的，我相信读者应该也有同感。

　　单从本文来说，有一个不足之处，就是对于四项关键特征的交代不完整。这主要是限于篇幅和论文主题，而并非作者自珍其密。四年后在同一期刊上，作者发表了另一篇论文，题为 The Development of a World Class Othello Program，完整解释了四项关键特征及其背后的原理。我们也找到此论文的原文，并征得原作者同意，分享给为关注此话题的读者。

　　阅读一篇 31 年前站在世界之巅的论文，结合当前 AI 领域的巨大进展，遥想公瑾当年羽扇纶巾，这还是一个很有意趣的体验。我们将此文精心译出，正是为了让更多的机器学习爱好者一起体验这份意趣。

以下是完整论文

▼

评价函数学习的一种模式分类方法

　　作者 | Kai-Fu Lee Sanjoy Mahajan

　　卡内基-梅隆大学计算机科学系

　　匹兹堡，宾夕法尼亚15213，美国

　　推荐人 | Paul Rosenbloom

　　摘要

　　我们提出了一种实现评价函数学习的新方法，即使用经典的模式分类法。不像其他使用ad hoc法生成评价函数的博弈法，我们的方法基于贝叶斯学习（Bayesian learning），遵循一定的规则。任何可以定义目标和应用评价函数的领域都可以应用这种方法。

　　这种方法有以下优点：

　　（1）自动并优化组合特征或评价函数的函数项（term）；（2）理解内部特征的相互关系；（3）能够从错误特征中恢复；以及（4）通过评价函数直接估计获胜的概率。我们用黑白棋（奥赛罗）游戏应用了这种算法，其结果与一种已经达到世界冠军水准的线性函数相比，取得了巨大的提升。

　　1. 简介