(5) 它返回获胜概率，并将其作为评价。这个评价是所有评价函数都试图模拟的评价。而且，这种评价可以确证搜索树不同层次上的数值间的比较。

　　我们在黑白棋游戏中测试了这个算法。我们改进了黑白棋游戏程序BILL 2.0 [7]，使其使用相同的特征学习某一评价函数。由于BILL 2.0中的评价经过仔细调试，而且BILL 2.0是最优秀的黑白棋游戏玩家之一，我们预计性能只能获得适度的提升。但是结果表明，几乎从初始位置开始，BILL 3.0（使用贝叶斯学习）战胜BILL 2.0的次数是它战败次数的两倍多。

　　本试验的平均最后得分为37至27分。我们证明，性能的增加相当于额外使用了两层搜索。在另一个涉及黑白棋游戏问题解决的试验中，开奖，BILL 3.0比BILL 2.0多解决了11%的问题，两者都使用的是八层搜索。最后，作为衡量BILL 3.0性能的指标，BILL 3.0以56-8的分数大胜美国得分最高的黑白棋游戏玩家Brian Rose。

　　在第2部分中，我们将首先讨论构建评价函数的常规方法以及这些方法的缺点，重点介绍Samuel的成果。在第3部分中，我们将详细阐述贝叶斯学习和它在评价函数学习上的应用。在第4部分中，我们将提供黑白棋游戏的结果。第5部分的内容是对评价函数的贝叶斯学习的分析和讨论。最后，第6部分为一些结论性评论。

　　2. 评价函数的构建

　　2.1.评价函数在搜索中的作用

　　自从纽威尔（Newell）、肖（Shaw）和西蒙（Simon）发现阿尔法--贝塔（alpha-beta）关系后，博弈程序的基本模型就几乎没有发生变化[9]。几乎所有的模型仍然依赖全广度阿尔法--贝塔搜索，而且程序仍然在终端节点使用静态评价。

　　由于大多数程序使用的是类似的搜索策略，评价函数在博弈程序中起着最为关键的作用。评价函数体现程序的智慧，负责区分好的棋步和坏的棋步。而且，由于大多数程序依赖评价函数进行棋步排序，所以好的评价函数得出的搜索就更加高效。

　　静态评价包括两个阶段：（1）评价棋盘局势的特定特征，和（2）将这些特征分数整合到评价中。特征选择是一个域依赖的任务，并且无法对其进行系统的研究。在本研究中，我们将着重探讨将特征整合到评价中这一论题。特别地，我们将在后文介绍一种自动完成该任务的算法。

　　通常，静态评价是一个特征的线性组合

　　EvaI=C1×F1+C2×F2+...+Cn×Fn (2)

　　其中Eval是对棋盘配置的静态评价，它是若干特征（F 1，F2 . . . . . Fn）经系数（C1, C2 . . . . . Cn）加权后的线性组合。

　　这个表达有两个问题。首先，它假设特征是独立的，可以将他们进行线性组合。这明显就是一个错误假设。虽然线性关系可以作为一个合理的一级近似，但是我们会在后面证明，列入非线性关系可以大幅提升性能。

　　事实上，我们还将证明，每对特征都在某种程度上是互相关联的。而且，通常使用ad hoc法得出系数。在很多情况下，构建函数的人借助他的领域知识猜测这些函数。即使他们的确懂行，但是由于人类从阿尔法--贝塔搜索和静态评价的角度进行思考。当构建函数的人不那么懂行时，他就会毫无思绪。这就是西洋跳棋新手Arthur Samuel编写西洋棋学习程序的最初动机。

　　2.2. Samuel的评价函数学习试验

　　1947 年到1967年期间，Arthur Samuel在西洋跳棋上对机器学习进行了一些最早、最深入的研究[12, 13]。他的目的和本研究的目的十分类似，即已知某一棋盘局势的一组特征，给出衡量棋子位置好坏的分数。虽然他进行了很多试验，但是我们将着重介绍最为重要的两个试验：（1）通过自我模拟进行多项式评价学习，以及（2）通过book moves互相非线性特征表评价学习。在接下来的两部分中，我们将对这两个过程进行描述和评价。

2.2.1.通过自我模拟进行多项式评价学习

　　在多项式评价学习中[12]，Samuel安排了西洋跳棋程序的两个副本进行对抗，学习线性评价函数中每个特征的权重。其中一个程序副本Beta自始至终使用一个固定的函数。另一个副本Alpha则不断改进它的评价函数。Alpha通过将它所作的评价与更加准确的评价作对比来进行学习，后者是使用极小极大搜索得出的。如果搜索返回的数值比静态评价高得多，那么就假设静态评价出现了错误。通过减小权重来惩罚静态评价中的每个消极特征。