微软的研究人员在近期创建了一套基于人工智能的系统，以学习如何在20世纪80年代风靡一时的电子游戏“吃豆小姐”中获得最高分。该系统运用了“分而治之”的方法，可广泛用于对AI代理（agents）进行训练，使之掌握能够增强人类能力的复杂任务。

来自微软今年早些时候收购的加拿大的深度学习初创企业Maluuba团队使用增强学习的技术，在Atari 2600版“吃豆小姐”游戏中表现完美，获得了999,990的历史最高分。

蒙特利尔麦吉尔大学计算机科学副教授Doina Precup表示，这是AI研究人员的重大成就。过去他们一直在用各类电子游戏对系统进行测试，发现“吃豆小姐”是其中最难攻克的。但是，Precup同时表示，令她印象深刻的不仅仅是研究人员所取得的成绩，更在于他们所采取的方法。为了获得高分，Maluuba团队把“吃豆小姐”打通关这个终极任务拆分成了多个小任务，然后再分配给多个AI代理。

“这种让它们（AI代理）朝着一个共同目标分工协作的想法非常有趣，”Precup说。她指出，这一点与某些有关大脑工作机理的学说颇为类似，并且有可能在训练AI代理凭借有限信息完成复杂任务方面产生广泛影响。她说：“这真是非常令人兴奋，我们又朝着更加通用的人工智能迈进了一步。”

Maluuba团队将这种方法称为“混合奖励结构（Hybrid Reward Architecture）”，其中使用了150多个代理，每个代理都能与其他代理并行工作，以掌握“吃豆小姐”游戏的玩法。例如，一些代理成功找到某个特定“豆子”时会获得奖励，而另一些代理则被指定负责设法避开“鬼怪”。

接着，研究人员创建了一个上层代理——就像一家企业的高级经理，负责从所有其他代理处收集建议，并据此决定下一步如何移动吃豆小姐。上层代理会计算主张向某个方向前进的代理的数量，但也会考察了它们希望采取行动的愿望强度。

例如，假设100个代理希望向右移动，因为这是通向某个豆子的最佳路径，但是另外3个代理希望向左移动，因为右方有一个致命的鬼怪，那么上层代理会提高那些注意到鬼怪的代理的愿望权重，并决定向左移动。

Maluuba公司的研究经理Harm Van Seijen，同时也是关于这项成就的新论文的主要作者，他表示，当每个代理都自发地采取行动时，就会实现最好的结果。例如，其它每个代理只关注获取豆子的最佳方式，而由上层代理决定如何运用来自各个代理的信息，做出对每个人都最有利的选择。

他说：“一方面它们要设法根据所有代理的偏好展开合作，但另一方面每个代理又只关心一个特定问题，这样就产生了良性互动，对大家都有好处。”

为什么选择“吃豆小姐”游戏？

你可能觉得很奇怪，竟然需要用最先进的AI研究方法来对付上个世纪80年代Atari游戏这样看似简单的玩意儿。但是，Maluuba公司项目经理Rahul Mehrotra表示，搞清楚如何在这类电子游戏中胜出实际上是相当复杂的，因为在玩游戏时你可能遇到各种各样的情况。

Mehrotra说：“在游戏中取胜需要很多与人类十分相似的‘智力’，所以很多从事AI研究的公司都使用电子游戏来构建智能算法。”

“吃豆小姐”游戏街机版的共同发明者之一Steve Golson说，这款游戏入门很简单但打通关却几乎不可能，因为它最初是针对街机设计的，店老板们总是希望人们不断地往里面投币。“店家希望玩家们觉得，‘哦，哦，我差一点就打通关了！我要再试一次，”Golson说。“再投一个币。”

Golson表示，几个月前当他得知“吃豆小姐”被广泛地用作人工智能研究的“检测场”时，异常兴奋。

不过，现在已经身为Trilobyte Systems咨询公司负责人的Golson说，他们当初设计“吃豆小姐”时有意让她比普通的“吃豆人”更难以预测，让玩家更难打通关。而这使得它成为研究人员训练AI代理对随机环境做出反应的理想环境。

“这款游戏看起来很简单，开奖，”他说，“但由于游戏中的各种随机情况，其复杂性又十分惊人。”

增强学习