【避免AI错把黑人识别为大猩猩】伯克利大学提出协同反向强化学习

2017-08-19 14:05 来源:新智元 机器人 /操作系统 /游戏

原标题：【避免AI错把黑人识别为大猩猩】伯克利大学提出协同反向强化学习

1新智元编译

来源：bair.berkeley.edu

作者：Dylan Hadfield-Menell

编译：刘小芹 弗格森

【新智元导读】 伯克利大学的研究博客最新文章介绍了AI奖励机制存在的缺陷，提出让AI学习人类价值观，价值对齐问题的重要性，以及协同强化学习的一些最近研究。

小心你给的奖励

“小心你许的愿望！”——我们都听过这句谚语。国王弥达斯的故事告诉我们，atv，轻易许愿往往事与愿违。弥达斯是一个爱财的国王，他向酒神许愿希望得到点石成金的能力，并如愿以偿得到了点金术。最初，这很有趣，他把碰触到的一切物品都变成了黄金。但快乐很短暂，当国王拥抱自己的女儿时，女儿变成了一座金子的雕像，国王认识到自己愿望的错误。

我们人类对于实际想要什么非常难以决定，我们建立的人工智能系统也深受其害。对于AI，这句警言实际上应该变成“小心你给的奖励！”当我们为一些应用设计以及部署一个AI智能体时，我们需要指定希望这个智能体来做什么，这通常是采用一种奖励函数的形式：该函数告诉智能体哪种状态和动作的组合是好的。比如说，汽车到达目的地是好的，一辆车撞到另一辆车就不好了。

AI研究在使AI的行为根据规定的奖励函数表现良好方面取得了很大的进展，例如将图像根据分类到正确的标签，以及引导汽车自主行驶。但是，正如弥达斯国王的故事所警示的，重要的不是规定的奖励函数：我们真正想要的是使AI的行为根据设计者或用户的期望来表现的奖励函数。

我们最近的研究《协同反向强化学习》（Cooperative Inverse Reinforcement Learning）正式确定和调查了价值对齐问题（value alignment problem）——引出和优化用户的预期目标的问题。

论文地址：https://arxiv.org/abs/1606.03137

人工智能系统的奖励机制存在缺陷

OpenAI 最近公开一个示例，说明规定的奖励函数与预期的奖励函数（stated vs. inteded reward functons）之间的区别（地址：https://blog.openai.com/faulty-reward-functions/）。其中系统设计师为赛车游戏设计强化学习。他们决定奖励制度是获得得分。这似乎很合理，因为我们的期望是赢得比赛，那就需要得分高。不幸的是，这导致在某些环境中出现了相当不合理的行为。

这个视频展示了一个只追求得分的赛车策略，最终当然是没有赢得比赛。这显然与期望的行为截然相反，但设计者确实得到的是他们要求的行为。

关于价值偏差（value misalignment），我们可以回顾另一个例子，发生在2015年6月，谷歌刚发布一个图像分类的功能。不幸的是，有一个用户报告，谷歌的系统将他的非裔美国人朋友分类为大猩猩。

这件事情不是出于某个人的恶意。这是因为系统被授予的目标与该公司建立这一分类器的底层目标之间出现了偏差（misalignment）。分类任务中的价值函数（或损失函数）是成对定义的：（预测标签，真实标签）。分类研究中的标准奖励函数是给一个正确分类（即预测标签和真实标签一致）一个0的奖励，否则给一个 -1 的奖励。这就意味着所有的分类错误都是同等的不好——但这实际上是不对的，特别是对人的分类错误时。

根据给定的奖励措施，学习算法会愿意把将自行车误认为是烤面包机的几率减少。同时把将某人误认为是动物的几率增加。这不是系统设计师的明智选择。

价值对齐问题

我们可以将上述失败归因于错误的假设，也就是说错误地假设了给学习系统的奖励函数是系统设计者真正关心的奖励函数。但实际上，两者之间往往存在不匹配，而这种不匹配最终会导致不好的行为。

随着AI系统的使用越来越广泛，这种不良行为的潜在后果也越来越严重。例如，我们必须很确定，一辆自动驾驶汽车的控制策略能够做出正确的权衡。但是，确保这点是很困难的：汽车不正确行使的方式太多太多。起码，穷举所有方式并评估它们是很具挑战性的。