简单地说，环境中的智能体试图解决一个任务时，通常会找到一种方式来最大限度地提高回报（reward）。分析这个回报函数并改变实验中的参数，与“关闭 AI 项目”完全不是一回事！如果这能一样的话，每个 AI 研究者在停止某个机器的工作时都在“关闭AI项目”。

Batra 希望大家都阅读一下他们的研究论文或者 FAIR 博客上的介绍文章，并阅读各个研究团体有关多智能体语言出现的文献。

业内讨论：参数没调好，对话跑崩了

用户“蔡曦”结合报道中提到的 Facebook 论文《Deal or No Deal？End-to-End Learning for Negotiation Dialogues》，做了比较详细的分析。

论文的大致流程是，用人类的对话作为数据集，训练一个端到端的模型，模仿人类进行物物交换的谈判对话，例如：

论文用 5808 组人类对话作为训练集，526 组对话作为测试集，分别用两种不同的模型（Likelihood Model 和 Goal-based Model）和不同的训练方法（一种是用 RNN 作简单的监督学习，另一种是用监督学习先作预训练，再用强化学习来微调模型），在 PyTorch 上跑对话模型。

结果是，直接用简单的相似度导向（Likelihood-based）的监督学习产生的对话与人类的语言（英语）最接近。

而运用目的导向策略（Goal-based）的强化学习模型情况下，当更改相关参数后就会产生杂乱无章的对话。注意：这并不代表产生了一种新的语言并且两个 agent 相互理解，只是基于训练时输入的英文单词的错误组合而已！

一位不愿透露姓名的业内人士对新智元表示：这就是训练失误的模型。做失败的东西也能拿出来吹，有些媒体的做法确实欠妥。当然，这一波是国外媒体先如此报道的。还是希望这个领域的媒体多些理性，不要看到是 Facebook 或者谷歌的研究就吹。

聚焦研究：论文并没有关于“AI 发展出自己语言”的表述

再来仔细看 Facebook AI Research 的论文——需要指出，Facebook 研究人员并没有在论文中表示其 AI 发展出了自己的语言（developed their own language）。

至于“吹不吹”，还是需要在理解的基础上进行判断。Facebook AI 这条新闻出来这么久，还没有多少新闻在报道时真正聚焦研究本身，这或许也是炒作甚嚣尘上的一个原因。

FAIR 进行研究的目的是让智能体学习谈判。

谈判既是语言也是推理问题，在谈判时你需要有一个意图，然后在口头（或文本）上实现。由此进行的对话同时包含了合作和对抗的要素，这就要求 AI 需要了解并制定长期规划，并生成话语以实现其目标。

FAIR 研究人员在开发这种拥有长期规划能力的对话 AI 方面进行了一种创新，他们称之为“dialog rollouts”。

Dialog rollouts 能让 AI 收到输入后，推算出（roll out）多种模拟的对话，直到每段对话的结束，然后从中选择结果最好（也即预期奖励最大）的对话路线来进行。

下面是示意图，选择得分为 9 的最下面那条路线，显然结果最好（能够拿到 3 顶帽子）。

实际上，类似的思路也被用于游戏环境中的规划问题，但 Facebook 研究人员表示，这种方法此前还从未被用于语言研究，原因是可以选择的行动数量过于巨大。

为了提高效率，FAIR 研究人员首先生成了一小部分备选的表述（utterance），然后重复模拟未来的整个对话，从而估算这种表述成功的程度。FAIR 开发的这种模型，预测准确率足够高，从而在好几个方面极大提升了谈判策略：

更努力地谈判（Negotiating harder）：新的智能体能与人类进行更长时间的对话，不会那么快就成交。模型会一直谈判一直谈判，直到达成协议。

(责任编辑：本港台直播)