本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

wzatv:Facebook的AI用“自创秘密语言”对话?程序员:参(2)

时间:2017-08-10 21:48来源:118图库 作者:j2开奖直播 点击:
简单地说,环境中的智能体试图解决一个任务时,通常会找到一种方式来最大限度地提高回报(reward)。分析这个回报函数并改变实验中的参数,与“关闭

简单地说,环境中的智能体试图解决一个任务时,通常会找到一种方式来最大限度地提高回报(reward)。分析这个回报函数并改变实验中的参数,与“关闭 AI 项目”完全不是一回事!如果这能一样的话,每个 AI 研究者在停止某个机器的工作时都在“关闭AI项目”。

Batra 希望大家都阅读一下他们的研究论文或者 FAIR 博客上的介绍文章,并阅读各个研究团体有关多智能体语言出现的文献。

业内讨论:参数没调好,对话跑崩了

用户“蔡曦”结合报道中提到的 Facebook 论文《Deal or No Deal?End-to-End Learning for Negotiation Dialogues》,做了比较详细的分析。

wzatv:Facebook的AI用“自创秘密语言”对话?程序员:参

论文的大致流程是,用人类的对话作为数据集,训练一个端到端的模型,模仿人类进行物物交换的谈判对话,例如:

wzatv:Facebook的AI用“自创秘密语言”对话?程序员:参

论文用 5808 组人类对话作为训练集,526 组对话作为测试集,分别用两种不同的模型(Likelihood Model 和 Goal-based Model)和不同的训练方法(一种是用 RNN 作简单的监督学习,另一种是用监督学习先作预训练,再用强化学习来微调模型),在 PyTorch 上跑对话模型。

wzatv:Facebook的AI用“自创秘密语言”对话?程序员:参

结果是,直接用简单的相似度导向(Likelihood-based)的监督学习产生的对话与人类的语言(英语)最接近。

而运用目的导向策略(Goal-based)的强化学习模型情况下,当更改相关参数后就会产生杂乱无章的对话。注意:这并不代表产生了一种新的语言并且两个 agent 相互理解,只是基于训练时输入的英文单词的错误组合而已!

一位不愿透露姓名的业内人士对新智元表示:这就是训练失误的模型。做失败的东西也能拿出来吹,有些媒体的做法确实欠妥。当然,这一波是国外媒体先如此报道的。还是希望这个领域的媒体多些理性,不要看到是 Facebook 或者谷歌的研究就吹。

聚焦研究:论文并没有关于“AI 发展出自己语言”的表述

再来仔细看 Facebook AI Research 的论文——需要指出,Facebook 研究人员并没有在论文中表示其 AI 发展出了自己的语言(developed their own language)。

wzatv:Facebook的AI用“自创秘密语言”对话?程序员:参

至于“吹不吹”,还是需要在理解的基础上进行判断。Facebook AI 这条新闻出来这么久,还没有多少新闻在报道时真正聚焦研究本身,这或许也是炒作甚嚣尘上的一个原因。

FAIR 进行研究的目的是让智能体学习谈判。

谈判既是语言也是推理问题,在谈判时你需要有一个意图,然后在口头(或文本)上实现。由此进行的对话同时包含了合作和对抗的要素,这就要求 AI 需要了解并制定长期规划,并生成话语以实现其目标。

FAIR 研究人员在开发这种拥有长期规划能力的对话 AI 方面进行了一种创新,他们称之为“dialog rollouts”。

Dialog rollouts 能让 AI 收到输入后,推算出(roll out)多种模拟的对话,直到每段对话的结束,然后从中选择结果最好(也即预期励最大)的对话路线来进行。

下面是示意图,选择得分为 9 的最下面那条路线,显然结果最好(能够拿到 3 顶帽子)。

wzatv:Facebook的AI用“自创秘密语言”对话?程序员:参

实际上,类似的思路也被用于游戏环境中的规划问题,但 Facebook 研究人员表示,这种方法此前还从未被用于语言研究,原因是可以选择的行动数量过于巨大

为了提高效率,FAIR 研究人员首先生成了一小部分备选的表述(utterance),然后重复模拟未来的整个对话,从而估算这种表述成功的程度。FAIR 开发的这种模型,预测准确率足够高,从而在好几个方面极大提升了谈判策略:

更努力地谈判(Negotiating harder):新的智能体能与人类进行更长时间的对话,不会那么快就成交。模型会一直谈判一直谈判,直到达成协议。

(责任编辑:本港台直播)

顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容