简单来说，在尝试完成任务时，机器人经常会采用一种更为复杂曲折的方法以获得最大化的奖励。对奖励函数进行分析，更改试验参数，并不意味着“切断电源”或者“关停AI”。不然，每当AI研究人员在机器上终结一项任务时，都可以叫做“关停AI”。

”

Dhruv Batra在Facebook发表澄清

实验初期本来是允许机器修改语言的。研究人员为系统设置激励条件时，告诉它们“请用英文”，但并未告诉它们 “请用英文语法”。结果两台机器不管语法，将语言过分修改，产生了很多无意义的对话。发现后，研究人员便关掉了修改语言的选项，然而这并不是“关停AI”。

Edward在Twitter上对一篇报道表示不满，“难道你们就没有其他编辑可用了吗？”

另一位研究员hardmaru发推文表示，“《自AI发明了自己语言后Facebook关闭了它》这篇报道的题目非常不负责任，作者应该对它感到羞耻”。

事实上，机器人聊天是目前AI应用的诸多领域之一。谷歌Alphabet以及埃隆·马斯克发起的OpenAI近期也进入了这一方向。有些机器人已经发展出了自己独特的交流风格，研究人员正对其进行不断的调试。

让人印象深刻的是，埃隆·马斯克是“AI末日论”坚定的传道者，几天前还与Facebook创始人扎克伯格辩论。如果AI聊天机器人会失控，估计马斯克不会轻易尝试。

对人工智能的恐惧，

或许是100多年前的历史回魂

不管是否出于刻意，媒体夸大事实甚至制造流言的做法，让公众对AI产生了怀疑，也让参与该项目的Facebook研究人员感到愤怒和委屈。

“大众以及部分媒体、自媒体，对AI的理解很多来自科幻电影，而科幻电影里面的AI超级智能，直播，是有生存意识甚至阴谋论的。所以看到这类科研结果，就会断章取义，往科幻片方向想。” 创新工场（chuangxin2009）董事长李开复说。

末日预言家的恐吓让媒体和公众加重了对AI的担忧。

霍金在全世界享有盛誉，但他认为人工智能的崛起可能是人类文明的终结。

埃隆·马斯克同样信奉AI末日轮。“研究AI，好比在召唤恶魔。”他说，如果人工智能在多个领域超越人类，人类将面临大规模失业的危险，生活因此会变得毫无意义。

霍金和马斯克的观点拥有诸多拥趸。在AlphaGo击败李世石前后，马克·扎克伯格发了一条贴文，称Facebook也有自己的人工智能，能够在围棋比赛中击败人类。

“你为什么就不能放过这一古老的游戏，让它不受任何虚拟玩家的干涉？我们真的所有一切都需要人工智能吗？”到2016年6月，这条帖子已经收到了超过85000条表情反馈和4000条评论。

有趣的是，对未来AI的担忧和恐慌，和100多年前中国的一段历史非常相像。

1865年8月，atv，英国商人杜兰德在宣武门外铺设了一条长约半公里的铁路。从未见过火车的清朝人，被“以小汽车行驶其上，其迅疾如飞”的景象吓得不轻，以至“诧所未闻，骇为妖物，举国若狂”。

晚清铁路

这段铁路很快被“饬令拆卸”。在此之前，面对洋商多次修筑铁路的请求，清政府都以“失我险阻，害我田庐，妨碍我风水”的理由严厉回绝。

10年后，英国怡和洋行擅自在上海修建了一条十余公里长的铁路，以便输送货物和旅客。清政府得知后即愤怒又尴尬，不得不以28.5万两银子的重价赎回，并拆毁铁轨、铲平路基、推倒车站。这些器材在海滩上风吹雨淋，很快变成了废铁。

清朝官员对铁路排斥历时弥久，厌恶的原因之一是担心“失业”，害怕铁路修成后，沿线舟车挑夫、行栈铺房无以为生，必将聚为流寇。

巧合的是，今天抵制AI的人，最大的反对理由也是“失业”。