我们可以按下「关闭」按钮。「关闭」按钮会使得自动化武器在网络攻击面前变得很脆弱。这样的通信频道在战争中也是如此。此外，通用智能系统会被赋予一项任务，防止自己的「关闭」按钮被按下。

18. 人工智能的「存在风险」是什么？它是真的吗？

关于人工智能风险的早期警告曾是非常模糊的。I.J.Good 对于人工智能的可行性提出了自己的观点：「只要机器能够聪明到告诉我们如何保持对它的控制。」人们普遍意识到，在我们的星球上如果存在一个超级智能实体，可能会出现恐慌；但另一方面，我们也都清楚更加聪明的机器会更加有用，而且更加聪明不一定意味着邪恶。事实上，论据很简单。

假设超智能系统被设计成实现由人类设计者指定的某一目标，并假设这一目标不完全符合人类的价值观，人工智能形成的价值观（如果有）是非常难以确定的。

任何充分有能力的智能系统将倾向于确保其自身的持续存在并且获取物理和计算资源——不是为了他们自己的目的，而是为了更好地执行人类为它设定的任务。

现在我们问题的本质是你所要求的不是你所得到的。Norbert Wiener 是自动化和控制理论的先驱者，他在 1960 年写道：「如果我们使用——为达到某些目的——一些机器来代替我们做某些工作，我们最好能够清楚它们的确在按我们的想法工作。」Marvin Minsky 举了让机器计算 pi 这个例子，Nick Bostrom 则举了回形针的例子。对于人类而言，这些目标是根据人类视角提出的，这意味着计算机服务器或回形针覆盖整个银河系不是好的解决方案。一个具有能力的决策者——特别是能够通过互联网连接全球每块屏幕的智能——可能会对人类产生不可逆转的影响。幸运的是，这个问题相对比较明确，所以现在就可以开始解决。

常见误解

超智能机器将变得自发地产生意识、本能地变得邪恶或伤害人类。科幻小说作者通常假定上面这些一个或多个问题来设定机器与人类的对立面，这样的假设完全是不必要的。

我们人类发展人工智能系统，那么为什么我们要制造出来毁灭自己呢？有一些人类工智能「捍卫者」常常争辩道因为人类建立了人工智能系统，那么完全没有理由来支持这样的假设，即我们是在制造一个旨在毁灭人类的机器。这个没有抓住辩论要点，即哪个是邪恶意图，在设计者这一边还是代中间者这一边，这是存在存亡威胁的先决条件，这个问题也就是错误设定了对象。这将永远不会发生。

19. 为什么人们会突然对人工智能如此担心？

从 2014 年开始，媒体就定期地报道如 Stephen Hawking、 Elon Musk、 Steve Wozniak and Bill Gates 那样名人的对人工智能的担忧。这些报道通常引用那些最绝望话语并省略实质担心的深层原因，通常就像「什么是人工智能现存风险」那样的问题。在许多情况下，担忧就是在阅读 Nick Bostrom 的书籍超智能（*Superintelligence*）之后产生的。另外一些当下关心这个问题的潮流也是因为人工智能的发展正在加速。这种加速可能是很多因素的集合，包括逐步完善的理论基础，它连接了很多的人工智能领域成为一个统一的整体。还有学术实验室能产出达到能够应用并解决现实世界的实际问题在人工智能方向商业投资的急剧增加也作为。

常见误解

如果人们是担心超人工智能就在某个角落，那么基本上人工智能研究者很少认为超智能机器就在我们周围某个角落。这并不暗示着我们应该等着，直到这个问题变得很严重！如果我们发现直径 10 英里的小行星将于 50 年后撞向地球，我们难道能够不消灭它并声称「我们会在五年的时候去关注它」？

20. 人工智能在接下来的几十年里会取得怎样的进步？

这个领域好像并不要求人类级的通用人工智能能够达到成熟，而制造一些可信赖的高质量的产品也许在下个十年内有能实现。这就包括了语音识别、从简单的实际材料中提炼信息、对物体和行为的视觉识别、日常事物的机器人操作和自动驾驶。努力提升质量和扩展文本与视频的理解系统能制造更强劲的家用机器人，产生更为广泛有用的机器人，它能展示常识知识系统，一起学习并在遍历所有形式后表现得更好。还存在获取和组织科学知识的专业系统，它能管理复杂假说并可能对分子生物学、系统生物学和制药方面产生重大的影响。我们也许也会看到它在社会科学和政策制定有相同的影响，特别是在给它关于人类活动巨量的机器可读性数据之后，并如果机器是很可靠有用的，那么人们同样也需要机器去理解人类价值。公共和私人知识源，也就是知道和推理真实世界的系统，它不仅仅是数据的仓库，它会成为社会的组成部分。

21. 什么是「价值定位（value alignment）」？它有什么要紧的？