是什么让我们对人工智能（AI）感到忧心？白宫上周发布的报告是对智能机器可能带来的威胁的最新报告。Nature上周发表的评论文章提出，科学和政治关注极端的未来风险可能会分散我们对已经存在的问题的注意力。

　　这种关注的部分原因来自对AI可能发展出自我意识，从而带来有关人类存续的严重威胁的过度关注。最近的一些新闻显示，受人尊敬的思想家如比尔·盖茨和斯蒂芬·霍金都在关注机器的自我意识。某种程度上，机器的某个软件将“觉醒”，机器自身的欲求将优先于人类的指示，从而威胁人类的存续。

　　但是，在我们对AI的忧心中，机器的自我意识问题并不像人们想象的那么重要。事实上，仔细阅读盖茨、霍金等人的报道会发现，他们从来没有真的关心自我意识。此外，对机器自我意识的恐惧扭曲了公众的辩论重点。AI被纯粹以是否拥有自我意识定义是否危险。我们必须要认识到，阻止AI发展自我意识与阻止AI发展出可能造成伤害的能力是不一样的。

　　对机器自我意识的关注来源于哪里？似乎主要来源于外行人士和新闻记者。搜索关于AI威胁的新闻报道，j2直播，会发现几乎总是记者提到自我意识。虽然我们的很多行为都是无意识状态下发生的，例如感知视觉画面并构成话语，但是人们的复杂规划总是与有意识的思考有关。没有有意识的思考，要做掌管世界这种复杂事情是不可思议的。所以人们很难想象AI可能构成对人类存续的威胁，除非它也有自我意识。

　　一些研究人员认为，意识是人类认知的重要组成部分（虽然他们对意识有哪些功能没有定论），也有一些研究人员反驳这种观点，认为意识根本没有用处。但是，即使意识对人类智能至关重要，它是否对所有可想象到的智能都同等重要尚未清楚，例如编码到计算机中的智能。我们对意识的作用实在了解不够——无论是人类、动物或是软件的意识——不了解它是否是复杂思考必需的。

　　意识，或我们对意识的知觉，可能自然地伴随着超级智能。也就是说，开奖，我们基于我们与它的交互来判断某事是否有意识。具有超级智能的AI能与我们交谈，创造计算机生成的、带有情绪表达能力的人脸，就像你在Skype上与真实的人交谈一样，等等。超智能AI可以轻易拥有所有自我意识的外在迹象。也许没有自我意识，发展通用AI是不可能的。

　　（值得注意的是，无意识的AI可能比有意识的超智能AI更危险，因为，至少对人类来说，阻止不道德行为的一个程序是“情感共鸣”：情感的共鸣使人能体会别人的情感。也许有意识的AI会比无意识AI更关心人类。）

　　无论是哪种方式，我们必须认识到，AI即使没有意识就可能聪明到足以对人类构成真正的威胁。世界上已经有无数这样的例子，完全没有意识的东西会对人类造成危险。例如，病毒完全没有意识，也没有智能，甚至有些人认为它们也没有生命。

　　牛津大学研究员Nick Bostrom在他的书《超级智能》（Superintelligence，牛津大学出版社，2014）中描述了许多有关AI的危险性的例子。其中一个例子是，一个AI程序的主要任务是创造更多的回形针。当它的智能提升了，同时没有被赋予其它价值，它可能会为了达到目标而寻求控制世界资源，而没有一丝丝人性。另一个例子是，一个AI程序被要求计算pi的无穷值，它将地球上的所有物质都用作了计算的资源。假如某个AI被赋予某个更值得称道的目标，例如减少痛苦，它可能会试图消除人性。这些假设中的失控非常危险，不是因为AI有自我意识，而是因为他们的建立没有基于微妙而复杂的伦理道德。

　　我们不应该对AI的自我意识过度担心，而应该把更多精力投入到对目标、价值和道德规范的规划中。现在全球都在竞相开发AI。第一个超智能AI应该也是唯一一个。这是因为，一旦它出现了——不管有没有自我意识——它能够自我提升，并根据它自己的价值观改变世界。

　　一旦超智能AI出现，将难以控制。所以，我们能做的安全防范措施是建一个项目，以确保第一个出现的超智能AI是友好的，并能始终击败邪恶AI。一个资金充足、由有道德的程序员和研究人员组成的机构，人类可能幸免于难。