37岁的埃利泽·尤德考斯基是一名颇具权威的研究员，他正试图弄清楚，不仅是在理论上，在实践中按照人类所期望的方向来发展人工智能是否可行。我在伯克利的一家日本餐厅里见到了他。

　　“要如何编码一个人工智能的目标函数，才能让它愿意接受装有一个关闭按钮的设置，而它自己不会去碰触这个按钮但却允许人类来启动这个关闭按钮呢？”他点了一份海鲜牛排卷，继续说道，“而且如果它能自我修正的话，它会把自己修正成始终保留着这个关闭按钮的状态吗？我们正在努力研究这个问题，这并不简单。”

　　我唠叨了一阵关于Klaatu、HAL和Ultron的继承者掌控互联网并控制我们的银行、交通和军事系统的事。那么关于《银翼杀手》（Blade Runner）里的复制人共谋杀死了它们的创造者的故事，又该怎么看呢？尤德考斯基双手托着脑袋，然后耐心地解释道：“人工智能不需要掌控整个互联网。它并不需要无人机。它不因为有了枪就变得危险。人工智能之所以危险是因为它比我们更聪明。假设它能使用科技从DNA信息中检测蛋白质结构，那么它只需向实验室发几封邮件就可以合成定制蛋白质了。很快它就会有自己的分子机器，然后又能制造出更加复杂精细的分子机器。

　　“如果你要假想人工智能反叛人类的场景，那一定不是闪着红色发光眼睛的类人机器人行进的画面。想像一下由钻石组成的微小不可见的合成细菌，带着微型计算机，藏在你和其他所有人的血液里。突然，它们同时释放出一微克的肉毒菌毒素，然后所有人就倒地身亡了。

　　“只不过这并不会真正发生。我并不可能准确地预测到我们会以怎样的方式输给它，因为人工智能总比我更加聪明。在制造比你更聪明的东西时，首先要确保的就是它能按照正确的方式发展。”

　　我回想起与马斯克和阿特曼的谈话。马斯克说，不要被杀手机器人的想法带偏了，人工智能并不是机器人，它是网络中的计算机算法。机器人不过是由一系列的传感器和制动器组成的末端执行器，而人工智能存在于网络中……如果我们真发现了某种失控算法，那么人类和人工智能的结合体便会阻止这种算法的发现。但是如果做决定的是大型集成式人工智能，那么就没有什么能够阻止它了。”

　　阿特曼详细叙述了这种情境：“一个能完全掌控互联网的代理会比一个能完全掌控先进机器人的代理对整个世界产生更大的影响。人类现在已经如此依赖互联网，以致于一个不存在实体却可以很好地利用互联网的媒介就足够强大到让人畏惧了。”

　　即使是被开发出来执行宽厚任务的机器人也可能冷漠地伤害我们。“比如说你制造了一种能自我改进的人工智能来摘草莓，” 马斯克说道，“它越来越擅长摘草莓，也能越摘越多，并不断地改进它自己，它想做的仅仅是摘草莓。然后它就会让整个世界变成草莓园。一切都是草莓园。”这就没有人类生存的空间了。

　　但是人们能否真的开发出一个自毁功能呢？“我不确定自己是否愿意掌握能毁灭强大的人工智能的自毁开关，因为一旦你掌握了这个开关，你就会成为它第一个要杀的人。” 马斯克回答道。

　　阿特曼试图捕捉这种面对不可预测的命运的时刻所展现出的令人毛骨悚然的雄伟壮阔：“这是一个活着就很令人兴奋的时代，因为在未来的几十年里，我们要不就走向自我毁灭，要不就会看到人类的后代最终征服整个宇宙。”

　　“是的，”马斯克补充说，“如果你相信宇宙的最终命运是热寂，那这便是整个旅程了。”

　　马斯克曾一度担心人类灭绝，但想起自己有关灭绝的玩笑，他轻轻地笑了笑。正如H. P. Lovecraft曾经写道，“就算在最大的恐惧之中，讽刺也很少缺席。”

　　更正：此故事的早期版本中对一次自动驾驶的特斯拉中的驾驶者死亡的日期说明有误。该事件发生在2016年5月。