（原标题：机器人变聪明不可怕，可怕的是它们又“蠢”又“跳脱”）

编者按：自从机器人诞生以来，人类社会生产效率有了很大的提高。各种人工智能的进步令人惊奇又振奋，但也有人提出警告，担心AI的进步、机器人的发展会是人类的末日，曾为我们服务的机器将反客为主，甚至对人类进行“大清洗”，这类题材的科幻小说电影层出不穷，也正反映了人类潜意识中的恐惧。目前人工智能的发展仍未超出人类掌控，机器人还“不那么聪明”。但万一有一天，这些“不那么聪明”的机器人凑一块儿了，会发生什么呢？在跟人类开战之前，可能机器人之间就开始内斗了。本文编译自Fast Company的原题为“Don’t Fear Super-Intelligent Robots. Fear Dumb, Unpredictable Ones”的文章。

Elon Musk：人工智能是我们目前面临的最大威胁。

“人类发展人工智能，就像在召唤恶魔。我们以为有五角星和圣水就可以抵御恶魔。才不是呢。”

特斯拉CEO Elon Musk曾多次警告人工智能对人类的潜在威胁。但是他错了。简单的AI程序系统，尽管个别的机器人表现不错。但有些机器人“傻”的程度令人震惊，比如傻乎乎的维基百科机器人。

世界人工智能一百强公司的领导们经常提心吊胆，担心人工智能发展迅速，atv，我们将面临“杀手机器人”的威胁。这些AI公司的头目们，包括特斯拉的Elon Musk和谷歌旗下DeepMind的创始人，甚至给联合国写了封公开信。他们警告说，自动武器技术如果落入恐怖分子和独裁者之手，或者是被黑客入侵，后果不堪设想。

苹果联合创始人Wozniak说，“我们建造设备来把自己的活儿都干了，早晚有一天他们思考速度会超过我们。那时他们就会将反应‘迟钝’的人都淘汰掉，来提高效率。”

然而，我们实际面临的威胁其实比想象中的更大。运行过程中，不仅可能人类行为不当，机器本身也有可能出问题。研究显示，复杂系统的行为可能比个别系统行为的加和更难预测。某种程度上，这也意味着人类社会总体的表现也可能与其中个人的表现非常不同。这一点同样适用于科技领域――简单的AI机器人单独行动时可能运行良好，但一个由这些简单AI机器人构成的生态系统，能傻到让你瞠目结舌。

经济市场和全球天气这种复杂系统中，单独元素之间一般都不是简单线性关系。所以这些系统很难建模，很难理解。例如，气象学的研究虽然已经进行了很多年，我们还是不能做出准确的长期天气预测。这一类系统对细微变化非常敏感，其中的反馈回路有时是爆炸性的。同时，想要准确地知道这类系统在任何特定时刻处于什么状态也异常困难。这种由一大群单独行动的个体组成的复杂系统，不管是人类社会还是简单AI机器人生态系统，本身就是难以预测的。

最近，我和我的同事研究了一种复杂系统。系统由自动编辑维基百科文章的AI机器人构成。维基百科可靠的真人编辑设计了这些机器人并将它们投入使用。机器人软件的源代码是开放的，可供任何人学习使用。这些机器人单独运作时都表现良好，可以优化维基百科。但他们同时运作时，却表现得效率低下。

这些维基百科机器人是基于一系列既定的规则和习惯来运行的。但由于维基百科网站没有中央管理系统，运作不同机器人的人不能进行有效的协调。于是，我们发现了好几对“针锋相对”的机器人，他们不停地取消对方的编辑，最后徒劳无功。然而就这么过了好几年，根本没人发现这个bug。也因为机器人之间不能相互识别，它们自己也没发现在做无用功。