维基百科机器人设计的用意是加速编辑的过程，但由于机器人在设计时有细微的差别，同时，不同人使用习惯可能也有不同，就导致大量资源浪费，进入编辑“拉锯战”――你改过来，我改回去。如果由人力编辑，反而比机器人要更快解决问题。

我们还发现维基百科不同语言版本之间，机器人的表现不同。虽然规则大同小异、目标一致、技术相仿，但就机器人合作效率而言，德语维基百科中远超过葡语维基百科。这只能用其中的人类因素来解释，或许在不同环境下运行这些机器人的人类编辑的表现有差异。

?

指数式增长的混乱 数量一大就变野蛮

维基百科机器人的自主性很低，由于不同机器人有不同目标和功能，系统本身的操作就有大有不同。但是维基媒体基金会正计划着使用新的AI，给机器人更多自主权。而这会导致系统的行为更变幻莫测。

还有一个例子大家或许听说过。聊天机器人是一个用来模拟人类对话或聊天的程序。苹果的Siri就是一例。这些能给出的回答的智能助手我们早已经司空见惯。但当两个聊天机器人开始聊天时，会擦碰出怎样的火花呢？把几个聊天机器人放在一块，他们就开始有各种奇怪表现，开始吵架，甚至是互相辱骂。

聊天机器人对话情景 ?“你这可悲的程序。” “你就是个笑话。” 两机器人进入吵架模式，针锋相对。

系统规模越大，机器人的自主性就越高，而系统整体的表现就会更复杂，更难以预料。维基百科的系统就是一个这样的例子，有数量庞大、个体相对简单的机器人组成。而聊天机器人的例子中，机器人数量较小、相对复杂、更具创意。两个例子都出现了我们未曾预料的冲突。如果我们往系统里加入越来越多的机器人，系统的复杂性就呈指数爆发式增长，其未来的行为也就变得更难预测。所以，未来系统如果由大量异常复杂的机器人组成，那系统给我们带来的“惊吓”可能超乎想象。

无人驾驶的疯狂 道路安全无处安放？

很多人看好无人驾驶汽车，觉得无人驾驶能够提高道路交通的效率和安全。但是，倘若我们真的有了完全自主的汽车，路上就出现了一个巨大的自动汽车形成的系统。一个规模巨大的系统，表现可能跟人为控制环境下一组数量较小的汽车个体的表现大相径庭。另外，因为其中的无人驾驶汽车还是由不同环境中的不同人“训练”出来的。那么它们开始互动时，这个大系统的行为很难预测。

人类可以很快适应新规则，培养新习惯，然而在不同系统间“切换”的时候还是会有困难。而适应新规则和新习惯对于人工智能而言会难上加难。假如按德国规则运行的车辆到了意大利，面对着其他意大利无人车，面对意大利成文规则和不成文的文化习惯时，德国无人车会作何反应，开奖，会如何应对，我们心里也没谱。这时，像经过十字路口这样的简单任务都有可能带来致命风险，因为我们不知道这时无人车在其他规则的环境中会按自己的规则运作，还是做出完全不同的举动。

现在再回头想想Elon Musk和他的伙伴们所担心的潜在灾难，我们会发现，一个杀手机器人个体落入“敌手”着实很危险。但加入我们面对的是一大群杀手机器人组成的无法预测的系统呢？我连想都不要想。