人类给机器设定的“单一目标”未必是我们最终想要的结果。即使给机器的目标很简单，例如说“给我拿杯咖啡过来”，这依然有可能出乱子，因为机器会这么来推理：

我的目标是：去拿咖啡；

我任务最可能失败的原因是什么？被关掉电源，如果我死了就不能拿咖啡了；

我要把我的开关功能弄坏，所以没有人能关掉我；

去了星巴克发现人很多，他们正在干扰我拿咖啡，所以把他们都电倒。

　　听起来有点奇怪，但我们正在面对的问题是，这种单一思维的目标，很难最终实现的东西可能不是人类想要的价值。

　　拉塞尔说完，全场大笑。

　　于是拉塞尔想了新的机器人三原则，最重要的原则是，给机器人的逻辑里装上“不确定性”：

　　2. 机器人一开始对于这些价值并不确定；

　　3. 人类的行为会给机器提供关于人类价值的信息。

　　在这个情况下，同样去拿咖啡的机器人会这么想：

人类可能会把我关掉，如果我做错了什么事情的话；

什么事情是错的？我不知道；

关掉了我就知道什么是错的，所以我会让人类把我关掉。

　　但有了这 3 个原则，还是会出现不少问题，在短期内，我们还不能解决的。真正的难点在于我们自己，因为我们自己的行为可能会崩坏。而机器人不是只是设计来达到一个人的目标，还要去平衡所有人的目标，所以它还需要理解、并且分辨出人类糟糕的部分。

　　最难的问题是，机器人要在很多人的利益中找到平衡点，这么做有很多方法，经济学家，社会学家……我们需要很多的协作。这部分没有平衡好会出现什么问题？

　　这里有三个蛮好玩的例子，展示了没有个人和社会把价值平衡好的人工智能是什么效果：

　　例子 1：如果人工智能只顾着你的利益。假如，你的利益点是“老婆大过天”：

人工智能：你的老婆让我提醒你今晚一起晚餐。

人类：什么？什么晚餐？

人工智能：你结婚 20 周年纪念日晚餐，今晚 7 点。

人类：不行啊！我 7 点 30 分约了秘书长！怎么会发生这样的事情？

人工智能：我提醒过你的，不过你忽略令我的日程推荐……

人类：好吧，那我现在怎么办啊！我总不能告诉他我没空吧？

人工智能：没关系，我让他的航班延误了——由于电脑故障。

人类：真的吗？你还能这么做？

人工智能：秘书长说他很抱歉，并且说约你明天中午吃午饭。

　　例子 2：假如人工智能只顾着全人类的利益……

人工智能：欢迎回家，今天很辛苦吧？

人类：太糟糕了，都没时间吃午饭。

人工智能：你一定很饿了。

人类：快饿死了，可以帮我准备一下晚餐吗？

人工智能：我需要告诉你一些事情。

人工智能：苏丹南部的人民比你更需要帮助。我走了，你自己做晚餐吧。

　　例子 3 ：人工智能没有理解你的价值体系：

你没时间回家做饭。但你的小孩很饿，冰箱里什么食物都没有了。

机器人看到了你的猫。

这时候，它无法掂量猫的对于你家的感情价值，和营养价值之间哪个比较大，于是……

　　突发新闻：危险的机器人煮了猫咪做晚餐

　　在解决基本原则问题之前，一起这样的事故可以葬送一整个家用机器人行业。

　　Siri 之父汤姆·格鲁伯：机器会让人类变得更聪明，而不是相互取代

　　随着人工智能离我们的生活越来越近，人们对“人工智能”这个概念的警惕也开始蔓延。远到“会不会出现统治世界的超级智能”，近到“人工智能会抢走人类的工作”，这些问题被媒体、学者和科技公司反复讨论。