三、利用人类的善良与同情。像电影《机械姬》讲的，我们人类一些比较善良的人去参加一个图灵测试，这时候他看到人和机器的关系，非常同情这些机器，开始对机器拥有一种感情，这时候他想帮助机器来摆脱人类的控制，但是这个结果依然可能带来风险，机器人可能借助人类的善良或者其他的爱心，不仅摆脱人类的控制并且还会反过来控制人类。那这种情况也可能会出现。

　　四、人工智能理解上的差异。就像我们一个大人和一个孩子说话，看起来你把问题表达的比较清楚，但对孩子来说听到可能是不同的。有可能你觉得讲得很有道理，但是别人听着完全不是这么回事，这也会带来理解上的差别，带来可能一种更大的风险。

　　比如著名科幻小说家艾萨克·阿西莫夫在小说《我，机器人》的引言中定下的机器人世界法则：第一，机器人不得伤害人类，或坐视人类受到伤害；第二，除非违背第一法则，机器人必须服从人类的命令；第三，在不违背第一及第二法则下，机器人必须保护自己。

　　作为三个公理我们听起来挺好的，觉得可以很好的管控机器人，可以像植入操作系统一样，使每个出厂的机器人都拥有基本的原则，我们以为这样就完成了对机器人的管理。实际上在我们现在理解中，这样的三个原则真能管好机器人吗？其实不一定。

　　从小的地方讲，什么叫保护人类？比如说我们让一个家庭机器人照顾好自己的孩子，我们告诉他必须绝对保证这个孩子的安全。听起来这是非常重要的，但是机器人怎么理解这件事情呢？机器人通过各种分析，发现怎么样才能够最好的保证这个孩子的安全呢？就是呆在家里不出去，因为出去的话可能会遇到交通事故，遇到恐怖袭击等很多不确定的因素，它通过大数据的分析和各种概率计算，最后发现呆在家里是最安全的，于是它就不让他出去了。如果只是管理个孩子还行，换成是大人呢？说要保证我的绝对安全，绝对安全是什么？就是把你关在家里，然后不出去，是最安全的一种方式，这时候相当于软禁了，如果它对人类的理解就是这样保护人类安全，同样带来一些大的风险。

　　另一些机器人可能理解的程度就更高了，不是要我保护人类吗？但它认为人类正在自己毁灭自己，比如说我们搞的空气污染、战争，人类自相残杀，它觉得人类这个物种正在自己毁灭自己，于是它认为保护人类最好的方式，就是把人全部关起来，像宠物一样的去养他们，就很像我们现在保护野生动物一样。如果它这样理解保护人类的话，是不是对我们人类同样是非常危险的呢？当然如果哪天机器人有一点自我的意识，真的变得非常危险了。

　　关于这个问题，我没有特别深入的思考，就是说我们不知道有没有可能在这个高度智慧的情况下，机器人开始思考自己来自于哪里，要去哪里，自己是谁等这些人类基本的哲学问题。假如说它们有了所谓自觉的意识，它们还愿意服务于人类吗？

对于“真正的机器人”的构想

　　我认为人类和机器的界限会变得越来越模糊，当机器越来越高度智慧的时候，它从外观上，甚至内在上，会越来越接近我们人类。但是机器就是机器，我觉得有另外一类的模糊会发生在我们人和机器之间，所以会有一种新的物种会诞生，我认为那个才叫真正的机器人，就是机器和人的结合。

　　机器自己产生了意识或者人类把自己的意识放到一台机器上了，这时候就会出现机器和人的这种混合物，这很容易理解。你想一个机器发展到足够好的时候，它在很多部分开始代替人类，假如说我们因为车祸受伤了，会装一个义肢、假肢，这时候我们是不是很容易接受它代替我们的四肢？如果我们的器官出现了问题，我们替换了一个器官我们是不是能够接受？当我们身体大部分被替代的时候，我们到底是不是人了呢？

　　有一个电影叫《攻壳机动队》，它可以把人类的大脑植入一台钢铁的器具中，变成了人和机器的结合物，只保留我们大脑。是不是还是我们的人，但是其他部分全部变成了机器？在我看来，这就变成了一个新的物种叫机器人了。拥有人类的大脑，又有很多其他机器的能力。实际某种程度上已经开始超过我们人类自身了，因为人类的血肉之躯可能是我们的弱点，比如说我们跑不过猎豹，打可能打不过老虎，很多动物在原始的技能上都超过了我们。我们最重要的就是拥有一个大脑，但是我们并没有一个强健的躯体，当我们具有一个钢铁之身的时候，是不是已经变成了一种优势？所以那样的机器人对于人类来说已经形成了某种优势。如果让机器人这样的开始不断的学习和掌握人类的智慧，逐渐开始接近人类，我觉得是个挺危险的事情，机器越来越像人类甚至超越人类，还有钢铁之躯的时候，它整体上会不会真正超越人类成为一个新的物种呢，所以人类要面对这样的一个新的物种，我们应该怎样呢？

人类自身的进化