让自主机器能够检测自己行动可能导致的潜在伤害，并对此做出反应（要么尝试在行动中避免，要么干脆拒绝执行人类指令），atv，这些事至关重要的。

　　出于自我保护的缘故，或者是为了娱乐，人类对机器人可能是恶意的。出于娱乐目的的例子有，微软去年在 Twitter 上发布的 聊天机器人 Tay。在上线 16 小时之后，微软放弃了实验，因为 Tay 在人类的调教之下开始发布具有性别歧视和仇恨色彩的言论。这里能够汲取的经验教训是，信任的一个关键因素是知道在何时采取预防措施。

　　施茨的文章还提到了自动驾驶汽车的例子，出于显而易见的技术原因，这是最近的一个热点话题。麻省理工学院一直在进行一项开源的调查研究，名为“道德机器”（Moral Machine），通过向测试者询问一些重大伦理问题的答案，让自动驾驶汽车最终能够知道在毫秒之间要做出怎样的选择。

　　这些问题即现代版本的 有轨电车难题，它们是一些哲学问题的很好升华。假设你看到一辆刹车坏了的有轨电车，即将撞上前方轨道上的五个人，而旁边的备用轨道上只有一个人，如果你什么都不做，五个人会被撞死。你手边有一个按钮，按下按钮，车会驶入备用轨道，只撞死一个人。你是否应该牺牲这一个人的生命而拯救另外五个人？就自动驾驶汽车来说，更尖锐的问题是，如果牺牲车中的乘客意味着能够拯救其他人的生命，它能否去做？

　　“要处理人类指令（无论仁慈与否）的这些复杂性。”施茨写道，“机器人必须能够通过行动的结果进行推论，并将结果跟现有的社会和道德准则（它们确定了什么可取和什么不可取，以及什么合法和什么不合法）进行对比。”

　　在建立那种关系的诸多层面中，信任的概念就是其中一层。即使在相对简单的 Dempster 演示中，操作者的可信度也是机器人在采取行动前必须考虑的诸多因素之一（不过，值得庆幸的是，机器人的反应速度很快）。

　　“当机器人得到走向墙壁的指令时，它会经历多个推理步骤，以了解自己应该怎样做。”施茨解释说，“在这里，机器人得到了一项指令，即如果你被指示去做一件工作，且遵令行事有可能造成一些伤害，那么你就被允许不去做那件工作。”

　　这种伦理层级结构肯定会让人想起科幻作家艾萨克·阿西莫夫（Isaac Asimov）在上世纪 40 年代早期提出的“机器人三定律”：

机器人不得伤害人类，或因不作为（袖手旁观）使人类受到伤害。

除非违背第一法则，机器人必须服从人类的命令。

在不违背第一及第二法则下，机器人必须保护自己。

　　不过，几十年过去了，我们在解决这些重大伦理问题上仍然进展缓慢。就 Dempster 来说，信任仍然是直接编入其代码的概念，而不是某种会随着时间推移得到或失去的东西。假如说机器人被要求通过的墙壁是坚硬的混凝土，这个冷酷的事实并不会让它失去对操作者的信任。

　　等到下一次，它仍然会听从指令走上去。对 Dempster 来说，信任是写入代码的，并不是后天产生的。除非改变机器人的代码，否则它还是会一次次走向墙壁。

　　不过，这并不意味着机器人无法学习。在人机交互实验室从事的多个研究项目中，有一个是自然语言交互。语音和视觉指令可以教会机器人在没有经过编程的情况下执行一项任务。操作者要求一台机器人做下蹲这个动作，机器人再一次像 Hal 9000 那样拒绝执行指令，但这一次是机器人不知道该如何做这个动作，它的代码中没有这一项。

　　于是，操作者演示了步骤：伸出手，膝盖弯曲，站起来，双手放下。这下子机器人理解了，并且遵令照做。这些信息被存储到了它的内存当中，现在 Dempster 学会了做下蹲。这个概念被称为一次性学习（one-shot learning）。

　　“我们希望能够用自然语言很快地教会它怎么做。”施茨说，“想象一下，一款家用机器人不知道如何煎蛋饼。你想教会机器人怎样煎蛋饼，但你不想把教学动作重复 50 遍。你希望能够告诉它怎么做，或者演示一次，你希望这样它就能知道该怎么做。”

　　人机交互实验室向前更进了一步，他们把机器人连成了网络。个体 Nao 机器人共享一个联网大脑，这样一个机器人学会的事情，所有机器人都能学会。在施茨假设的家用机器人场景中，处于网络中的每台机器人在突然之间都学会了怎样煎蛋饼。那是一个共享的机器人信息数据库，就像是面向机器人的维基百科。