价值定位（Value alignment）就是校准人机关系具体目标价值的任务，所以机器最优选择大概来说就是无论做什么都是最大化人类的幸福感。如果没有价值定位，那么超脱人类掌控的超智能机器的出现就是不可忽视的风险。

常见误解

「我们所有需要的就是阿西莫夫定律（Asimov's laws）」。阿西莫夫定律本质上就是一些条款：它们给人类创造出各种故事情节提供灵感，但是基本对约束机器人没有什么有用的信息，因为它没有更多具体的细节。它们的基本结构为一组规则而不是效用函数，这是很有问题的：它们的词典式结构（例如任何对人类的伤害是比所有机器人的损害还要严格重要地多）意味着没有给不确定性或权衡留下空间。也许机器人只为了拍死一只在以后可能叮咬人类的蚊子会跳出悬崖毁灭了自己。另外，它也许会锁上人类汽车的门，因为坐车会提高人类受伤的可能性。最后，基于最大化人类效用的方法，对于第三条法则是没有必要的（机器人自我保护），因为机器人不保证自身的存在是不能为人类效用做出贡献的，还会令其拥有者十分失望。

22. 对于存在主义风险（existential risk），人工智能社区做了什么？

许多关于人工智能的存在主义风险的讨论都是处于人工智能社区主流之外的，它们是从人工智能研究最初到最主要的反动力。在 2008 年的时候，AAAI（美国人工智能学会）就举行了个座谈会来讨论这个问题。座谈会中期报告就指出了存在的一些长期问题，并降低了一些人工智能对人类社会风险的想法。最近，在 2015 年 1 月 Puerto Rico 由 Future of Life Institute 主办的会议上，参会者和随后参加者共六千多人共同签署了一份公开信，强烈呼吁应该有关注这些风险问题的研究和提出一个更加详细的研究议程。随后，Elon Musk 为支持这方面的研究而拿出了 1000 万美元。另外，Eric Horvitz 已经建立个期望追踪风险问题并在需要时给出政策建议的长期研究。最后还有 AAAI 也已经建立了一个关注人工智能影响和伦理问题（Impact of AI and Ethical Issues）的常务委员会。

常见误解

「规约或控制研究是不可能的」。有些人辩称没办法避免消极后果，因为研究进展是无法停止和规约的。实际上这种声称本身就是错误的：在 1975 年关于基因重组的阿西洛马会议（Asilomar Conference）就成功地发起自愿活动中止了设计制造人类遗传性基因修饰，并一直持续成为了国际准则。另外，如果实现人类级的人工智能研究未加抑制（这个是很可能出现的），那么在方法上开始谨慎地研究确保人工智能系统在我们掌控下是十分重要的。

23. 我能提供什么帮助吗？

如果你是一个人工智能研究者（或对这方面感兴趣的经济学家、伦理学家、政治学者、未来主义者和律师），从 2015 年波多黎各会议（Puerto Rico conference）在研究议程中就已经兴起了一个主题，即在主要的人工智能会议上会举行相应的研讨会，比如说 AAAI Fall 和 Spring Symposium series 等等。FHI、CSER、 FLI 和 MIRI 网站都有更多的信息。

常见误解

「完成这些是没什么困难的」。我们不管做什么都无法改变未来，这些事都终将发生。也没有什么能离真相更近一点的，我们不能预测未来，因为我们正在创造未来，这是我们集体的选择。

©本文为机器之心编译文章，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]