9）责任：先进人工智能系统的设计师和建设者是使用、滥用这些系统以及这些系统行动造成的道德影响的利益相关者，他们有责任和机会塑造这些影响。

　　10）价值观一致性：在设计高度自治的人工智能系统时，应该确保它们的目标和行为在整个操作过程中与人类的价值观相一致。

　　11）人类价值观：人工智能系统的设计和运行应与人类尊严、权利、自由和文化多样性的理念相一致。

　　12）个人隐私：由于AI系统能够分析和利用人类产生的数据，人类也应该有权获取、管理和控制自身产生的数据。

　　13）自由和隐私：AI 应用个人数据，其结果不能不合理地限制人类真实或感知到的自由。

　　14）共享利益：人工智能技术应当惠及和增强尽可能多的人。

　　15）共享繁荣：人工智能创造的经济繁荣应该广泛共享，为全人类造福。

　　16）人类控制：应该由人类选择如何以及是否委托人工智能系统去完成人类选择的目标。

　　17）非颠覆（Non-subversion）：要控制先进的人工智能系统所带来的力量，应当尊重和改善社会健康发展所需的社会和公民进程，而不是颠覆这种进程。

　　18）AI 军备竞赛：应该避免在致命的自动武器开发方面形成军备竞赛。

　　长期问题

　　19）能力注意（Capability Caution）：在没有共识的情况下，应该避免对未来AI能力上限做出较为肯定的假设。

　　20）重要性：先进AI可能代表了地球上生命发展历史的一大深刻变化，应该通过相应的关怀和资源对其进行规划和管理。

　　21）风险：人工智能系统带来的风险，特别是灾难性或有关人类存亡的风险，必须遵守与其预期影响相称的规划和缓解措施。

　　22）不断自我完善（Recursive Self-Improvement）：对于那些不断自我完善或通过自我复制以能够快速提高质量或数量的AI系统，必须采取严格的安全和控制措施。

　　23）共同利益：超级智慧只应该为广泛共享的伦理理想服务，为了全人类而不是一个国家或组织的利益而发展。

　　AI领袖发声

　　共享繁荣

　　我认为，最大的危险在于，人们或许会以一种不负责任或者恶意的方式来处理AI，我指的是一些人为了个人利益会这么做。通过在全世界普及一个更加平等的社会，我认为我们可以减少这些危险。在一个充满暴力、充满不平等的社会中，AI 的误用，或者有人不负责任地使用AI的概率整体都会大增。让人人都能从 AI 受益是安全问题的核心。

　　——Yoshua Bengio, 蒙特利尔大学教授

　　价值一致

　　应该设计高度自动化的AI系统，确保在操作的过程中它们的目标和行为与人类价值观保持一致。价值一致非常重要。机器人不会尝试违反人性，但是它们会对人类告诉它们要做的事进行优化。所以我们需要确保机器人所优化出的世界是我们想要的。

　　——Anca Dragan UC Berkeley 大学教授

　　AI 军备竞赛

　　致命自动化武器的军备竞赛应该被禁止。”我不是战争的支持者，我认为战争是极端危险的。显然，我认为，AI 技术有着巨大潜力，但是，即便只是我们今天能掌握的技术，已经不难想象，AI 可能会被用于破坏性的事务。我不希望我对这一领域的贡献，或者任何我们发展的技术会伤害到任何人，被用于开发武器或者是发动战争。哪怕我们的技术只是让武器杀伤力更强，我也不希望。

　　——Stefano Ermon，斯坦福大学助理教授

　　1980 名产学研跨界人士联名

　　到目前为止，上述原则已由 1980 人签名，其中 808 名是 AI/机器人研究人员。签名者名单如下：

　　Demis HassabisDeepMind, Founder & CEO

　　Ilya SutskeverOpenAI, Research Director, Co-Founder

　　Yann LeCunDirector of AI Research at Facebook, Professor at New York University

　　Yoshua BengioUniversity of Montréal, head of the Montreal Institute for Learning Algorithms