在讨论环节最有意思和争议的问题应该是“AI应该具有怎样的价值观，应该具有何等法律和伦理地位？”一个拥有机器人的世界已经足够复杂，让机器人拥有权力似乎离我们很远，但是这些争议已经在欧盟开始了。我们越早考虑这些问题，将来就会越容易过渡。

　　而问题是人工智能该赋予怎样的权力？科学家认为人工智能应符合一般的“人的价值”之类的尊严、权利、自由和文化等多样性。这意味着将人工智能应用于个人数据不应侵犯任何人的隐私、自由或安全。如果有什么问题，人们需要确定产生这些问题的原因和方式，设计师和制定者在使用或误用系统中要承担在一定的道德责任。

　　这些点都已经在实践中被考虑到了：科学家在谷歌DeepMind项目中讨论如何实现用一个“大红色按钮”去干预一个已经开始按行动路径执行任务的机器人，并防止它抗干扰。

　　尤其让人害怕的是要注意“致命的武器军备竞赛是应该被禁止的”。“生命未来研究所”在过去一直强调这一点，2015年向联合国提交了一封公开信，atv，请求联合国禁止军用人工智能的发展。

　　科学家们列出了清单，着眼于潜在的长期问题，包括未来发展这一重要技术平衡资源分配，但要规划和减轻人工智能系统可能会面对的风险，特别是灾难性的或存在的风险。

　　为此，安全控制措施应适用于AI，可以改善自身技术，阻止剧本里世界末日的发生，而在一般情况下，“超智只应服务于广泛共享的伦理理想的发展，并为全人类利益而不是一个国家或组织的利益。”

　　「Asilomar AI Principles 阿西洛马人工智能原则」

　　科研问题

　　1)研究目的：人工智能研究的目标，应该是创造有益(于人类)而不是不受(人类)控制的智能。

　　2)研究经费：投资人工智能应该有部份经费用于研究如何确保有益地使用人工智能，包括计算机科学、经济学、法律、伦理以及社会研究中的棘手问题，比如：

　　? 如何使未来的人工智能系统高度健全(“鲁棒性”)，让系统按我们的要求运行，而不会发生故障或遭黑客入侵?

　　?如何通过自动化提升我们的繁荣程度，同时维持人类的资源和意志?

　　?如何改进法制体系使其更公平和高效，能够跟得上人工智能的发展速度，并且能够控制人工智能带来的风险?

　　?人工智能应该归属于什么样的价值体系?它该具有何种法律和伦理地位?

　　3)科学与政策的联系：在人工智能研究者和政策制定者之间应该有建设性的、有益的交流。

　　4) 科研文化：在人工智能研究者和开发者中应该培养一种合作、信任与透明的人文文化。

　　5)避免竞争：人工智能系统开发团队之间应该积极合作，以避免安全标准上的有机可乘。

　　伦理和价值

　　6) 安全性：人工智能系统在它们整个运行过程中应该是安全和可靠的，而且其可应用性的和可行性应当接受验证。

　　7) 故障透明性：如果一个人工智能系统造成了损害，那么造成损害的原因要能被确定。

　　8)司法透明性：任何自动系统参与的司法判决都应提供令人满意的司法解释以被相关领域的专家接受。

　　9)责任：高级人工智能系统的设计者和建造者，是人工智能使用、误用和行为所产生的道德影响的参与者，有责任和机会去塑造那些道德影响。

　　10)价值归属：高度自主的人工智能系统的设计，应该确保它们的目标和行为在整个运行中与人类的价值观相一致。

　　11)人类价值观：人工智能系统应该被设计和操作，以使其和人类尊严、权力、自由和文化多样性的理想相一致。

　　12)个人隐私：在给予人工智能系统以分析和使用数据的能力时，人们应该拥有权力去访问、管理和控制他们产生的数据。

　　13)自由和隐私：人工智能在个人数据上的应用不能充许无理由地剥夺人们真实的或人们能感受到的自由。

　　14)分享利益：人工智能科技应该惠及和服务尽可能多的人。

　　15) 共同繁荣：由人工智能创造的经济繁荣应该被广泛地分享，惠及全人类。

　　16)人类控制：人类应该来选择如何和决定是否让人工智能系统去完成人类选择的目标。

　　17)非颠覆：高级人工智能被授予的权力应该尊重和改进健康的社会所依赖的社会和公民秩序，而不是颠覆。

　　18)人工智能军备竞赛：致命的自动化武器的装备竞赛应该被避免。

　　更长期的问题

　　19)能力警惕：我们应该避免关于未来人工智能能力上限的过高假设，但这一点还没有达成共识。

　　20)重要性：高级人工智能能够代表地球生命历史的一个深刻变化，人类应该有相应的关切和资源来进行计划和管理。

　　21)风险：人工智能系统造成的风险，特别是灾难性的或有关人类存亡的风险，必须有针对性地计划和努力减轻可预见的冲击。