在 OpenAI，Amodei 和同事 Paul Christiano 一道，正在开发不仅能通过数小时的试错进行任务学习的算法，同时在这一过程中还能接受人类的引导。他们相信，这类算法——人类和机器的混合——能够保证 AI 系统是安全的。

　　多年以来，Elon Musk 和其他一些专家、思想家，也包括一些技术专家，一直在警告 AI 可能脱离人类的控制，产生违背他们设计者初衷的行为。而像 Amodei 这样的研究者则在努力走在风险的前面，从某种意义上说，他们将 AI 系统看作是需要父母引导的孩子。

　　在 AI 领域，许多专家相信强化学习是让机器通过不断的试错学习特定任务，从而实现人工智能的途径。研究者为机器设定奖赏，机器随机开始执行任务，不断地去获得最大化奖赏。比如在赛船游戏中，奖赏就是更多的分数。

　　如果 AI 能够学会在游戏《横行霸道》中开一辆车，研究者们相信，AI 在真实世界中也能学会去开一辆车。如果它能够用网页浏览器和其他 app，它也能学会理解自然语言，甚至展开对话。在谷歌，在 UC 伯克利，机器人已经开始使用此类技术学习执行简单任务，比如开门、捡东西了。

　　这就是为什么 Amodei 和 Christiano 正在努力开发能够接受人类指导的强化学习算法。这能够保证 AI 不失控。

　　最近，他们和 DeepMind 的研究者一起，发布了一些相关的研究报。这两家顶级实验室此前从未开展过合作，他们如今合作开发的算法被当作是 AI 安全性研究的重要一步。

　　UC 伯克利的研究人员 Dylan Hadfield-Menell 表示，这些联合研究验证了以前的一些想法，在未来 5 到 10 年都是非常有前景的研究。

　　和 OpenAI 、DeepMind 的开发团队致力于 AI 安全的研究一样，谷歌大脑也在做类似的事情，还有 UC 伯克利、斯坦福大学也在这些大企业的实验室合作，致力于此类问题的研究。

　　今年6月，OpenAI 还曾与DeepMind 联手发布了合作计划的第一项研究，让没有技术经验的人类给强化学习系统提供反馈，从而避免事先为系统指定目标的步骤。在某些情况下，这种方法只需要30分钟的反馈就足以训练系统，包括教会系统一个全新的、复杂的行为，例如使模拟机器人做后空翻。

　　大约用了900条来自人类的反馈来教这个算法做后空翻

　　质疑声：Open AI 成为马斯克的AI人才后花园？

　　今年6月，Open AI 著名研究员 Andrej Kapathy 加盟特斯拉，但是这一消息却让马斯克饱受质疑。

　　Hacker News上，有人开玩笑地评论，Andrej Kapathy 是从马斯克的一家非盈利组织（Non-profit）组织，跳槽到了马斯克的一家盈利公司（own for profit ）。

　　Andrej Kapathy 毕业于斯坦福人工智能实验室，博士师从李飞飞教授，在谷歌大脑、DeepMind 实过习，也曾与吴恩达一起共事，业界几大深度学习实验室都待过，更重要的是，他乐于而且善于分享自己的经验和见解，在推特和Medium上非常活跃，有AI “网红”之称。

　　今年6月，特斯拉发布官方消息，称Andrej Kapathy加入特斯拉，作为新任命的 AI 及 Autopilot Vision 总监的 Karpathy 将直接向 Musk 汇报，但也会与特斯拉的 Jim Keller 紧密协作，后者曾负责特斯拉的 Autopilot 硬件部门，如今统管自动驾驶汽车司机辅助功能的软件及硬件部分。

　　针对此事，有网友在网上评论说，Open AI 已经成为马斯克招揽AI 人才的“后花园”。或许是因为一贯宣扬“人工智能威胁论”，媒体对马斯克创建Open AI 的初衷一直抱有怀疑。有媒体此前报道，在Open AI成立的会议上，马斯克之所以现身，主要是因为他和 Altman 私交甚笃，还因为他自己的企业经营多项业务，AI对于这些业务来说至关重要，对于未来的世界也至关重要。自动驾驶汽车必然会到来，汽车需要AI。SpaceX要将人类送入太空。

　　一些人警告说一旦系统足够强大，可以自行学习，人类可能会失去对系统的控制权。在警告者中，马斯克的噪门算是最高的了。

　　在HackNews上，网友unityByFreedom说：“OpenAI 一直都是Musk的一个人才渠道：他使用其他人的投资来吸引人才，然后再把这些人才放到自己的公司里去。我认为，这对员工和Musk 来说都是一件好事。我不确定Open AI 还有多少投资者，我很想知道他们在投资的时候都在想什么。”

　　对Musk的质疑也蔓延到了对OpenAI的质疑身上：