目前,我尚未找到合适的答案来回答这个问题,不过,我认为,我们在深度学习领域所做的都是存储(memorization)(比如,内插法,模式识别等),而不是思考(thinking)(比如,外推法,归纳法等)。我还没有见到过能够“思考(think)”的神经网络,而且我也不知道,如何定义“思考”这样一个抽象概念,更难以想象会“思考”的神经网络会是什么样的。 有一些文章似乎解答过这个难解的谜题,不过,我尚不能苟同。如果非让我指出有什么作品提及到“会思考的神经网络”(我个人的观点),那应当是Jacob Andreas的动态神经网络(dynamic neural nets)一书。关于这个话题,我暂且讲到这里。 工作篇 在Google Brain工作是什么体验? 2011年我在Google Brain实习,那个时候Google Brain的发展正处于幼儿期。当时,这个项目人手还不是很多,我们都对无监督学习超感兴趣。当我2013年再次来实习时,大家都对监督学习很痴迷,因为在当时监督学习真的很有用。2015年,当我再次回到Google时,强化学习又开始盛行。 如今Google Brain与往昔大不相同。我想说的是,这里聚集了很多有才能,很牛的研究员,工程师,尤其是有一些能够大规模运用深度学习的经验丰富的人士。我觉得,Google 非常看重Brain 这个项目,他们都有很优秀的领导型人才,为大家营造了很棒的工作环境(这是我从公司内部朋友那儿得来的消息),在这里我个人不能给予过多评论。 您为什么选择去OpenAI? 我觉得,OpenAI是一块极具创新性的土地,这是它最吸引我的地方。这样一个机构涵盖了学术研究,有一个产业界研究实验室,是AI研究领域的后起之秀。我们也有一些非凡且有趣的实验,如贝尔实验室,一个政府管制垄断的大型研究实验室。上述这些都有其有趣的优点和缺点。我觉得,OpenAI在创新方面有非常有趣的实验,结合了我所感兴趣的事物(是学术与产业的结合),像这样一个组织能够创造出更多价值,我有幸能够参与实验,能够从一开始便陪伴其成长发展。所以,我选择了OpenAI。这是我人生中很关键的一步。 OpenAI当前最有趣的研究课题有哪些? 有一些非常有价值的项目和计划,在学术界根本无法开展(比如,大量工程方面或者综合性工作是一小群博士生无法胜任的),而产业界人士可能不想去做(比如,可能出于动机方面的原因,也可能有法律方面的顾虑)。OpenAI目前正在致力于开展几项极具价值的项目,这些项目不仅仅限于科研工作本身,可以被认为是在做“元”的东西,比如开设一些平台和基础设施,为每一位研究者提供便利。我们今年早些时候发布的 Gym不失为一个好例子。 具体来讲,我们中有很大一部分人(包括我在内)都专心投入到一个项目中,我本人对这个项目特别感兴趣,不过,我想,这个项目目前还未公开讨论过。总之,目前我只能透露,该项目涉及很多工程方面的工作,在很大程度上能够提升并扩展AI领域的研究工作。关于这个项目的进展,在这里我只能为大家留下悬念,非常抱歉。 Andrej Karpathy博士的论文详细 (责任编辑:本港台直播) |