GH：这在视觉里也是一样的。人类做出了非常智能的定位，几乎所有的光学阵列从不会以高分辨力进行处理。而在计算机视觉里，人们一般会把整个阵列上的低分辨率、中分辨率和高分辨率都获取，并试图把这些信息整合起来。所以这就是我们碰到的同样的问题。你如何智能地定位在事物上？我们也将在处理语言时面对同样的问题。这是一个非常本质的问题，而我们尚未解决。

　　JC：最近的一个讲演里，就你发表的一篇论文，你介绍了在神经网络里短期记忆权重修改的主题。你能解释一下这个论文以及为什么你认为这很重要吗？

　　GH：在循环神经网络里，如果是处理一个句子，网络需要记忆到某个时间点句子里都有了什么内容。所有这些记忆都在隐藏层神经元的激活函数里。这意味着这些神经元必须被用来记忆内容，因此他们就不能用于当前的处理了。

　　一个好的例子就是如果你碰到一个嵌套的句子，比如你说“John不喜欢Bill因为他对Mary很无礼，因为Bill对Mary很无礼”。网络会从头开始处理这个句子，然后用同样的处理逻辑来处理“因为Bill对Mary很无礼”。这时的理想情况是，你希望使用相同的神经元、相同的连接和相同的连接权重来处理这后半句话。这才是真正的循环，同时这也意味着你需要使用到目前为止从句子里学习到的东西，因此你必须把这些东西存放到什么地方。那么现在的问题就是：你怎么去存放它们？在计算机里，这很简单，因为有内存。你可以把他们拷贝到内存里的其他地方来释放当前内存。但在大脑里，我不认为我们是把神经活动模式进行拷贝的。我认为大脑所做的是快速改变突触的强度，从而能在我们需要记忆的时候重建它。而且我们可以在合适的上下文的时候重建它。

　　我最近与Jimmy Ba和DeepMind的一些研究员共同发表了一篇论文，展示了我们是如何实现这种机制的。我认为这就是一个例子，展示了了解突触可以在多个时间尺度上变化这个事实对AI的研究是有用的。我最早是在1973年就想到了这一点，并设计了一个很小的模型，直播，在一个非常简单的任务上实现了真正的循环。一年前，我在DeepMind重新实现了这个想法，并在这个框架内成功了。现在这个框架能记住任何东西。当我第一次冒出这个想法的时候，那时的计算机内存只有64k，我们也不知道如何训练大的神经网络。

　　JC：你是否认为AI需要以某种应用形式出现才能变成真正的智能，比如机器人或是足够丰富的模拟？

　　GH：我认为这个问题有两个层面。一个是哲学层面，而另一个则是实践层面。在哲学意义上，我认为没有理由要求AI必须以某种形式呈现，因为你可以通过阅读Wikipedia来了解这个世界是什么样。但从实践意义上说，我认为实用化对AI会很有帮助。马克思说：“如果你想了解这个世界，去尝试并改变它。”仅仅只是观察去理解事务运作的机理，并不如实践行动那样有效。因此，哲学问题就是：这个实践是否至关重要？如果实践对理解这个世界至关重要，那么天体物理学就有麻烦了。因此，我的答案是否定的。我不认为AI的应用形式化是必须的。

　　JC：如果你可以复制某些脉冲神经元的特性，并与可以形成临时记忆的系统集成，你可以构建出什么东西？

　　GH：我认为这会让目前所有我们已有的东西工作得更好。因此，对于自然语言理解，我认为有一个权重可以快速变化的辅助记忆将是非常有用的。对于那些前馈传播网络，我认为重合检测器对于过滤背景噪音会非常合适。这样神经网络就能更好地聚焦于信号区，而过滤掉噪音。这在学习小数据集时可能也会有帮助。

　　This article originally appeared in English: "Adapting ideas from neuroscience for AI".

　　Jack Clark

　　Jack Clark是一位专注于人工智能的作家和传播者。 他在OpenAI工作，之前曾为Bloomberg和BusinessWeek报道AI内容，并为The Register报道分布式系统。 他写了一个关于AI的发展的每周简报，称为“Import AI”。

　　7月12-15日, 由O'Reilly和Cloudera共同举办的全球顶尖的数据盛会Strata Data Conference将重返中国