根据Geoff Hinton（经常被誉为深度学习的“教父”）的观点，更好地理解神经元产生脉冲的原因可以带来更聪明的人工智能系统，其可以更有效地存储更多的信息。

　　Geoff Hinton是多伦多大学的荣誉退休杰出教授和谷歌的工程院士。他是神经网络的先驱者之一。作为很小一群学术人员之一，他和其他人共同哺育这项技术渡过了它所经历的研究兴趣、资金和发展的低潮期。

　　核心内容：

通过诸如奥巴马政府的“大脑计划”这样的研究项目完成的大规模大脑研究，有希望获得对大脑的新认知，从而为AI的设计人员带来新想法和思路。

是可以把神经科学里的发现引入到AI相关的想法里，尽管这可能会花些时间。在1973年，Hinton首先想到去实现一个类似于神经突触在多时间尺度上变化的机制，但直到2016，才发表了这个领域的一篇主要论文。

开发强大的感知系统是相对容易的，但是我们需要新的技术来构建能够推理和语言的系统。

　　Jack Clark：为什么我们在开发AI系统时需要关注大脑？我们需要关注哪些方面？

　　Geoff Hinton：主要原因是大脑是真正有智能的东西。到目前为止，大脑是我们唯一知道的聪明且通用的智能。第二个原因是，很多年来，一部分人认为我们应该关注大脑从而能让AI更好地工作，但他们并没有前行太远。在80年代他们有推进，但随后就停滞了。AI界的人们嘲笑他们说：“你不能通过研究大黄蜂来设计波音747客机”。但事实表明他们从大脑研究上取得的灵感对AI是非常有用的，而且没有这些灵感，他们也不会向那个方向去研究。这不仅仅是因为我们有一个智能的例子，还因为我们也有一个真正能工作的方法论的例子。我认为我们应该继续推进这个方向。

　　JC：今天，诸如神经网络的现代分类器的各个方面看起来都有些类似于我们知道的大脑的视觉系统。受海马体的启发，我们也开发了记忆系统。还有其他的领域我们可以借鉴大脑，并从中获取灵感吗？比如脉冲刺激神经元？

　　GH：我们真不知道为什么神经元要发脉冲。一个理论是它们想要噪声，以便正则化，因为我们的参数超过数据量。整个Dropout（丢弃部分参数，一种防止过渡拟合的技术）的思路就是如果你有噪音的激活，你就能承受使用一个更大的模型。这可能是为什么它们要发脉冲，但我们并不清楚是否真是这样。另外一个它们要发脉冲的原因可能是这样它们就能使用类似时间的维度，来在脉冲时编码一个真实值。这个理论已经出现有50多年了，但没人知道它是否正确。在某些子系统里，神经元确实是这样做的。这就像通过判断信号到达两耳的相对时间，从而就能获取方向。

　　另外一个领域就是在记忆部分。突触以许多不同的时间尺度和复杂的方式去适应。 目前，在大多数人造神经网络中，我们只有一个适应突触的时间尺度，以及一个激活神经元的时间尺度。我们没有这些中间时间尺度的突触适应，我认为这对于短期记忆将是非常重要的，部分原因是它给你一个更好的短期记忆容量

　　JC：在我们了解大脑的能力上有什么样的障碍？从而减缓我们受它启发来提出新思路的速度。

　　GH：我认为如果你把一个电极插入一个细胞并从中记录信息，或是把电极放到细胞附近并从中记录，或是靠近很多的细胞并从其中一部分中记录，你可能无法理解一些可能通过光学染料很容易理解的事情，比如一百万个细胞正在干什么。在奥巴马大脑计划里有非常多的事情可提供给我们新的技术，从而让我们看到（并弄清楚）那些曾经非常难确立的事情。我们还不知道它们将会是什么，但我猜想这将会带给我们一些有趣的思路与想法。

　　JC：因此，atv直播，如果我们有足够大的神经网络，对于任何工作它能和人脑想匹敌吗？或还有什么我们遗漏的部件吗？

　　GH：这取决于你所说的是什么具体工作。如果你所说的是像语音识别，那么如果一个真正大的网络能和人类向匹敌的话，我会非常惊喜的。我认为这就不会很差也不会太好。人类不是上限。我认为在语音识别上，如果在10年内，神经网络不能做到比人类更好，我也不会很惊讶。对于其他的领域，比如推理和从一个非常小的样本里学习，开发一个能匹敌人类甚至是超越人类的系统会花更长的时间。

　　JC：现代的推断学习系统看起来有的一个问题，即了解问题的哪个部分值得专注去探索，由此你不必浪费时间在那些图像里不重要的部分。