第三，机器学习也开始多样化进行优化的架构。 它引入了具有多重持久状态的简单记忆细胞（Hochreiter and Schmidhuber, 1997; Chung et al., 2014），更复杂的基本计算结构单元如“胶囊”和其他结构（Delalleau and Bengio, 2011; Hinton et al., 2011; Tang et al., 2012; Livni et al., 2013），内容可寻址性（Graves et al., 2014; Weston et al., 2014）和位置可寻址存储器（Graves et al., 2014），另外还有指针 （Kurach et al., 2015）和硬编码算术运算（Neelakantan et al., 2015）。

　　这三个想法到目前为止在神经科学中没有受到很多关注。 因此，我们将这些想法形成为关于大脑的三个假设，检查它们的证据，并且描绘可以如何测试它们的实验。 但首先，我们需要更准确地陈述假设。

　　1.1 假设1 – 大脑进行成本函数优化

　　连接两个领域的中心假设是，像许多机器学习系统一样，生物系统能够优化成本函数。成本函数的想法意味着大脑区域中的神经元可以以某种方式改变它们的属性，例如它们的突触的属性，使得它们在做任何成本函数定义为它们的角色时更好。人类行为有时在一个领域中达到最优，例如在运动期间（Körding, 2007），这表明大脑可能已经学习了最佳策略。受试者将他们的运动系统的能量消耗最小化（Taylor and Faisal, 2011），并且使他们的身体的风险和损害最小化，同时最大化财务和运动获益。在计算上，我们现在知道轨迹的优化为非常复杂的运动任务提出了非常不错的解决方案（Harris and Wolpert, 1998; Todorov and Jordan, 2002; Mordatch et al., 2012）。我们认为成本函数优化更广泛地发在大脑使用的内部表示和其他处理过程之中。重要的是，我们还建议这需要大脑在多层和recurrent网络中具备有效的信用分配（credit assignment，感觉翻译成中文还是有些奇怪）机制。

　　1.2 假设2 – 不同的发展阶段中不同大脑区域的成本函数不同

　　第二个假设的另一种表达是：成本函数不需要是全局的。 不同脑区域中的神经元可以优化不同的事物，例如，运动的均方误差、视觉刺激中的惊喜或注意分配。 重要的是，这样的成本函数可以在局部大脑区域生成。 例如，神经元可以局部评估其输入的统计模型的质量（Figure1B）。 或者，一个区域的成本函数可以由另一个区域生成。 此外，成本函数可以随时间改变，例如，神经网络先指导小孩早期理解简单的视觉对比度，稍后再进行面部识别。 这可以允许发展中的大脑根据更简单的知识来引导更复杂的知识。 大脑中的成本函数是非常复杂的，并且被安排成在不同地区和不同发展之间变化。

　　1.3 假设3 – 专门系统提供关键计算问题上的高效解

　　第三个认识是：神经网络的结构很重要。信息在不同大脑区域流动的模式似乎有根本性差异的，这表明它们解决不同的计算问题。一些脑区是高度recurrent的，可能使它们被预定为短期记忆存储（Wang, 2012）。一些区域包含能够在定性不同的激活状态之间切换的细胞类型，例如响应于特定神经递质的持续发射模式与瞬时发射模式（Hasselmo, 2006）。其他区域，如丘脑似乎有来自其他区域的信息流经它们，也许允许他们确定信息路由（Sherman, 2005）。像基底神经节的区域参与强化学习和分离决定的门控（Doya, 1999; Sejnowski and Poizner, 2014）。正如每个程序员所知，专门的算法对于计算问题的有效解决方案很重要，并且大脑可能会很好地利用这种专业化（Figure1 C）。

　　这些想法受到机器学习领域的最新进展的启发，但我们也认为大脑与今天的机器学习技术有很大的不同。特别是，世界给我们一个相对有限的信息量以让我们可以用于监督学习（Fodor and Crowther, 2002）。有大量的信息可用于无人监督的学习，但没有理由假设会存在一个通用的无监督算法，无论多么强大，将按人们需要知道的顺序精确学习人类需要知道的事情。因此，从进化的角度来看，使得无监督学习解决“正确”问题的挑战是找到一系列成本函数，其将根据规定的发展阶段确定性地建立电路和行为，使得最终相对少量的信息足以产生正确的行为。例如，一个成长中的鸭子跟随（Tinbergen, 1965）其父母的行为印记模板，然后使用该模板来生成终级目标，帮助它开发其他技能，如觅食。