根据上述内容和其他研究（Minsky, 1977; Ullman et al., 2012），我们认为（suggest）许多大脑的成本函数产生于这样的内部自举过程。事实上，我们提出生物发展和强化学习实际上可以程序化实现生成一系列成本函数，精确预测大脑内部子系统以及整个生物体面临的未来需求。这种类型的发展程序化地引导生成多样化和复杂的成本函数的内部基础设施，同时简化大脑的内部过程所面临的学习问题。除了诸如家族印记的简单任务之外，这种类型的引导可以扩展到更高的认知，例如，内部产生的成本函数可以训练发育中的大脑正确地访问其存储器或者以随后证明有用的方式组织其动作。这样的潜在引导机制在无监督和强化学习的背景下运行，并且远远超出当今机器学习、人工智能课程学习的理念（Bengio et al., 2009）。

　　接下来，我们将阐述这些假设。 首先，我们将认为局部和多层优化，出乎意料地与我们所知道的大脑兼容。 第二，我们将认为成本函数在大脑区域和不同时间的变化是不同的，并且描述了成本函数如何以协调方式交互以允许引导复杂函数。 第三，我们将列出一系列需要通过神经计算解决的专门问题，以及具有似乎与特定计算问题匹配的结构的脑区域。 然后，我们讨论上述假设的神经科学和机器学习研究方法的一些影响，并草拟一组实验来测试这些假设。 最后，我们从演化的角度讨论这个架构。

　　大脑能够进行成本函数优化

　　许多机器学习方法（如典型的监督式学习）是基于有效地函数优化，并且，使用误差的反向传播（Werbos, 1974; Rumelhart et al., 1986）来计算任意参数化函数的梯度的能力是一个很关键的突破，这在下文我们将详细描述。在假设1中，我们声称大脑也是，至少部分是，优化机（optimization machine，指具有优化函数能力的装置）。但是，究竟说大脑可以优化成本函数是什么意思呢？毕竟，许多自然界中的许多过程都可以被视为优化。例如，物理定律通常被认为是最小化一个动作的功能，而进化优化的是复制基因（replicator）在长时间尺度上的适应性。要明确的是，我们的主张是：（a）大脑在学习期间具有强大的信用分配机制，允许它通过调整每个神经元的属性以提升全局输出结果，以此来优化多层网络中的全局目标函数，以及（b）大脑具有确定哪些成本函数对应其哪些子网络的机制，即，成本函数是高度可调的，这是由进化逐步形成并与动物的生理需求相匹配。因此，大脑使用成本函数作为其发展的关键驱动力，就像现代机器学习系统一样。

　　为了理解这些主张的基础，我们现在必须深入了解大脑如何有效地执行大型多层网络中的信用分配的细节，以优化更为复杂的函数。我们认为大脑使用几种不同类型的优化来解决不同的问题。在一些结构中，其可以使用遗传基因预先规定的神经回路去解决仅需要基于数据即可快速学习的问题，或者可以利用局部优化以避免通过多层神经元来分配信用的需要。它还可以使用许多后天发展出来的电路结构（神经回路），允许其通过多层神经元网络执行误差的反向传播（这里误差来至于网络实际输出与真实期望值之间的差距），这个过程使用生物学上实际存在的机制是可以实现的 - 曾经一度被广泛认为是不具有生物学可解释性的（Crick, 1989; Stork, 1989）。潜在的此类机制包括：以常规的方式反向传播误差导数（gradient，梯度）的神经电路，以及提供对梯度进行有效估计（gradient approximation，最近也有突破，避免了直接从目标函数开始求导计算）的神经回路，即快速计算成本函数对于任何给定连接权重的近似梯度。最后，大脑可以利用某些特定的神经生理学方面的算法，例如神经脉冲的时间依赖可塑性（spike timing dependent plasticity）、树突计算（dendritic computation）、局部兴奋性抑制网络或其他性质，以及更高级别大脑系统的综合性质。这样的机制可以允许学习能力甚至超过当前基于反向传播的网络。

　　2.1 无多层信用分配的局部自组织与优化