如今在机器学习中突出的人工神经网络最初是受神经科学的启发（McCulloch and Pitts, 1943）。虽然此后神经科学在机器学习继续发挥作用（Cox and Dean, 2014），但许多主要的发展都是以有效优化的数学为基础，而不是神经科学的发现（Sutskever and Martens, 2013）。该领域从简单线性系统（Minsky and Papert, 1972）到非线性网络（Haykin, 1994），再到深层和复现网络（LeCun et al., 2015; Schmidhuber, 2015）。反向传播误差（Werbos, 1974, 1982; Rumelhart et al., 1986）通过提供一种有效的方法来计算相对于多层网络的权重的梯度，使得神经网络能够被有效地训练。训练神经网络的方法已经改进了很多，包括引入动量的学习率，更好的权重矩阵初始化，和共轭梯度等，发展到当前使用分批随机梯度下降（SGD）优化的网络。这些发展与神经科学并没有明显的联系。

　　然而，我们将在此论证，神经科学和机器学习都已经发展成熟到了可以再次“收敛”（交织）的局面。 机器学习的三个方面在本文所讨论的上下文中都显得特别重要。 首先，机器学习侧重于成本函数的优化（见Figure 1）。

　　Figure 1. 传统人工神经网络和类脑神经网络设计之间的假设差异。 （A）在常规深度学习中，监督训练基于外部提供的标记数据。 （B）在大脑中，网络的监督训练仍然可以通过对误差信号的梯度下降发生，但是该误差信号必须来自内部生成的成本函数。这些成本函数本身是由遗传基因和后天学习所指定的神经模块计算而来。内部生成的成本函数创建heuristics（这个实在不好翻译，“启发”有些抽象，类似于元信息，大家意会吧），用于引导更复杂的学习。例如，识别面部的区域可以首先使用简单的heuristic来训练以来检测面部，这种heuristic就比如是在直线之上存在两个点，然后进一步训练以使用来自无监督学习的表示结合来自其他与社交奖励处理相关的大脑区域的错误信号来区分显著的面部表情。 （C）内部生成的成本函数和错误驱动的神经皮质深层网络经过训练形成包含几个专门系统的较大架构的一部分。虽然可训练皮层区域在这里被示意为前馈神经网络，但是LSTM或其他类型的recurrent网络可能才是更精确的比喻，并且许多神经元和网络性质例如神经脉冲、树突计算、神经调节、适应和稳态可塑性、定时依赖性可塑性、直接电连接、瞬时突触动力、兴奋/抑制平衡、自发振荡活动、轴突传导延迟（Izhikevich, 2006）等将影响这些网络学习的内容和方式。

　　第二，近来在机器学习中的工作开始引入复杂的成本函数：在层和时间上不一致的成本函数，以及由网络的不同部分之间的交互产生的那些函数。 例如，引入低层的时间相干性（空间上非均匀成本函数）的目标改进了特征学习（Sermanet and Kavukcuoglu, 2013），j2直播，成本函数计划（时间上非均匀成本函数）改进了泛化能力（Saxe et al., 2013; Goodfellow et al., 2014b; Gülçehre and Bengio, 2016）以及对抗网络 - 内部交互作用产生的成本函数的一个例子 - 允许生成式模型基于梯度训练（Goodfellow et al., 2014a）。 更容易训练的网络正被用于提供“提示”，以帮助引导更强大的网络的训练（Romero et al., 2014）。