在轴突末端与相邻树突形成的突出间隙中，扩散着一种叫做神经传递素的化学物质，他实现了神经传递。神经中最关键的部分，atv直播，是神经通过树突接收到刺激，处理后，通过轴突末梢传输出去。在末梢处会经过突触间隙，然后到达许多接受神经的树突。该过程将重复进行。

4. 感知机

感知机是一个简单的线形二进制分类器。它接收输入和与其相连的权重（表示输入变量的相对重要性），将它们结合来产生输出。输出接下来被用于分类。感知机已经存在很长一段时间了，最早的使用可追溯到 1950 年代，其中一个也是应用到早期的人工神经网络中。

5. 多层感知机

一个多层感知机（MLP）是由几个含有全邻接层的感知机组成，形成一个简单的前馈神经网络（见下）。这个多层感知器在非线性激活函数上有许多好处，这些都是单层感知器不具备的。

6. 前馈神经网络

在非周期性连接的神经网络结构中，前馈神经网络是最简单的形式。最初的人工神经网络中，前馈网络中的信息从输入节点单方向前进，而后通过所有隐藏层，到达输出节点，不存在任何周期。前馈网络不同于之后的连接构成有向循环的周期性网络架构（见下文）。

7. 循环神经网络

和上文所提到的前馈神经网络不同，循环神经网络的连接构成有向循环。这种双向流动允许内部时间状态表示，继而允许序列处理。并且值得注意的是，它提供了用于识别语音和手写的必要能力。

8. 激活函数

在神经网络中，激活函数通过组合网络的加权输入来产生判定边界输出结果。激活函数的范围从标识（线性）到 Sigmoid 函数（逻辑或软步长），双曲线（正切）和超越。为了采用反向传播（见下文），神经网络必须使用可微的激活函数。

9. 反向传播

我所见过的对反向传播的定义中，最基本、简洁的定义是数据科学家 Mikio L. Braun 在 Quora(https://www.quora.com/How-do-you-explain-back-propagation-algorithm-to-a-beginner-in-neural-network/answer/Mikio-L-Braun) 上给出的答案。我在此列出原文，以防破坏这份答案简洁的完美。

反向传播只是在个别错误上进行梯度下降。通过比较对神经网络预期输出的预测，而后计算相对于神经网络的权重的误差梯度。然后得出了权值空间中减小误差的方向。

我将它列在这里。

10. 成本函数

在训练神经网络时，必须评估网络输出的正确性。众所周知，预期上正确的训练输出数据和实际的训练输出是可比拟的。成本函数便能测量实际和训练输出之间的差异。实际和预期输出之间的零成本将意味着训练神经网络成为可能。但这显然是理想化的。

所以，通过什么机制来调整成本函数，以实现将其最小化的目标呢？

11. 梯度下降

梯度下降法是求函数局部极小值的一个优化算法。虽然它不能保证全定义域内的最小值，但梯度下降对于难以通过分析（例如通过将导数取 0 获得最优解）求得精确解的问题十分有用。

正如上文所述，在神经网络的情况中，随机梯度下降用于对网络参数做出知情调整，以达到使成本函数最小化的目标，从而使网络的实际输出迭代性地愈加接近在培训期间的预期输出。这种迭代最小化采用微积分，即微分。在训练步骤之后，网络权重根据成本函数的梯度和网络的当前权重接收更新，使得下一个训练步骤的结果可以更加接近正确值（通过更小的成本函数测量）。反向传播（关于错误的反向传播）便用于将这些更新以小份的形式送到网络。

12. 梯度消失问题