开始之前，先介绍一些术语：我会将 Alenet 这样典型的分类网络称为卷积神经网络，这有点不妥，因为卷积神经网络可用于除图像分类外的多种用途，但这是一种常用到的近似等同。

在一个卷积神经网络中，常见的做法是将网络分成两部分：在第一个部分特征提取器中，数据会经过若干卷基层来逐步提取更加复杂和抽象的特征。卷积层中通常会穿插非线性迁移函数（transfer function）和池化层（pooling layer）。每一个卷基层都可看作一组图像过滤器，可对特定模式触发高响应。例如，图 6 展示了 Alexnet 中第一个卷基层中过滤器的一个表征，和一张包含简单形状（假设 AlexNet 将这张图像归为一面墙钟）的虚拟图像的激活（输出）。这些过滤器对水平和垂直的边缘以及角落上触发了一个高响应。例如，看一下底部左边的过滤器，看上去很像黑白相间的条纹。再看看相对应的激活和对垂直线条的高响应。类似的，下一个过滤器会立即对斜条形生成一个高响应。网络里面的卷积层将能对多边形这类更加精巧的形状触发高响应，然后最终学习感知自然物体的纹理和各种成分。在一个卷基层中，通过在输入中将每个过滤器应用到一个 window（也叫 receptive field，感受野）来计算每一个输出，通过层滑动来滑动 window 直到处理完全部的输入。感受野与过滤器的尺寸相同。该过程见图 7。注意，输入 window 跨越了输入图像的所有通道。

图 6：DIGITS 中呈现的是 AlexNet 卷积层 1。从顶端到底部：数据层（输入）；卷积层 1 的过滤器的可视化；卷积层 1 的激活（输出）。

图 7：左边：一个红色的样本输入量，第一卷积层中的神经元的样本量。在输入量中该卷积层中的每一个神经元只单独与一个本地区域全深度相连（例如所有的颜色通道）。注意，沿着这个深度上有多个神经元（该样本中有 5 个），看的都是输入中的同一个区域。右边：这些神经元仍然要用带有一个非线性（non-linearity）输入计算它们权重的节点乘积，这样一来它们的连接性在空间上会被限制在本地中。来源斯坦福 CS231 课程。

在一个卷积神经网络的第二和最后一个部分中，分类器由有大量完全连接的层构成，其中第一层从特征提取器中接收它的输入。这些层会学习不同特征之间的复杂关系，来赋予网络一个对图像内容的高水平理解。例如，出现大眼睛和皮毛 可能会让网络倾向于一只猫。这个网络能如此精确的弄清这些特征有点不可思议，也是深层学习的纯粹美的另一个特质。这种无法解释的特性有时会受到批评，但它与人类大脑功能的方式 不同：你能解释你是怎么知道一张猫的图像不是一张狗的图像的吗？

全卷积网络（Fully Convolutional Networks，FCN），只由卷积层和上面提到的偶尔几个非参数层构成。消除全连接层如何能创建出一个看似更强大的模型呢？要回答这个问题，我们需要先思考另一个问题。

图 8：DIGITS 中的输入、权重和 Alexnet 第一个全连接层（fc6）的激活。

这个问题是：一个全连接层和一个卷积层之间有什么差别？这很简单：在一个全连接层中，每一个输出的神经元计算输入 值中的加权求和。相比之下，在卷积层中，每一个过滤器都计算感受野的加权求和。等等，这说的同一个事情吗？是的，但是，只有当层的输入与感受野具有相同的大小时才成立。如果输入比感受野大，那么卷积层就会滑动它的输入 window 并计算另一个加权求和。这个过程会一直重复到输入的图像从左到右，从上到下都扫一遍为止。最后，每个过滤器都会生成一个激活矩阵；每个这样的矩阵叫做一个特征图（feature map）