这时我们不禁要想，如果不是由人来设计一个滤波器，而是从一个随机滤波器开始，根据某种目标、用某种方法去逐渐调整它，直到它接近我们想要的样子，可行么？这就是卷积神经网络（Convolutional Neural Network, CNN）的思想了。可调整的滤波器是CNN的“卷积”那部分；如何调整滤波器则是CNN的“神经网络”那部分。

　　二、神经网络

　　人工神经网络（Neural Network, NN）作为一个计算模型，其历史甚至要早于计算机。W.S.McCulloch 和 W.Pitts 在四十年代就提出了人工神经元模型。但是单个人工神经元甚至无法计算异或。人工智能领域的巨擘马文.明斯基认为这个计算模型是没有前途的。在那时人们已经认识到将多个人工神经元连接成网络就能克服无法计算异或的问题，但是当时没有找到多层人工神经网络的训练方法，以至于人工神经网络模型被压抑多年。直到人们找到了多层人工神经网络的训练方法，人工神经网络才迎来了辉煌。

　　人工神经元就是用一个数学模型简单模拟人的神经细胞。人的神经细胞有多个树突和一个伸长的轴突。一个神经元的轴突连接到其他神经元的树突，并向其传导神经脉冲。一个神经元会根据来自它的若干树突的信号决定是否从其轴突向其他神经元发出神经脉冲。

图6

　　一个人工神经元就是对生物神经元的数学建模。见下图。

图7

　　是人工神经元的输入。a 是人工神经元的输出。人工神经元将输入加权求和后再加上偏置值 b，最后再施加一个函数 f，即：

　　上式最后是这个式子的向量形式。P 是输入向量，W是权值向量，b 是偏置值标量 。f称为“激活函数”。激活函数可以采用多种形式。例如 Sigmoid函数：

　　这是单个人工神经元的定义。人工神经网络就是把这样的人工神经元互联成一个网络：一个神经元的输出作为另一个神经元的输入。神经网络可以有多种多样的拓扑结构。其中最简单的就是“多层全连接前向神经网络”。它的输入连接到网络第一层的每个神经元。前一层的每个神经元的输出连接到下一层每个神经元的输入。最后一层神经元的输出就是整个神经网络的输出。

　　如下图，是一个三层神经网络。它接受10个输入，也就是一个10元向量。第一层和第二层各有12个神经元。最后一层有6个神经元。就是说这个神经网络输出一个6元向量。

图8

　　整个神经网络的计算可以用矩阵式给出。我们给出人工神经网络单层的式子。每层的神经元个数不一样，输入／输出维度也就不一样，计算式中的矩阵和向量的行列数也就不一样，但形式是一致的。假设我们考虑的这一层是第层。它接受个输入，拥有个神经元（个输出），那么这一层的计算如下式所示：

　　上标 i 表示第 i 层。是输出向量，n 元，因为第 i 层有 n 个神经元。第 i 层的输入，即第 i -1 层的输出，是 m 元向量。权值矩阵 W是 n×m 矩阵：n 个神经元，每个神经元有 m 个权值。W乘以第 i -1 层输出的 m 向量，得到一个 n 向量，加上 n 元偏置向量 b，再对结果的每一个元素施以激活函数 f，最终得到第 i 层的 n 元输出向量。

　　若不嫌繁琐，可以将第 i -1 层的输出也展开，最终能写出一个巨大的式子。它就是整个全连接前向神经网络的计算式。可以看出整个神经网络其实就是一个向量到向量的函数。至于它是什么函数，就取决于网络拓扑结构和每一个神经元的权值和偏置值。如果随机给出权值和偏置值，那么这个神经网络是无用的。我们想要的是有用的神经网络。它应该表现出我们想要的行为。

　　要达到这个目的，首先准备一个从目标函数采样的包含若干“输入－输出对儿”的集合——训练集。把训练集的输入送给神经网络，得到的输出肯定不是正确的输出。因为一开始这个神经网络的行为是随机的。