量子位 已获授权编辑发布

学习深度神经网络方面的算法已经有一段时间了，对目前比较经典的模型也有了一些了解。这种曾经一度低迷的方法现在已经吸引了很多领域的目光，在几年前仅仅存在于研究者想象中的应用，近几年也相继被深度学习方法实现了。

无论是对数据的分析或是生成，无论数据形式是图像、视频、音频、文本还是其它复杂维度，也无论是下棋、玩游戏还是无人驾驶汽车导航，似乎总有人会发掘出这种强大工具的新用途。人类刚刚将仿生学运用到“如何创造智能”这个问题上，就发现了光明的前景。

我把在组里介绍深度学习（Deep Learning）基础知识时画的几幅手稿分享出来，希望能帮助新人更快的了解这种方法。我在讲解的过程中参考了李宏毅老师的PPT)，推荐读者结合起来阅读。

任何一个算法都可以看作一个函数。输入x经过函数f产生输出y，我们期望获得的输出是

，所以我们的目的是找到一个函数f，使得y与

尽可能的接近。

同时，函数y与W由一组参数确定，所以输出y可以看作是输入x和参数W的因变量。当参数W固定时，每当输入不同的x，其对应的输出y一般也会不同。这时，y与

之间的差异称作误差（loss）。

描述x，W，

与误差loss之间关系的函数叫作误差函数（loss function）。对于实际问题，直播，一般误差函数总会存在一个最小值。寻找最优函数f的过程，实际上就是寻找一组参数W，使得无论输入x如何（当然是位于定义域内的x），其误差总是最小的。

对于分类问题，函数f就是分类器，W就是需要通过训练获得的分类器参数。

在神经网络算法中，最基本的组成单位如图中左上所示，前一层神经元

、

、

（有时还有一个按层独立的叠加项b，称为偏置节点bias），经过权边

、

、

连接到下一层的节点z。

权重w与节点a之间可以是简单的相乘再求和（线性网络），也可以是卷积后再求和（卷积神经网络，Convolutional Neural Networks，CNN），或者是其他的计算形式。

即便是简单的线性运算，一个基本的单元可以用来表示一个线性分类器（左下），也可以用于线性拟合（右下），而且经过多层的累积计算之后还可以处理更复杂的问题。

卷积神经网络当中的“卷积”（convolution）与图像处理中的滤波器（filter）十分相似，只不过在滤波器中求和时输入元素与窗口元素是同向的，而在卷积计算中输入元素与窗口元素是反向的（注意公式中w的下标）。

所以，一些依赖第三方库（比如OpenCV）的实现会直接把二维的卷积核做水平和竖直两个方向的翻转（或者旋转180度）之后直接调用一个滤波器函数（filter2D）就完成了卷积的计算。

在特征提取方面，卷积运算的作用与滤波器相同。如图中下方所示，假设在数轴上的输入数据是经过{2,-1,1}的一条曲线，与一个{1,-2,1}的核进行滤波（或者经过水平翻转后进行卷积），会得到一个比较大的输出（5），经过激活函数（actiation function）会产生一个十分接近于1的激活输出。这时，我们可以说输入a符合特征w的模式（pattern）。

计算机科学中的神经网络算法只是从仿生学上部分借鉴了人类大脑的结构。上面的截图来自CrashCourse的科普视频。在大脑的神经元（Neuron）中，输入信号经过树突（dendrite）传入，然后再从轴突（Axon）传递出去。

在神经元内部，信息以电信号方式传递，在神经元之间则以化学信号传递。在传递的过程中，信号的强度和速度是一定的，但频率是可变的。

所以信号的强弱（比如痛感、情绪等）是以信号频率的高低来区分的。另外神经元之间的连接是多对多的，即一个神经元可以有多个输入和输出。

与之相比，神经网络算法一般没有信号频率的概念，即每个节点只向外产生一次激活（RNN递归计算的节点可以看作展开成一条节点链，但是链上每个节点依然只经过一次计算）。而且，目前的算法大多是严格按层级进行计算，并不像生物体神经元那样在三维空间中呈现纷繁复杂的结构。