数数，让放牛娃的工作变得简单，他不用把每一头牛的样子都刻在石壁上，减轻了工作量。可是这种办法并非万无一失，有一天，附近一个游手好闲的小混混从别处找来一头病牛，混到了放牛娃的牛群之中，同时又牵走了一头壮牛。放牛娃在一天结束、清点自己的牛群时，发现还是100头牛，不多不少，就心满意足的回家睡觉了。然而他却不知道，他的一头壮牛被小混混用病牛换走了。

对于主要以数数方式来使用数据的企业，同样面临着无法关注数据细节的问题。当数据量比较小的时候，可以通过人工查阅数据。而到了大数据时代，几百TB甚至上PB的数据在分析师或者老板的报告中，就只是几个数字结论而已。在数数的过程中，数据中存在的信息也随之被丢弃，留下的那几个数字所能代表的信息价值，不抵其真实价值之万一。过去十年，许多公司花了大价钱，用上了物联网和云计算，收集了大量的数据，但是到头来却发现得到的收益并没有想象中那么多。

我们所知的深度学习，本质上应该叫做“基于深度神经网络的机器学习”。为什么用了”深度学习”这个名字，而不是深度神经网络呢？其中一个原因是，“神经网络”这个词是一个禁忌。

神经网络算法的提出可以追溯到20世纪40年代。这一算法起源于生物学中对于动物大脑神经元的研究，因此早期也被称为人工神经网络（Artificial Neural Network）。最初的神经网络是逻辑电路搭建，到了60年代，由于计算能力不足，无法构建大规模神经网络，而小规模神经网络的表现又差强人意。随着其他机器学习方法的提出，很多科研人员开始转向其他方向，人工神经网络的研究陷入了停滞。

图1 典型神经元的结构

20世纪80年代，随着通用计算机的出现，人工神经网络的研究经历了一波复苏。在这个阶段，反向传播（Back Propagation）算法逐渐成熟。直到今天，反向传播算法都是训练神经网络的最主要方法。然而，依然受限于当时的硬件条件，神经网络的规模依然不大。同时，以支持向量机为代表的基于核方法的机器学习技术，表现出了不俗的能力，因此，大量科研人员再一次放弃了神经网络。

然而并不是所有的科学家都放弃了神经网络。在那些留守的科学家中，有一位刚刚拿到人工智能学位不久的年轻人，他曾在剑桥大学国王学院拿到实验物理学的学士学位，因为对认知科学抱有浓厚的兴趣，因此选择专攻人工智能。他坚信“既然大脑能够工作，神经网络算法也一定能工作。大脑不可能是被编程出来的。”当他的研究成果并不如预期时，他总是对质疑他的人回应：“再给我6个月，到时候我会证明它是可以工作的。”当几个6个月过去，神经网络的效果依然不好，他会说：“再给我5年，一定能行。”又是好几个5年过去，神经网络真的成了。这个人就是Geoffrey Hinton，深度学习之父。

神经网络在最初的几十年内都没有表现出过人的性能，主要面临着两个困难。首先是计算性能不足。实际上，在90年代，Hinton以及他的学生就已经在试验和后来深度神经网络类似的结构，其中就有大名鼎鼎的Yann LeCunn，他所提出的神经网络结构就是现在的“LeNet”。但是，增加神经网络的深度，就会让神经网络的训练速度变慢。在那个内存不过几十MB，GPU还没有出现的年代，要训练一个小规模的深度神经网络模型，需要花上数周甚至数月。

其次是训练数据不够多。在机器学习领域流传着一个传说，叫做“维度诅咒（Curse of Dimensionality）”，随着特征维度的增加，算法的搜索空间急剧变大，要在这样的特征空间中寻找适合的模型，需要大量的训练数据。神经网络要解决的问题，通常具有成千上万维的特征，我们假设有1000维特征，每一维特征有100个候选值，那么这个特征空间就是100的1000次方，可以想象，要在如此大的特征中寻找一个模型，需要多少数据，而这个特征空间规模不过是深度学习问题中比较小的。幸好我们所在的这个世界，可以通过一个非常有用的先验假设进行简化：我们这个世界的事物都是通过更小的事物组合而成的。我们知道，所有的物体都是由分子构成，分子由原子构成，原子由质子、中子和电子构成，等等。不仅实际的物体满足这一先验假设，抽象的概念也一样如此。因此深度神经网络利用了这一假设，通过将网络层数加深，每一层神经元都是前面一层神经元输出的组合，通过这样的假设，将整个搜索空间大大减小。然而，训练深度神经网络依然需要大量的数据，才能得到一个比较好的结果。

图2 深度神经网络构建层级化特征