感知机的软件只有一层类似神经元的节点，后被证明是有局限的。但是，研究者相信，随着神经网络层数变多，或者变深，它可以做的事情会更多。

　　Hinton 解释了这一创意的基本原理。假设一个神经网络在理解一批照片，其中一些照片上有鸟。“所以，输入层会进来像素，进而，整个单元的第一层会探测到边缘。暗的一边，亮的在另一边”。下一层的神经元，通过分析第一层得到的数据，将学会探测“比如边角之类的，两条边组成一个角”，他说。这些神经元中，有一个可能会对鸟的轮廓构成的角产生强烈的反应。

　　下一层，可能会发现更多复杂的配置，比如，一个圆圈中排列的许多个角”，这一层中的神经元可能会对鸟的头部作出反应。在一个更深的层，一个神经元可能会探测到头部圆圈中反复出现的嘴部轮廓。“这构成了一个很好的线索，可以判断出这可能是鸟的头部”，Hinton说。每一个更深层次的神经元都会对更加复杂和抽象的概念作出反应，直至最后有一层对我们概念中的“鸟”作出匹配反应。

　　深度学习历史关键点：2012年谷歌大脑识别猫脸（6月），8月谷歌将神经网络引入语音识别，10月Hinton的学生在ImageNet竞赛夺冠，成绩大幅提升；2013年5月谷歌用神经网络改善照片搜索功能。

　　但是，要进行学习，一个深度神经网络需要做的不仅仅是在各层神经网络中传递信息。它还需要一个方法来验证是否获得了争取的结果，如果没有，就把信息反馈回浅层的神经网络，调整活动，改进结果。这才是学习发生的地方。

　　20世纪80年代早期，Hinton在这一难题上持续钻研。法国的一位研究者Yann LeCun 也在默默耕耘，当时他刚在巴黎开始自己的研究生生涯。LeCun被Hinton发表于1983年的一篇论文震惊到了，这是一篇谈多层神经网络的文章。这些术语在当时都不是正规的，LeCun回忆说，在当时要发表一篇提及“神经元”或者“神经网络”的论文，简直比登天还难。所以，他以一种隐晦 方法写成了这篇论文，以通过同行评议。但是我认为这篇论文是超级有趣的。

　　两位学者两年之后见面，一拍即合。

　　1986年，Hinton和两位同事写了一篇非常有影响力的论文，为error-correction难题提供了一个算法解决方案。LeCun说：“他的这篇论文奠定了第二波神经网络发展的基础”。重新点燃了研究领域的兴趣。

　　在 Hinton 那读完博士后后，LeCun 在1988年进入AT&T 贝尔实验室，在接下来的10年中，他做了很多基础性的工作，有一些在今天大部分的图像识别任务中都还在使用。1990年，贝尔实验室资助的NCR项目把一个神经网络驱动的设备进行商业化，后被银行广泛采用，可以读取支票上的手写字迹。LeCun说。同时，两位德国研究者 Sepp Hochreiter 和Jürgen Schmidhuber独立地开发了一种算法，奠定了今天自然语言处理应用的基础。虽然有这些进步，但是到20世纪90年代中期，神经网络再次陷入低潮。主要原因是受到当时计算能力的限制。这一情形持续了差不多10年，直到研究者发现GPU的加速后，才再次崛起，此时的计算能力已经提高了3到4个维度。

　　深度学习历史关键点：2014年谷歌收购DeepMind；2015年12月微软ResNet图像识别准确率超越人类；2016年3月AlphaGo战胜李世石。

　　但是，还有一个大学依然缺乏：数据。虽然互联网带来了大量数据，但是，绝大部分数据，尤其是图像数据，依然是没有标签的，但这又是训练神经网络不可或缺的。这时候，斯坦福的教授李飞飞进入了这一领域。“我们的预期是，大数据会改变机器学习的运作方式”，她在接受采访时谈到，“数据驱动的学习”。

　　2007年，她发布了ImageNet，打算组建一个免费数据库，包含了超过1400万标签图像。2009年，这一数据库公开，下一年，她组织了一个年度的竞赛，来激励并发表计算机视觉上的重要突破。

　　2012年10月，开奖，Hinton 的两个学生拿下 ImageNet冠军，深度学习的到来变得明晰了。

　　但是，当时大众已经听说了深度学习，虽然是通过其他的事件。2012年6月，谷歌大脑团队发布了“猫试验”项目，在社交网络上获得广泛传播。这一项目实际上探索的是一个深度学习中一个还未解决但非常重要的领域——无监督学习。当下，几乎所有的商业深度学习产品使用的都是“监督学习”，也就是说，神经网络要经过标签数据的训练、在“无监督学习”的条件下，神经网络获得的是无标签数据，只能简单地参考递归模型。研究者会很喜欢看到有一天能掌握无监督学习，让机器能自我学习，就像婴儿一般。

　　深度学习四巨头的产品、人才和战绩之争