SVM 迅速打败多层神经网络成为主流。后来一度发展到，只要你的论文中包含神经网络相关的字眼，非常容易拒稿，学术界那时对神经网络的态度可想而知。

　　这个事情连如今的谷歌老大都记得。2017年年初，谢尔盖在达沃斯的一个对谈环节上还回忆说，

　　“坦诚来说，我根本没关注人工智能”，“90 年代学习计算机科学的人都知道，人工智能并不管用，人们尝试过，他们试过各种神经网络，没有一个管用。”

　　神经网络再次堕入黑暗。10年沉寂中，只有几个学者仍然在坚持研究。比如一再提及的Hinton教授。

　　2006年，Hinton在《Science》和相关期刊上发表了论文，首次提出了“深度置信网络”的概念。与传统的训练方式不同，深度信念网络有一个“预训练”（pre-training）的过程，它的作用是让神经网络权值找到一个接近最优解的值，之后再使用“微调”(fine-tuning)技术，即使用反向传播算法或者其他算法作为调优的手段，来对整个网络进行优化训练。这两个技术的运用大幅度提升了模型的性能，而且减少了训练多层神经网络的时间。他给多层神经网络相关的学习方法赋予了一个新名词——“深度学习”。

　　后面的故事我们都知道了，2012年Hinton的团队用燕乐纯赖以成名的卷积神经网络，和自己在深度置信网络的调优技术，碾压了其他机器学习办法。

　　至此，深度学习开始垄断人工智能的新闻报道，像Hinton、燕乐存和他们的学生摇滚明星一般受到追捧，惯于见风使舵的学者们也来了个180度大转变，现在是没有和深度学习沾上边的文章很难发表了。

　　除了名，还有利，谷歌、Facebook、Twitter们不但把学术界人物挖了个遍，更是重金收购深度学习大佬们所创建的公司，坐了几十年冷板凳的人忽然一夜之间身价暴涨财务自由。

　　令人唏嘘的是，现在主导Facebook AI 实验室的燕乐纯，他不断呼吁学术界对深度学习保持冷静，批判深度学习的泡沫繁荣...

　　深度神经网络“高效”和“搞笑”并存

　　嗯，深度学习变得如此有用，人工智能正在蓬勃发展，很多人甚至开始谈论人类社会“技术奇点”的到来...

　　下棋、图像识别、自动驾驶、金融分析师...看似无所不能、比进化了数百万年人类更有“智慧”的人工神经网络，却有人发现，它有一些比较“搞笑”的方面：

　　比如 Jeff Clune、Anh Nguyen、Jason Yosinski 训练了一个用于识别物体的系统，该系统99.6%确信左图是一只海星，同样99.6%确信右图是只猎豹。

　　而另一个来自Google、Facebook、纽约大学和蒙特利尔大学研究人员组成的团队，开发的一个神经网络系统，认为左图是一只狗，而右图（仅在左图的基础上略微改变了像素）是一只鸵鸟。

　　比较诡异的是，这种事情不是发生了一次两次，而是稳定地出现。

　　“一个为某一模型生成的样本，通常也会被其他模型错误归类，即使它们有着完全不同的架构。”

　　“即使使用的是完全不同的数据集。”

　　左图被神经网络判定为熊猫。给它人为叠加上中图所示微小的扰动（实际叠加权重只有0.7%），就获得了右图。在人类看来，左图和右图没有区别；可是AI却会以99.3%的置信度，一口咬定右图是一只长臂猿。

　　这些“错误”，不知道是神经网络的缺陷，还是人类肉眼凡胎不识“真相”，目前这些错误被取了一个名字——“对抗样本”。

　　结尾

　　梳理人工神经网络的历史，感知机—双层神经网络—多层神经网络—深度学习，我们明显可以看到这是怎样一个曲折的轨迹。

　　过去神经网络曾经被人弃之如敝履，未来就一定不会遭遇下一个低谷？我想，没人敢打包票。

　　无论是目前过拟合、梯度消失的固疾，还是对抗样本的问题，都说明以神经网络为代表的机器学习目前还是非常“弱”的人工智能。

　　而且有一家与DeepMind齐名的人工智能公司 Vicrious ——吸引了Mark Zuckerberg、Elon Musk、Peter Thiel、Jeff Bezos 私人投资，专注于通用人工智能的另类，他们的创始人 Scott Phoenix 曾说：

　　深度神经网络（DNN）需要大量的训练数据，不能很好地适用于新的任务或环境。