今天我们不谈深度学习的算法，而是去探讨一个正在发生或是下一个发生的风暴是什么。我从2013年年底开始思考未来，认为未来有三大趋势，第一个我称之为新摩尔定律。摩尔定律在过去的二三十年推动整个全球科技界在向前发展。摩尔定律指每十八至二十四个月，计算机的成本会下降一半，性能则会提升一倍，使计算和应用不断发展，按此规律推算，到2045年，每1000美元可以买到的计算资源几乎就等同于今天人脑的计算能力，即目前天河二号的计算能力，天河二号的功耗为1000瓦，而人脑只有20瓦。到2045年是不是会这样呢？Intel 已经于去年正式宣布摩尔定律已经守不住了，速度已经放缓。那么到底是什么因素会去推动整个计算向前发展呢？整个摩尔定律已经在按另外一个轨道在发展，已经不是每个单位面积上晶体管的数目，而是架构的改进，使得计算由逻辑运算向人工智能运算演进。那么人工智能运算是提升 CPU 工艺向前发展，还是设计一个新架构，这是个问题。

　　让我们来看一下人脑是怎样工作的。我们的人脑是 general 的、像 CPU 一样的 computer，还是一个 special purpose 的 computer？人脑是一个特殊硬件还是一个通用计算的硬件？认为是通用计算的请举手（不少同学都举起手来）。还是有不少同学这么认为。人脑确实很发达，有很强的计算能力，但如果你认为这样人脑就是通用计算的硬件了，那我来问一下，你看你能回答这个问题吗？（PPT 上显示：1729×568=？） 你会发现，面对这样一个简单的问题，你会觉得如此的无奈。你会发现，人脑不是无所不能的，它的能力明显有边限。当然人脑有它擅长的东西，比如这个（PPT 上出现了一段在一定程度上打乱了顺序的文字，现场观众惊讶地发现，这并不影响阅读，甚至有人都没有发现顺序被打乱了）。我们发现，原来大脑是这么奇妙，这么特殊，它的机制可能和现在显示器的逐行扫描、顺序扫描是完全不同的机制。它对图像是并行处理的，因此对顺序是不敏感的。但是背后又有一个 language model，还有一个类似于 recurrent neural net 的东西在进行 correct。我们发现，原来人脑是有所长、有所短的。在漫长的进化过程中，人在不断地发展和自己生存有关的能力，而和生存无关的能力，发展则是不足的。所以说，人脑是一个特殊设计的硬件。同时人脑还有很多个不同的子系统，比如有一部分是专门对听觉优化的，有一部分是专门对视觉优化的，前几年有一个获得诺贝尔奖的发现，发现人脑中有一块是专门负责定位的，相当于 GPS。

　　我们看到，如果我们做通用处理器，做 CPU，那么它可能非常 flexible，因为它可以做很多任务。但它整个 efficiency 并不高。但如果针对每个人物做专门的优化，会把 efficiency 提高两到三个数量级。

　　给大家讲一个我自己经历的故事。2011年，谷歌大脑的项目，当时都是用 CPU 来做的计算。当时我们加入百度，开始在百度做深度学习计算，用的是 GPU。我们私下里不断的比较，比较 CPU 跟 GPU 的效率。2012年的 GPU 比 CPU 效率大概要快四十倍左右，但是 Google 的一些人告诉我们，他们的 CPU 优化的非常好，据说能达到 CPU 跟 GPU 只是六倍的difference。但是我们觉得很难相信，这一点就跟我们的数据太不一样了。我们觉得 GPU 做深度神经网络的性能明显要更高嘛。不管怎么说，我们开始 launch 我们的系统，大规模使用 GPU 来做计算，到后来证明我们是对的。Google 后来也开始大规模地使用GPU。所以实际上，百度比 Google 更早使用 GPU。所以 Andrew 在2014年5月份加入百度，他接受采访时说，当时加入百度的原因，当然除了余凯，另外还有一个原因，就是可以随便买 GPU。