谷歌大脑中现在有上百名的成员，但是它看起来并不像是一个有着明显的层级结构的部分，而是更像一个俱乐部或者学术团体，或者一个小酒吧。团队成员不少是来自谷歌整个体系中最自由、最受敬仰的员工。他们现在在一个两层蛋壳建筑中办公，有巨大的窗户：他们的小厨房有一个桌式足球我从来没有见过使用； Rock Band 我从来没有见过使用;和一个Go工具箱我看到使用了几次。

　　我在6月份第一次到谷歌大脑办公室时，还有许多空余的办公位，但是现在已经全满了。

　　谷歌大脑的成长使得 Jeff Dean对公司如何处理需求感到有些担忧。他希望避免在谷歌被称为“成功灾难”——这种情况指的是，公司的理论研究能力超过了实际开发产品的能力。某一天，他在做了一些计算后，向高管作了汇报，只用了两页的PPT。

　　“如果未来每个人每天都对自己的安卓手机说话三分钟，”他告诉高管，“（由此产生的数据计算需求）就是我们所需要的机器数量。”未来，他们需要把自己的全球计算配置翻2-3倍。

　　“这也就是说，你必须建造新的大楼，”Jeff Dean 在说这话时，带了明显的犹豫和斟酌。

　　但是，他们显然还有另一个选择——设计出大规模生产的，能在不同的数据中心分散使用的新芯片。加快运算速度。这些芯片被称为TPU。这些芯片比传统芯片在精确度上要低一些。但是运算速度更快。从12.246X64.392 变为 12X54 。

　　在数学层面上，神经网络只是数百或数千或数万的矩阵乘法，以连续不断的形式出现。所以，让计算更快比更准确要重要。

　　通常，”Dean说，“专用硬件是个坏创意。它通常只可以加速一件事。但是由于神经网络的通用性，你可以利用这个专用硬件来处理很多其他事情。“

　　就在芯片设计接近完工时，Le 和他的两位同事终于证明了神经网络可能可以处理语言结构。他描绘了一个”词嵌入”的概念，这一概念出现已经有10年了。也就是说，当你对图像进行总结时，你可以分隔图像，来分阶段组成总结，比如边缘、圆圈等等。当你用相同的方式对语言进行总结，你最重要的是要制造出关于距离的多维度地图。机器不会像人类一样去“分析”数据，使用语言规则来区分是名词还是动词。它们只是转化和改变或者组合地图中的词。

　　如果你能把所有法语中的词和所有英语重点词放在一起，至少在理论上，你可以训练一个神经网络，来学习如何把一个句子放到空间中，并产生一个类似的句子。

　　你要做的是把这些数百万的英语句子作为输入，把可能的法语句子作为输出，在多次训练后，模型能是被出相关的词语组合模型，这和图像识别中的像素模型是一样的。然后你就能给机器一个英语句子，让他它产出一个与之匹配的法语句子。

　　词和像素最大的不一样在在于，图中的像素是一次性能全部拿到的，但是，词的出现是根据时间渐进的。你需要让网络“记住”这种连续性，或者序列性。2014年9月，有三篇论文发表，一篇是Le写的，另外两篇来自加拿大和德国，这些论文至少提供了完成这些任务所需要的理论工具。这些研究让谷歌大脑中的一些项目成为了可能，比如研究机器如何生成艺术作品和音乐的Magenta。研究也为机器翻译等实用性应用打下了基础。Hinton 对《纽约时报》的记者说，他本来认为这些研究要至少5年或者更多的时间才能做成。

　　6. 伏击

　　Le 的论文显示神经翻译是可行的，但他只使用了一个相对较小的公共数据集。（所谓的小只是相对于Google的体量而言。这个数据集实际上是世界上最大的公共数据集。十年来，原有的Google Translate已经收集了上百到上千倍的生成数据。）更重要的是，Le的模型对长于约七个字句子的效果不是很好。

　　谷歌大脑的研究科学家 Mike Schuster 接手了指挥棒。他知道，如果谷歌没有找到一种方法来扩展这些理论洞见至生产水平，那么别人会。这个项目花了他接下来的两年。 “你会认为，” Schuster 说，“要翻译东西，你只需得到数据，运行实验，你就完成了，但实际不是这样的。"