Nvidia的Volta GPU有一些“tensor core”的处理元素，它可以让机器学习训练加速，处理超级计算任务时也会更快，Volta GPU在单个设备上的速度可以达到120 teraflops，相比一年前发布的Pascal进步很多。虽然Volta GPU很惊人，不过谷歌的产品还是夺走Nvidia的一些风头，虽然短期之内用户无法自己动手自制TPU机器。

Dean说Volta架构很有趣，因为Nvidia意识到核心矩阵相乘原语（core matrix multiply primitive）对于应用的加速而言相当重要。他还说，谷歌第一代TPU用相似的方法提高推理时矩阵相乘的速度，不过设备是在机器学习工作流中实现这一点的。他还说：“加快线性代数运算速度一直个好方法。”

先将硬件放在一边不谈，让我们从用户角度看一看。谷歌没有将秘密保护起来，在不久的将来，谷歌会通过“谷歌云平台”使用TPU。谷歌高级研究员Jeff Dean说，他们不会限制竞争，TPU只是作为一种选择提供给用户，还会提供Volta GPU，继续使用Skylake Xeons，开发者构建、运行模型时，谷歌会提供几种选择。谷歌将会在云计算中装备1000个TPU，提供给合格的研究团队使用，这些团队正在完成开放科研项目，它们也许愿意将自己的机器学习成果开放。

Dean解释说，谷歌内部完成一些机器学习任务时可能仍然会使用GPU和CPU，在同一款设备中同时使用两种训练和推理技术有着巨大的潜力，设备专为TensorFlow优化过，它也许会打破平衡。新TPU能耗如何我们现在还不知道，不过第一代设备能耗很低，如果用它作为标准评估新设备也许不合适，因为新设备既可以训练也可以推理。我们可以推断新TPU的能耗比Volta低，毕竟无论哪个方面来看Volta都是一款更大的设备，atv直播，而且Volta可以完成多种工作，比如运行一些HPC应用，它们需要进行64位浮点运算，Volta还可以做一些机器学习超低精度运算工作。Nvidia已经将FP16（16位浮点运算）技术标准化，用户可以根据工作改变精度，只是我们必须假定新的TPU架构是16位或者8位的。

关于这一点，Dean说：“第一代产品支持量子化整数运算，第二代支持浮点运算。一旦模型的推理训练结束，可以用来运行量化算法，就没有必要改变模型了，在整个训练和推理过程中可以使用相同的浮点数表示法，部署起来也会更容易。”

谷歌没有将定制硬件推向市场，这对于Nvidia、英特尔来说是一件好事，因为在这个市场Nvidia与英特尔都想占据上风，而谷歌的TPU很有竞争力。将二代TPU放进谷歌云平台，无疑可以帮助一些人完成规模化训练，不过正如上文提到的，完成这些工作时既会用到高端GPU，也会用到CPU。用户可以在架构上大规模使用TensorFlow，而架构本身就是针对TensorFlow设计的，这点也很吸引人。谷歌的举动会激怒亚马逊和微软，它们可能会加速引进最新的GPU，以前它们的速度比较慢。亚马逊使用的最高端GPU是 Tesla K80，微软Azure使用的是Pascal P100s。

有些人可能感到奇怪，为什么谷歌不将芯片商用呢？仔细阅读上文，看看谷歌做了一些什么，就会发现它选择的路线不是直接的，风险也比较小。如果深度学习市场像预料的一样扩张，TPU和TensorFlow也许会带来差异化，这种差异化如果足够大，就会让谷歌云平台拥有更大的优势，这种优势是之前没有过的。然后谷歌就可以大规模生产，进入大众市场，这样谷歌就可以有序扩张TensorFlow了。

多年前，谷歌就曾说过“不作恶”。老实说，在Volta推出之时展示一头这样的怪兽的确有点邪恶。