「算法是可以进化的，所以我们可以设计深度学习网络的参数来发展这种自动化，」橡树岭实验室的计算分析科学家 Robert Patton 说道。「我们可以找来一个新的数据集，对神经网络进行训练，生成一个表现良好的模型。」

在开始研究自动生成的神经网络之后，橡树岭的研究者们一直在与其他重点实验室配合进行从大规模神经网络中进行数据分类和去除噪音的研究。其中包括费米国家实验室，两家实验室展开了高能物理方面的研究，实验有关中微子和亚原子粒子的区分。「模拟产生了大量的数据，常规方法很难对其进行处理，甚至将其存储在硬盘里都很困难。」Patton 说道。「我们希望在模拟的数据中实时找到有趣的东西，然后将部分高分辨率数据的快照收集起来以供后期分析。」

「Summit」关注橡树岭实验室里各个团队在应用已有 HPC 设备实现深度学习时面临的挑战，研究如何最大限度地发挥手头上的硬件。

「我们在 2012 年开始关注深度学习，GPU 在最近几年的发展中占据着重要的位置，因为它让研究者们的开发速度大大提升，」Patton 解释道。「在解决完最重大的问题后，到 2014 年，我们开始思考如果一块 GPU 能够加快深度学习的速度，那么 18000 块 GPU 会是什么样呢？于是 Titan 超级计算机出现了。」

虽然像 Titan 这样混合 GPU 与 CPU 强大性能的超级计算机具有很大规模，但它们并不是为深度学习打造的。Summit 硬件架构的革新在突破瓶颈前还有很长一段路要走，但硬件的正确组合方式可能会催生一些非典型的架构——如神经形态芯片设备，或专门加速模型训练或预测的芯片。「现在，如果我们想在 HPC 的应用里实时进行机器学习运算，我们仍会受困于训练。我们需要从硬盘中加载数据进行处理，如果数据没有全部读出，训练就不能进行，所以我们都对 Summit 非常期待，它能让我们更快地将数据从硬盘注入各个节点，这意味着更厚、更密集的神经网络，拥有更高的存储容量。」Patton 说道。

「昂贵的 HPC 系统需要花费大量资源来从噪音中获取有价值的信息，」Patton 说道。「问题在于，这个过程意味着放弃大量有效数据。例如在材料科学这样的领域中，科学家们很难使用到 90% 以上的数据，因为其中噪音过多，而又缺乏工具应对。」Patton 表示这就是他的团队正在寻求整合可卸载的全新架构，如神经形态芯片和量子计算机的原因。

　　原文链接：https://www.nextplatform.com/2017/03/28/scaling-deep-learning-beyond-18000-gpus/

　　本文为机器之心编译，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]