橡树岭国家实验室图

　　从系统的架构的复杂性上来讲，摩尔定律很难对其适用。

　　尽管如此，atv，过去两年来，我们一直在迎来了新一轮针对深度学习和其他专业工作的新架构热潮，并涌现出FPGA、更快的GPU，以及迅速出现的开放架构等。这些架构在顶尖的系统架构师中一样不落，它们急于被应用，以建立可以有效消化不断增长的数据集的系统，具有更好的性能、更低的功耗，同时保持可编程性和可扩展性。

　　橡树岭国家实验室的研究人员通过使用基于MPI的方法，将数千个网络划分开，在超过18000个GPU上运行，从而进行大规模深度学习。正如科研人员所讨论的那样，将深度学习和机器学习添加到超级计算应用程序组合中，可以更好地利用大量的科学数据库，并提高了仿真的复杂性和最终的功能。

　　Thomas Potok

　　科学家创建自动生成的神经网络，以方便研究人员对神经网络进行更进一步的硬件调查。托马斯?波托克（Thomas Potok）和他的团队建立了一个新颖的深度学习工作流，充分利用了超级计算机、神经元设备和量子计算机。Thomas E. Potok博士是橡树岭国家实验室（ORNL）计算数据分析小组的创始人。

　　titan超算图

　　他们评估了这三个计算平台的优势，并发现他们能够通过使用HPC模拟数据作为其在titan超算上的自动网络工具生成的卷积神经网络的基准线，然后将该网络的单元移动到量子计算机（使用南加州大学 /洛克希德设计的1000量子位计算机）和神经元（由橡树岭国家实验室开发）设备上，来处理他们最擅长的单元。

　　比较超算、量子计算机和神经元装置在深度学习应用中的性能是比较困难的，因为测量标准是不同的，有各有所长。Potok表示，量子系统可以提供深度连接的网络并表达更多的信息，而不需要传统机器的计算成本，但是，无法跨越整个深度学习工作流。

　　上图显示了ORNL研究人员应用的超混合深度学习架构。数据运行在Titan超算上的卷积网络上，之后移动到量子计算一侧，然后脉冲神经网络/神经元利用以时间为中心的数据深挖这些结果。

　　神经元装置，特别是那些像橡树岭国家实验室（DANNA）开发的脉冲神经网络（spiking neural network，SNN），可以卸载一些包含时间序列元素神经网络。换句话说，HPC模拟和网络初始化在超级计算机上完成地最好，卷积神经网络的高阶函数可以通过量子机来解决，而结果则可以从神经网络设备以时间层面进行进一步分析。

　　“有了科学的数据，你通常会得到一个与时间相关的成像。你会得到一个与粒子交互的传感器。对于神经网络，我们可以采用标准卷积神经网络，并且具有互补的脉冲神经网络，用于数据或实验的时间单元。我们可以同时使用这些技术，不仅可以从图像中的某个位置层面看待这个问题，而且可以在时间层面上看待这个问题。”

　　“三四年前，当我们开始关注这一领域的时候，吴恩达和其他人都试图在节点之间扩展神经网络。问题是，人们没法超过64个节点”，Potok解释说，“我们采取了不同的做法；我们选择了难度最大的挑战，通过配置网络、构建拓扑和参数，并使用进化优化来自动配置它，而不是建立一个巨大的18000个节点的深度学习系统，我们使它成为了一个优化问题。

　　“大公司已经能够自动执行标注图像或识别语音，但是这需要很多人为这些网络辛苦工作。在HPC中，有很多数据集，但是没有很多人在使用它们，了解它们的人更少，”Potok说。“试图建立一个在那里工作的深度学习网络将是艰巨的，这就是HPC开始流行的原因。我们可以很快地为一个新的数据集定制一个深度学习网络，并快速获得结果。最重要的是，它可以在Titan上进行扩展，然后到Summit超算或者是一台超级计算机上。”