|
2017-08-18 12:28 来源:机器之心 程序设计 /操作系统 /手机 原标题：自动生成硬件优化内核：陈天奇等人发布深度学习编译器TVM 选自tvmlang 作者：陈天奇等 参与：黄小天、李泽南 有了 TVM，业界与学界开发者们可以快速、轻松地在各个系统（包括手机、嵌入式设备与低功耗芯片）上部署深度学习应用程序，同时无须担心资源与速度的限制。「TVM 作为神经网络和硬件后端之间的共同层，消除了为每类设备或服务器优化各自基础架构的需要。」TVM 项目负责人陈天奇表示，「我们的框架允许开发人员快速、轻松地部署和优化大量硬件设备上的深度学习系统。」 项目链接：https://github.com/dmlc/tvm 深度学习如今无处不在且必不可少。这次创新部分得益于可扩展的深度学习系统，比如 TensorFlow、MXNet、Caffe 和 PyTorch。大多数现有系统针对窄范围的服务器级 GPU 进行了优化，并且需要在其他平台（如手机、IoT 设备和专用加速器（FPGA、 ASIC））上部署大量工作。随着深度学习框架和硬件后端数量不断增加，我们提出了一个统一的中间表征（IR）堆栈，可以弥补以生产力为中心的深度学习框架与性能或效率导向的硬件后端之间的差距。
我们很高兴宣布 TVM 的发行将解决这一问题。TVM 是一个全新的框架，它可以： 优化 CPU、GPU 和其他专业化硬件的常规深度学习的计算量 自动转换计算图以最小化内存利用率，直播，优化数据布局，融合计算模式 提供从现有的前端框架到裸机硬件的端到端编译，一直到浏览器可执行的 Java 有了 TVM 的帮助，只需少量额外工作我们即可轻易地在手机端、嵌入式设备甚至浏览器上运行深度学习任务。TVM 还为多硬件平台上的深度学习工作负载提供了统一的优化框架，其中包括依赖全新计算原语的专用加速器。
通过采用编译器社区的共同理念，atv，并提供两个中间表征层，我们有效地将高级深度学习算法降低到多硬件后端。在今天的版本中，我们开源了包含 x86、ARM、OpenCL、Metal、CUDA 和 Java 优化原语的 TVM 工具包。目前，我们正积极地为专用硬件加速和英伟达的 GEMM 优化的 Volta 架构提供支持。 技术细节 TVM 堆栈的目标在于提供一个可重复使用的工具链来将高级神经网络描述从深度学习框架前端向下编译为多硬件后端的低级机器代码。拿 Apache MXNet 作为前端的例子，以下代码段演示了如何使用 TVM 将深层学习模型的高级描述编译为针对目标硬件定制的优化可执行模块。
挑战在于支持多个硬件后端，同时将计算、内存和能源足迹（energy footprint）保持在最低水平。我们借鉴了编译器社区的共同理念，以弥合大量深度学习框架和硬件后端之间的差距：我们构建了一个由 NNVM 组成的两级中间层，一个可用于任务调度、内存管理以及 TVM（用于优化计算内核的富有表现力的低级 IR）的高级中间表征（IR）。 堆栈的第一级是基于计算图的表征。计算图是一个有向无环图，其表征作为节点的计算和作为边缘的数据流依赖性。这一表征非常强大：它允许我们将操作属性融入到计算图中，并指定转换规则以迭代优化计算图。这是一个被大多数现有深度学习框架的采用的惯常方法，包括 TVM 堆栈中的 NNVM 图表征、TensorFlow XLA 和英特尔的 ngraph。
很多强大的优化可由图优化框架支持。例如，我们提供了一个子线性内存优化功能，允许用户在单块 GPU 上训练 1000 层的 ImageNet ResNet。
然而，我们发现只基于 IR 的计算图并不足以应对支持不同硬件后端的挑战。原因是像卷积或矩阵乘法一样的图运算符可以非常不同的方式映射和优化每个硬件后端。这些特定硬件的优化在内存布局、并行线程模式、缓存访问模式和硬件原语选择方面的变数可能很大。我们希望能够以通用表征的方式明确地表达这些优化旋钮（optimization knob），以有效地导航优化空间。 我们构建了一个低级表征以解决这一问题。该表征基于索引公式，并额外支持递推计算。
|
