除 CUDA C++接口可直接编程 Tensor Core 外，CUDA 9 cuBLAS 和 cuDNN 库还包含了使用 Tensor Core 开发深度学习应用和框架的新库接口。英伟达已经和许多流行的深度学习框架（如 Caffe2 和 MXNet）合作以使用 Tensor Core 在 Volta 架构的 GPU 系统上进行深度学习研究。英伟达将继续与其他框架开发人员合作以便在整个深度学习生态系统更广泛地使用 Tensor Core。

增强的 L1 数据缓存和共享显存

Volta SM 的 L1 数据缓存和共享显存子系统的组合能显著提高性能，同时也简化了编程并减少了达到或接近峰值应用性能所需的时间成本。

在共享显存块中进行集成可确保 Volta GV100 L1 缓存具有比过去英伟达 GPU 中的 L1 高速缓存更低的延迟和更高的带宽。L1 Volta 作为流式数据的高吞吐量导管（conduit），同时为经常复用的数据提供高带宽和低延迟访问，这两个性能都是目前最好的。英伟达表示，这一特性是 Volta 独有的，其提供比以往更强大的性能。

图 9. 在 Volta 上，这些代码在没有使用共享显存的情况下只有 7％的性能损失，而 Pascal 的性能下降了 30％。虽然共享显存仍然是最佳选择，但新 Volta L1 设计使程序员能够以更少的编程工作而快速获得足够出色的性能。

表 2. 全新 GV100 与此前各代架构 GPU 的形式比较，GV100 GPU 支持全新的 Compute Capability 7.0。

独立的线程调配

Volta 架构旨在设计为比以前的 GPU 更容易编程，直播，令用户能在更复杂和多样的应用程序上高效地工作。Volta GV100 是第一款支持独立线程调配的 GPU，其在并行线程指令中可以实现细粒度（finer-grain）的同步和协作。Volta 主要的设计目标是减少在 GPU 中运行指令所需的工作量，并在线程合作中实现更大的灵活度，这样从而为细粒度并行算法提供更高的效率。

英伟达同时也展示了他们如何对 SIMT（单指令多线程）做出重大改进以推进 Volta 架构。32 线程内单个独立的 CUDA 核现在只有有限的自主性；线程现在可以在一个细粒度层面上进行同步，并且仍然处于 SIMT 范式下，所以这就意味着更高的整体效率。更重要的是，独立的线程现在可以放弃再重新安排在一起。这就意味着英伟达的 GPU 有一定数量的调度硬件（scheduling hardware）。

图 10：Pascal 和早期的英伟达 GPU 在 SIMT warp 执行模式下的线程调配。大写字母代表指令伪代码中的语句。在一个 warp 中不同的分支是序列化的，这样在分支一边的所有语句一起执行以在另一边语句执行前完成。在 else 语句后，warp 中的线程通常会重新映射。

图 11：Volta（下方）独立线程调配架构图与 Pascal 和早期的架构（上方）相比较。Volta 会维持每个线程调配的资源，就像程序计数器（PC）和调用堆栈（S）那样，而早期的架构以每个 warp 为单位维持。

图 12：Volta 独立线程调配令其可以交叉执行发散分支（divergent branches）的语句。这就允许执行细粒度并行算法，而 warp 内的线程也就能同步和通信。

图 13：程序可以使用显式同步来重新令 warp 中的线程收敛

图 14：具有细粒度锁（fine-grained locks）的双向链表。在插入结点 B 到链表（右）前，需要获取每一个结点锁（左）

总结